La vie de petit ingénieur

課程快結束了，想說趁這個機會參加一次黑客松看看。剛好前陣子有收到這場BigData X Maker的比賽通知，所以就決定來參加了

這次的比賽辦在4/30、5/1 剛好是個周末

Hive有點接近傳統RMDBS的語法，使用內建的Derby db儲存metadata

資料的部分一樣是存到HDFS內部

安裝ganglia是一套系統監控軟體，可以用web的方式來呈現各端點的狀況，還有執行程式時的負載狀態，不過因為硬體的使用量比較大，所以後來用了一小段時間就放棄在樹莓上使用了，改成用桌機加上VM的方式去監控系統

Pig是一個可以進行資料前處理的工具，之前在課堂上有玩過幾次，不過因為網路上沒有太多相關的安裝文章，所以剛開始有點緊張，不知道安裝上難度會不會很高，後來才發現原來沒想像中的複雜

(用root權限)

自從做了小專題用virtual box架設一個小型hadoop系統之後，一直想要自己弄一個系統來測試，之後想要練習寫mapreduce程式或是pig、hive之類的也比較方便，於是趁著raspberry pi 3推出的時候一次買了五台，除了跟pi 2相比多了wifi及BT模組之外，CPU時脈也有稍微增加到了1GHz。不過記憶體還是維持1G RAM而已(沒想到之後這也會是一個問題)。趁著昨天休息一天，一口氣把整個系統架起來，當然中間也遇到了很多問題。