La vie de petit ingénieur

課程快結束了，想說趁這個機會參加一次黑客松看看。剛好前陣子有收到這場BigData X Maker的比賽通知，所以就決定來參加了

這次的比賽辦在4/30、5/1 剛好是個周末

會場的外面布置成Mac的形狀 這是歧視Windows用戶的意思嗎??

因為這次有點試水溫的味道，所以就報名個人組，沒有找同學一起了

不過幸運的剛好碰上認識的Abloa，瞬間感覺到安心了一點

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

Hive有點接近傳統RMDBS的語法，使用內建的Derby db儲存metadata

資料的部分一樣是存到HDFS內部

資料可以從pig擷取完之後轉存到hive或是直接從local端存入

• 下載hive

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

安裝ganglia是一套系統監控軟體，可以用web的方式來呈現各端點的狀況，還有執行程式時的負載狀態，不過因為硬體的使用量比較大，所以後來用了一小段時間就放棄在樹莓上使用了，改成用桌機加上VM的方式去監控系統

1. 在監控的server端先安裝gmetad及ganglia web端app

apt-get install gmetad ganglia-webfrondend

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

Pig是一個可以進行資料前處理的工具，之前在課堂上有玩過幾次，不過因為網路上沒有太多相關的安裝文章，所以剛開始有點緊張，不知道安裝上難度會不會很高，後來才發現原來沒想像中的複雜

(用root權限)

wget http://ftp.tc.edu.tw/pub/Apache/pig/pig-0.15.0/pig-0.15.0.tar.gz

tar –xvf pig-0.15.0.tar.gz –C /usr/local

mv /usr/local/pig-0.15.0 /usr/local/pig

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

自從做了小專題用virtual box架設一個小型hadoop系統之後，一直想要自己弄一個系統來測試，之後想要練習寫mapreduce程式或是pig、hive之類的也比較方便，於是趁著raspberry pi 3推出的時候一次買了五台，除了跟pi 2相比多了wifi及BT模組之外，CPU時脈也有稍微增加到了1GHz。不過記憶體還是維持1G RAM而已(沒想到之後這也會是一個問題)。趁著昨天休息一天，一口氣把整個系統架起來，當然中間也遇到了很多問題。

1. 硬體架設

raspberry pi 3上面的孔是M3的，沒想到銅柱拿來之後發現居然小了一點點…原本想要硬攻牙穿過去，後來想想五片板子要攻二十次牙，誰知道會不會攻牙的時候把板子弄壞了，最後就作罷了。去電子材料行找到M2的塑膠柱，雖然耐用性應該比較差，不過暫時當作權宜之計了。將板子架起來之後，就是電源的部分了。這次是用之前為了旅行買的5 port USB充電器，最大輸出是40W，對五台來說應該夠用了。線材的部分因為之前用一般的micro USB線有遇過供電不穩的狀況，為了穩定性就換成單純充電的micro USB線。因為hadoop是需要用網路來進行傳輸的，之前偷懶想說直接用wifi分享器來架設就好，不過實測之後發現連SSH都會lag...看來根本不可行，最後還是乖乖找了一組8 port hub來使用了。原本還有計畫要加上風扇，不過因為外殼還做好，所以就先暫時用散熱片來幫助散熱而已，實測的結果是真的會有點熱，下一階段安裝風扇應該真的是必要的了。

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

柯達這款負片是給交通監視用的，當初看到就覺得很酷所以買了兩捲來嚐鮮看看。

雖然沒有說拍車牌比較厲害就是了XDD，不過銳利度是真的很不錯

顆粒感也不會說太重，色彩的話不算是很濃很鮮豔，大概當初設計就不是講究高飽合度的吧。

這次在一天內就把這捲底片打完了，從白天到晚上的場景都有，不過拍出來的照片都讓我覺得不錯

而且中間還有感光度亂調了幾張，出來的結果也沒有太明顯的過曝之類的，不得不說負片的寬容度真的太強大了。

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

雖然之前是沒有在用fuji的200度底片，不過在fuji宣布停產superia 200之後推出了新的後繼底片C200

跟原本的superia 200比起來C200價格倒是貴了一點，這樣就更不吸引我了

不過說是這樣說，在有一次去台北相機街的時候去找有沒有新奇底片的時候

看到C200還是忍不住帶了幾捲回家了。在底片堆中沉睡了很久之後，這次無意中翻出來就決定當做TVS的處女秀了。

在看完沖洗結果之後，第一個心得就是以後還是給TVS用400度的底片比較剛好

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

前陣子阿文剛好要去日本追火車，想到了日本好像很多底片是台灣沒有的

於是就跟阿文提了一下要幫買底片這回事，他也真的幫我帶了兩款回來

不過想想其實代價滿大的：兩捲Premium 400加一捲Venus 800就要一張小朋友，算算其實也不便宜（後來在加入了社團之後才發現台灣也是有人在賣的QQ)

在TVS入手之後才認真清點了一下底片，發現這捲我有的最高ISO底片居然放到過期了

馬上趁著元旦連假拿出來用力的拍掉了（真的是用力拍，因為沒想到在還有太陽的天空我居然還可以拍到手震...)

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

Kodak這隻負片雖然已經停產很久了，不過因為這隻底片顏色比較清淡

滿適合拿來拍人的，不過因為已經停產很久了，想要搶也搶不到了。

這次剛好有機會有人送了一捲給我（其實裡面很多其他的過期底片，只是這捲剛好是想要很久的，所以也是第一捲拿出來拍的）

因為過期一段時間了，所以在拍攝上也稍微有過曝一點

所以原本就不高的ISO在室內或是夜晚就顯得更不順手了

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

這次去澳洲帶了不少底片，不過最後只順利拍完四捲而已

（嚴格來說是三捲，最後一捲Kodak 500T才拍了幾張就回來了，而且不知道是不是過海關的X光機過太多次了，洗出來顏色也怪怪的）

不過還好其他幾捲拍完的底片都沒有太多問題。

這次除了業務用100還有Xtra400是新鮮片之外，還有一款就是過期的Agfa Vista 200了

因為過期所以稍微多加了一格去拍，不過感覺拍出來還滿正常的

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

之前用過了Agfa的100之後，因為滿喜歡他濃郁的色彩還有對比

所以在拍完兩捲100之後，趁著有去台北的機會就買了幾捲400度的來試看看

一方面是因為400度可以運用的空間也比較大，在室內或是天氣比較不好的情況下都還可以拍攝

另一方面也是因為還有200的庫存，想說換一點不同口味的來試試看。

趁著去清大梅園看花的機會拿這款底片來做測試（其實是因為剛好數位機身沒帶到備用電池..）

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()

大概是最近在家裡待太久了，突然開始對爬山這件事有那麼一點興趣。

想起來阿信之前跟我說過從內湖走到陽明山的事情，於是就問問，最後決定中秋節的時候來走看看。

雖然這個時候什麼專業的登山裝備都沒有，只有一副比較好的護膝

但是想想反正當成體驗，於是就這樣出發了。

出發日是個好天氣，應該說是個大晴天

(繼續閱讀...)

mirage 發表在 痞客邦 留言(0) 人氣()