2016年6月21日 星期二

[Spark] 利用 Spark 將亂七八糟資料格式的 Fortigate Log 檔轉成關聯式資料

圖片來源:http://www.fastcompany.com/1842000/company-chaos-you-dont-know-youre-creating

不論資料多雜亂,在做資料分析之前,總是先要整理成關聯式資料,這一段一直是分析中最麻煩也最惱人的一段,特別是當資料量大的時候,其中可能問題又更多了.這次遇到的麻煩是要固定將機器每天的 Log 檔轉成關聯式資料,聽起來不難,是很常見的需求,但是看了資料格式之後整個傻眼.

這樣的格式麻煩點在:
  1. 非一般的資料格式: 既不是關聯式資料,也不是 Json 格式(真的很想打設計這種 log 出來的人),沒辦法輕易地整理.
  2. 分隔符號不固定: 雖然後面的資料是用 = 做為key和value分隔,但是前面四個欄位不是,表示資料要分開處理.
  3. 資料欄位內有空格: 如果預設用" "當做每個欄位的分隔符號,會在這些內部有空格的地方吃了大虧,所以要另外寫工具來區別這種情況.
  4. 每筆資料有的key不一致: 這是最麻煩的事.例如有些筆資料有 location 這個 key ,但是有些資料沒有...,連 null 都不給.所以就算你處理完上面三件事,每筆資料的欄位長度還是不一樣.

2016年6月18日 星期六

[心得] 美國ESTA簽證申請流程


因為八月份要到矽谷出差,所以最近趕緊來研究一下怎麼到米國.美國於2012年10月2日宣布台灣加入免簽證計劃(以下簡稱VWP)。根據VWP,符合資格之台灣護照持有人若滿足特定條件,即可赴美從事觀光或商務達90天,無需簽證。其實還是要的,只是流程沒以前那麼麻煩.根據美國在台協會的說明:VWP允許來自38個參與國[1]符合資格的旅客,無須申請美簽即可前往美國洽商或觀光(B簽證之旅行目的,詳情請按這裏)並可停留達90天。惟停留天數不得延長,VWP旅客在美期間亦不得改變其身份,例如變更為學生簽證身份。若符合VWP資格之旅客希望申請美簽,亦可選擇申辦。旅客欲以VWP入境美國,須先透過旅行授權電子系統(ESTA)取得授權許可(若搭飛機或船),並於旅行前滿足所有相關資格條件。

2016年6月17日 星期五

[職涯] 給畢業生的話

畢業季到了,因為我家剛好也有一個應屆畢業生,剛好可以趁機說說想對畢業生說的話.
  1. 不要被自己的學歷給限制了.台灣太喜歡用單向價值觀來看人,但是世界是充滿各種可能的.身在台灣的大學畢業生,手上的選擇權算多了,當你羨慕人家用四年喚來台清交的文憑,那你可以設定自己在四年後走向不一樣的路.
  2. 如果不工作也能好好生活,那太棒了.你有很多時間做想做的事情,也可以不受薪水限制去做想做的工作.那如果逼不得已要上班的話,找個自己也有興趣的工作.有興趣的工作讓你有機會做得比別人更好,偶爾的加班也能當成自我成長學習,活得比較開心.
  3. 找工作最重要的是做自己,而不是委屈求全.很多人覺得面試是就是假來假去,面試官唬爛工作內容,公司福利,求職者唬爛自己的能力和意願,但是長期來說這都是不健康的態度.進入一個能接受你的環境,進去之後也會活得比較舒服.
  4. 人生不是只有工作.工作是為了生活,而不是讓生活被工作吞噬.工作固然有他有趣的部分,但那是我覺得那是在不得已需要工作的情況下從中找的好處.聽過斯德哥爾摩症候群嗎?因不得非得要工作,只好賦予工作一個更正當的含義,才能讓自己不受威脅的活著.
  5. 培養工作以外的興趣.如果工作剛好是你的興趣,那很好,如果不是認真建議培養一份.興趣可以讓你真正的放鬆和轉換心情.

2016年6月13日 星期一

[職涯] 廈門工作+生活攻略(三)上班要吃什麼


民以食為天,人可以不工作但是不能不吃飯(?).吃飯是很重要的.在園區裡面工作的好處就是不用為吃飯擔心太多(如果你不太挑食的話),每天中午可以到大食堂裡面吃飯,有飯有麵有自助餐任君挑選.因為是園區的廠商,相信食物的安全上應該是滿OK的.在食堂吃飯有滿滿當兵的感覺.