2015年4月27日 星期一

[Python] Google 經緯度反查詢API

enter image description here
(圖片來源:http://www.ibm.com/developerworks/library/j-coordconvert/)
先前利用python寫了一個簡單的小工具接google的api來查詢住址的經緯度-[Python] Google 經緯度查詢Api.最近因為一些需求,需要從經緯度反查住址,所以就把這個小工具更新了一下.

2015年4月19日 星期日

[linux][教學] 用grep + awk+sed處理文字資料

enter image description here
資料來源:http://animals.oreilly.com/origin-of-species/
過去處理資料可能會使用像是R之類的工具,但是最近開始k些linux的指令後,認識了awk & sed,從此愛上他們.awk和sed是linux中處理使用串流方式處理字串的工具,特色是支援pipeline(亦即可以接其他資料來源,以及將處理完的資料丟給別人處理),正規表達式,而且速度極快!平常可以用awk & sed搭配像是grep等文字工具,來處理linux中的文件檔案(特別是log檔),做一些字串的篩選和判斷.這次將用網頁log資來作為範例.

2015年4月17日 星期五

[心得] 究竟是“學習”還是“已知用火”?


回顧了一下去年的文章,發現去年的四月才剛接觸R,之後過了兩個月開始學python,接著又在去年底開始接觸scala,spark,最近兩個月開始用shell script(這些應該從我雜亂無章的網誌內容看得出來),常常會會質疑自己在這過程中到底真正學會了什麼東西,還是已知用火(出處)還自己為發現新大陸?

2015年4月13日 星期一

[工商時間] 2015 PyConAPAC 在台灣!強烈招募工讀生!

圖片來源:https://tw.pycon.org/2015apac/zh/

PyCon APAC 是由 Python 社群自發性為了亞太地區 Python 愛好者所舉辦的研討會。PyCon APAC 現在每年舉辦一次,歡迎每一位 Python 使用者參加。PyCon 最初是在 2003 年於北美開始舉辦,而如今全世界都有遵照 PyCon 精神所舉行的會議。(以上文字來自官網)今年的keynote講者非常厲害https://tw.pycon.org/2015apac/zh/about/keynote-speaker/,還有請來numpy,scipy的的作者Travis大大(好像叫Travis的都特別厲害orz),現在早鳥票火熱報名中(https://tw.pycon.org/2015apac/zh/registration/)!

然後最重要的就是徵求工讀生XDD 意者找我報名即可!!

2015年4月12日 星期日

[心得] 網路爬蟲專案規劃策略

先前花了一些篇幅在介紹網路爬蟲的使用方式,都是比較偏重技術面的討論,但是爬蟲本身在理解原理後並不難實作,下一個階段就是如何規劃一個完整的爬蟲專案,這反而是比較需要討論以及有挑戰性的部分.過去的爬網專案都以中小型(監測的網站約50個以下,頻率頂一個小時一次)居多,以這樣的規模來討論在規劃上可能要注意哪些事情.

2015年4月9日 星期四

[linux] 將pipe結果當成if條件使用

enter image description here
shell script真的是方便的工具,最近剛學會一點awk,一些過去很難處理的東西,現在都被簡化了.今天遇到的狀況是:想用shell script將另外一支程式包起來,並將程式的output另外存放,並且根據output的內容回饋給使用者一些訊息.

[Apache Spark] 有趣的新玩意兒-Apache Zeppelin

enter image description here
圖片來源:https://zeppelin.incubator.apache.org
先前介紹了使用Ipython Notebook來使用PySpark(連結),那麼麻煩的設定就是為了能夠藉由Ipython notebook的介面來使用spark.Ipython Notebook可以讓使用者立即與程式碼互動,對於資料分析或觀察都相當的方便.這麼好用的工具,當然也有大大開發了Spark的版本,但是設定上比較麻煩,就沒有特別介紹.但是好工具總是不寂寞,今天要介紹的Zeppelin,由NFLAB開發,在2015年三月正式加入Apache家族,不但可以直接以Ipython notebook的介面來操作Spark,還有令人驚訝的視覺化功能.

2015年4月4日 星期六

[職涯] 厲害的是公司,還是我?

enter image description here

圖片來源:http://www.thesun.co.uk/sol/homepage/sport/football/4909280/Fans-dig-GRAVE-on-pitch-in-Serbia.html

我曾經在一家S&P 500中的外商上班,剛進去的時候覺得自己很幸運,公司福利和同事也都不錯,當時的我還抱持著進入一家好的公司,好好努力就能平穩過日子的信念.但是就分別在我進入後的半年以及一年半時,兩個我非常敬重也很敬佩的主管相繼離去,兩位都在公司服務超過十年,也在不低的位置.這件事情讓我重新思考公司以及工作對我的意義.