像之前說的的例子，都是在HBase clinet 端作處理。而我們使用HBase，當然希望是使用他整體Cluster 的運算能力來幫我們運算，所以我們想把運算的作業交由HBase的Region Server 幫我們作處理。
HBase 提供了兩種方式讓我們可以把運算功能實作在 Region Server
1) filter
2) coprocessor
- 5月 23 週一 201616:21
HBase 、GeoHash 與地理空間-4
像之前說的的例子，都是在HBase clinet 端作處理。而我們使用HBase，當然希望是使用他整體Cluster 的運算能力來幫我們運算，所以我們想把運算的作業交由HBase的Region Server 幫我們作處理。
HBase 提供了兩種方式讓我們可以把運算功能實作在 Region Server
1) filter
2) coprocessor
- 5月 23 週一 201614:11
HBase 、GeoHash 與地理空間-3
假設我們現在的問題是：「離我最近的５個wifi熱點在哪裡」
工程師看到問題，一般來說，就會想到至少要下面二樣東西才能查找相關資訊
1.我(目標) 目前的位置(經度及緯度)
2.要幾個結果數 (本問題是5個，當然你也可以寫死，比較彈性的方式是多一個參數或設定可以傳入想要的結果數)
工程師看到問題，一般來說，就會想到至少要下面二樣東西才能查找相關資訊
1.我(目標) 目前的位置(經度及緯度)
2.要幾個結果數 (本問題是5個，當然你也可以寫死，比較彈性的方式是多一個參數或設定可以傳入想要的結果數)
- 5月 23 週一 201610:32
HBase 、GeoHash 與地理空間-2
目前想採用的方案是使用HBse + geohashHBase要想能很快的搜尋，就必須把row key設計好，但從之前的例子，我們直接使用經度+緯度 或是 緯度+經度當成row key，都無法達成我們想要下列的目標
1.查詢空間內彼此接近的點，在硬碟上的儲存位置也是彼此接近
2.回應查詢時，回傳盡可能少的點
- 5月 16 週一 201611:34
HBase 、GeoHash 與地理空間-1
最近在研究geohash，剛好看到和HBase 的結合，所以這邊就一併筆記一下背景：目前網路上一些基於地理位置的服務，例如，找到目前所在地周遭５００公尺的咖啡站，在巨量資料的情況下，你總不希望你的使用者等一個MapReduce跑完才會知道結果吧？！
- 3月 31 週四 201614:57
Arvo 簡介
最近在研究Arvo
簡單地說， Arvo 可以把物件序列化，以便系統之間溝通
Arvo介紹
http://fangjian0423.github.io/2016/02/21/avro-intro/
http://blog.csdn.net/xyw_blog/article/details/8967362
簡單地說， Arvo 可以把物件序列化，以便系統之間溝通
Arvo介紹
http://fangjian0423.github.io/2016/02/21/avro-intro/
http://blog.csdn.net/xyw_blog/article/details/8967362
- 3月 16 週三 201617:32
Spark 作 Feature selection的文章
http://lxw1234.com/archives/2016/02/614.htm
http://lxw1234.com/archives/2016/03/619.htm
http://lxw1234.com/archives/2016/03/619.htm