顯示具有 HBase 標籤的文章。 顯示所有文章
顯示具有 HBase 標籤的文章。 顯示所有文章

2014年6月21日 星期六

【HBase】Bulkload

HBase 包含了數種方式將資料到入HBase
  •         HBase client API
  •         MapReduce(Ex:TableOutputFormat)
  •         Bulkload

為什麼要選擇 Bulkload ?
  • Bulkload 是利用 MapReduce 的方式直接產生 HFile 並將其載入到運行中的 Cluster

Bulkload 的好處
  • 利用較少的 CPU 與 網路資源,因此速度較快

HBase Bulkload 的流程包含兩個步驟
1. Preparing data via a MapReduce job
  •     可以利用 Importtsv tool
  •     自行撰寫 MapReduce 程式去產生 HFile
2. Completing the data load
  •     可以利用 completebulkload tool
  •     自行撰寫 Java 程式利用 LoadIncrementalHFiles
Importtsv 是 HBase 提供的一支 tool 可以讓你透過 command 的方式執行 Bulkload