java導出hbase到mysql（hbase 導出數據）

本文目錄一覽：

MySql導出數據庫的命令如下：

Sql代碼

mysqldump -uusername -ppassword -hhost -Pport exportDatabaseName exportPath

利用Java調用命令窗口執行命令來進行MySql導入數據庫一般分三步走：

第一步：登錄Mysql數據庫，在登錄數據庫的時候也可以指定登錄到哪個數據庫，如果指定了則可以跳過第二步；

第二步：切換數據庫到需要導入的目標數據庫

第三步：利用命令開始導入

在進行導出的時候，需要注意命令語句的運行環境，如果已經將mysql安裝路徑下的bin加入到

系統的path變量中，那麼在導出的時候可以直接使用命令語句，否則，就需要在執行命令語句的

時候加上命令所在位置的路徑，即mysql安裝路徑想的bin下的mysqldump命令。

為啥要看書捏，你需要了解hbase 的原理和存儲方式以及設計方式，剩下的就是把mysql的數據導出為文件，然後上傳到hdfs上，讀取文件，將內容寫入hbase，當然這只是其中一種方式，你還可以：

1、寫mapreduce 直接讀取mysql數據寫入hbase

2、用hive將hbase 關聯，將mysql的數據SYNC到hive中，在hbase中也就存在了。（SYNC是一個同步工具）

主要有三種方法：

1、Put API

Put API可能是將數據快速導入HBase表的最直接的方法。但是在導入【大量數據】時不建議使用！但是可以作為簡單數據遷移的選擇，直接寫個代碼批量處理，開發簡單、方便、可控強。

2、MapReduce Job

推薦使用sqoop，它的底層實現是mapreduce，數據並行導入的，這樣無須自己開發代碼，過濾條件通過query參數可以實現。

Sqoop是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql…)間進行數據的傳遞，可以將MySQL中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到Mysql中。

參考Index of /docs。

採用如下命令：sqoop import

–connect jdbc:mysql://localhost/db

–username root -P

–table mysql_order

–columns “id,name”

–hbase-table hbase_order

–column-family f

–hbase-row-key id

–query “select id,name from mysql_order where…”

-m 1

3、採用Bulk load裝載數據

bulk-load的作用是用mapreduce的方式將hdfs上的文件裝載到hbase中，對於海量數據裝載入hbase非常有用。

需要將MySQL的表數據導出為TSV格式（因為後面使用Import TSV工具），還需要確保有一個字段可以表示HBase錶行的row key。

原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hant/n/237382.html