java导出hbase到mysql（hbase 导出数据）

小蓝 • 2024-12-12 12:04 • 编程

本文目录一览：

MySql导出数据库的命令如下：

Sql代码

mysqldump -uusername -ppassword -hhost -Pport exportDatabaseName exportPath

利用Java调用命令窗口执行命令来进行MySql导入数据库一般分三步走：

第一步：登录Mysql数据库，在登录数据库的时候也可以指定登录到哪个数据库，如果指定了则可以跳过第二步；

第二步：切换数据库到需要导入的目标数据库

第三步：利用命令开始导入

在进行导出的时候，需要注意命令语句的运行环境，如果已经将mysql安装路径下的bin加入到

系统的path变量中，那么在导出的时候可以直接使用命令语句，否则，就需要在执行命令语句的

时候加上命令所在位置的路径，即mysql安装路径想的bin下的mysqldump命令。

为啥要看书捏，你需要了解hbase 的原理和存储方式以及设计方式，剩下的就是把mysql的数据导出为文件，然后上传到hdfs上，读取文件，将内容写入hbase，当然这只是其中一种方式，你还可以：

1、写mapreduce 直接读取mysql数据写入hbase

2、用hive将hbase 关联，将mysql的数据SYNC到hive中，在hbase中也就存在了。（SYNC是一个同步工具）

主要有三种方法：

1、Put API

Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强。

2、MapReduce Job

推荐使用sqoop，它的底层实现是mapreduce，数据并行导入的，这样无须自己开发代码，过滤条件通过query参数可以实现。

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将MySQL中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到Mysql中。

参考Index of /docs。

采用如下命令：sqoop import

–connect jdbc:mysql://localhost/db

–username root -P

–table mysql_order

–columns “id,name”

–hbase-table hbase_order

–column-family f

–hbase-row-key id

–query “select id,name from mysql_order where…”

-m 1

3、采用Bulk load装载数据

bulk-load的作用是用mapreduce的方式将hdfs上的文件装载到hbase中，对于海量数据装载入hbase非常有用。

需要将MySQL的表数据导出为TSV格式（因为后面使用Import TSV工具），还需要确保有一个字段可以表示HBase表行的row key。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/237382.html