1.环境信息
大数据集群利用CHD5.7.0搭建,包括master节点、worker节点、name节点、secondary name节点等总共10个节点,集群通过Kerberos进行认证权限管理。
2.导入步骤
2.1 认证,执行如下命令进行kerberos认证,如果还没有kerberos用户,则需要利用kerberos 管理员创建用户
kinit -kt /keytab/testuser.keytab testuser
2.1 将数据放到hdfs上
hdfs fs -put 服务器上文件路径(如:/home/me/data) hdfs上文件路径(如 /user/me/data)
在网上也有一些人写的导入hbase时不用将数据推送到hdfs上,直接利用本地文件导入,命令如下,
hbase org.apache.hadoop.hbase.mapreduce.Driver import 'testme:test' file:///test/testdata
这在单节点机器上是可以执行的,或者是运行MR的节点是一个并且和存放数据的服务器一致才能实现,若是在集群环境下执行,MR对应的job调度到其他节点上,放在服务器本机的数据就无法找到。所以在集群环境下还是要先导入到hdfs上。
2.2 利用具有创建hbase命名空间的用户认证,在我这边的环境中hbase具有这样的权限
2.2.1 认证
kinit -kt /keytab/hbase.keytab hbase
2.2.2 创建命名空间
2.2.3 将在命名空间testme下新建表、及增删改的权限赋予我们新创建的用户
2.3 利用新创建的用户进入hbase shell,创建要导入数据的表
create 'testme:test', 'fam'
2.4 执行命令开始导入数据
hbase org.apache.hadoop.hbase.mapreduce.Driver import 'testme:test' hdfs上的数据目录(如:/user/me/data)
- 大小: 52.1 KB
- 大小: 11.9 KB
分享到:
相关推荐
hbase海量数据的全量导入方法,大数据导入。
HIVE建表时可以指定映射关系直接读取HBASE的数据,相当于有了一个HBASE向HIVE的通道。那HIVE向HBASE有通道吗?本文主要讲述了Hive库数据如何入到HBASE中。
使用spark读取hbase中的数据,并插入到mysql中
博客文档:https://phoenix.blog.csdn.net/article/details/131457322
MySQL通过sqoop工具用命令将数据导入到hbase的代码文件
基于hadoop的,java实现hive快速导数据到Hbase解决方案。
Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据)
hbase导入hbase导入
tsv格式的数据库测试文件,hbase可以通过采用importtsv导入外部数据到hbase中
项目中自己用的,弄了很久,需要把数据从各种数据源导入到,我们的原始数据库,原始数据库采用hbase,来存储所有数据,那么这里就用的nifi,从其他数据源获取数据以后,然后导入到Hbase中去,这个是设计好的流程模板. ...
通过条件查询hbase数据导出csv,文本,html等文件,实现方式:将hbase关联hive,然后将hive数据导入真实表,在将真实表数据导入sql数据库
这是一篇博客的附件。 博客地址:http://blog.csdn.net/luckymelina/article/details/22889383
配置,测试,导入数据详细操作,CREATE TABLE hive_hbase_table(key int, value string,name string) hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname...
利用sqoop把mysql数据导入到hbase中,建立phoenix与hbase的映射,用phoenix jdbc操作hbase!达到sql操作nosql!
实现离线、实时两种方式将关系型数据库的数据导入Hbase中
介绍了大数据平台如何将hdfs中的分布式文件导入hbase 。源代码在cloudera-SCM 的cdh 4.8.1产品环境中验证通过。
java代码将mysql表数据导入HBase表 + 样例mysql表和数据 + HBase表创建
hbase各种例子新增修改删除批量导入: public static void main(String[] args) throws IOException { Configuration conf = HBaseConfiguration.create(); HBaseHelper helper = HBaseHelper.getHelper(conf); ...
连接 HBASE和MongoDB的驱动程序,配置后可直接导数据。很好用.zip
报错空指针,且提示json错误时,将此jar包放到hbase/lib和sqoop/lib 中,可解决问题