今天小编就为大家分享一篇python利用thrift服务读取hbase数据的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

因工作需要用python通过hbase的thrift服务读取Hbase表数据,发现公司的测试环境还不支持,于是自己动手准备环境,在此我将在安装步骤尽可能描述清楚,旨在给第一次动手安装的朋友,此过程亲测成功!

安装过程如下:

1、首先确保hbase安装测试成功,再者确认下hbase的thrift服务是否启动,注意目前的Hbase(本文基于版本0.98.17)有两套thrift接口thrift和thrift2,本文使用thrift,启动命令:hbase thrift -p 9090 start,确保该端口没有被占用,使用lsof -i:9090查看),本公司测试环境该端口被占用,如果被占用换一个没有被占用的端口即可;

2、安装thrift,去官网下载thrift:http://thrift.apache.org/download,本人使用 thrift-0.10.0.tar.gz ,下载好后编译安装,解压后进入安装目录/home/hadoop/thrift-0.10.0,分别执行./configure make,make,sudo make install,注意这边可能因各环境不同可能遇到问题,具体安装所需环境请参考官网:http://thrift.apache.org/docs/install/centos,安装之后可以用thrift -version命令测试是否安装成功,安装成功后会显示安装的版本;

3、确保1和2没有问题,接下来需要生成python脚本需要导入的hbase相关模块,首先去官网下载hbase源码,注意虽然本公司用的hbase版本是0.98.17但是只要版本相差不大都可以使用,本人使用的是 hbase-0.98.24-src.tar.gz,下载解压后找到thrift目录:hbase-0.98.24/hbase-thrift/src/main/resources/org/apache/hadoop/hbase,该目录下有两个thrift服务,进入thrift后执行thrift --gen pyHbase.thrift,不出现问题会在该thrift目录下生成目录 gen-py,里面具体是hbase模块,将该目录名称改为hbase,并拷贝进python模块包:cp -r hbase /usr/lib/python2.7/site-packages/,至此python需要使用的hbase模块已经准备好;

4、写python脚本测试

#! /usr/bin/python
import sys
sys.path.append('/usr/lib/python2.7/site-packages/hbase') # 引入正确的hbase模块路径,测试过可删除
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
from hbase.ttypes import *
 
transport = TSocket.TSocket('101.71.51.221', 9099)
transport = TTransport.TBufferedTransport(transport)
 
protocol = TBinaryProtocol.TBinaryProtocol(transport)
 
client = Hbase.Client(protocol)
 
transport.open()
 
tableName = 'hb_vender'
rowKey = '17_bcc5f02a876b010cbcd3fb2f82ab5b8e_43_111_57_437b9e2a-257c-4115-9570-bcd61741b3dc'
 
result = client.getRow(tableName, rowKey, None)
print result
for r in result:
	print 'the row is ' , r.row
	print 'the values is ' , r.columns.get('a:venderName').value

注意这边可能出现:ImportError: No module named six,因为需要安装six,如果已经安装pip,使用pip install six,如果没有安装用root执行安装:easy_install six,安装成功后执行脚本测试成功!

以上这篇python利用thrift服务读取hbase数据的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
企业竞跑5G外“第二赛道” ,WiFi6需求量激增

企业竞跑5G外“第二赛

5G依旧是当下通信产业中竞争与机会最多的领域,但作为蜂
年度“第二大满月”“金星东大距”将现身3月天宇

年度“第二大满月”“

3月,天象精彩。天文专家介绍,“月合毕宿五”“年度第二
300年前的哲学问题,脑科学回答上了?

300年前的哲学问题,脑

天生盲人复明带来的哲学问题,科学能解决吗?
北京司法拍卖引入VR技术,推广“非接触式”云看房

北京司法拍卖引入VR技

北京法(tian)院(ping)在执行财产处置程序中引入并推广VR技术,实现“
至暗时刻来临,“云用户”能否拯救零售业?

至暗时刻来临,“云用户

“云用户”能拯救零售业吗?如何才能找到他们?
华为发布5G室内系列新品 助运营商室内覆盖5G网络

华为发布5G室内系列新

华为今日召开5G室内新产品与解决方案线上发布会,推出5G
最新文章
在Python中使用MongoEngine操作数据库教程实例

在Python中使用MongoE

这篇文章主要介绍了在Python中使用MongoEngine操作数
win10系统Anaconda和Pycharm的Tensorflow2.0之CPU和GPU版本安装教程

win10系统Anaconda和P

这篇文章主要介绍了win10系统 Anaconda 和 Pycharm 的
使用python和pygame制作挡板弹球游戏

使用python和pygame制

这篇文章主要介绍了使用python和pygame制作挡板弹球游
使用pygame写一个古诗词填空通关游戏

使用pygame写一个古诗

这篇文章主要介绍了使用pygame写一个古诗词填空通关游
Anaconda 查看、创建、管理和使用python环境的方法

Anaconda 查看、创建

这篇文章主要介绍了Anaconda 查看、创建、管理和使用p
python 读取数据库并绘图的实例

python 读取数据库并

今天小编就为大家分享一篇python 读取数据库并绘图的