使用PyHive操作Hive

1.环境：Cloudera

cloudera是一个hadoop的发行版，可以省去hadoop, hive等繁琐的安装，部署。

下载地址：https://www.cloudera.com/downloads.html

 

2.Python环境： Anaconda    版本：Python 3.7

Anaconda是一个非常好用的Python环境，特别是安装包的方便，可以不用pip，几乎能想到的包都有。

因为使用的是linux版本的，在官网下载后是一个.sh文件

通过

$ sh Anacouda3-5.3.1-Linux-x86_64.sh

执行安装

3.通过pyhive连接hive需要的Python包：

3.1 pyhive

3.2 thrift

3.3 sasl

共需要三个包

安装完Anaconda后，在终端分别输入

$conda pyhive

$conda thrift

$conda sasl

下载这些包

4.连接Hive

使用jupyter notebook

from pyhive import hive import pandas as pd cnn=hive.Connection(host='localhost', port='10000', username='hive') cursor=cnn.cursor() cursor.execute("show databases") data=pd.DataFrame(cursor.fetchall()) print(data.head())

 

这里为了显示方便，导入了pandas库，利用Dataframe去显示返回的数据，因为将数据导入到了pandas里面，所以也可以直接利用查询语句选出数据，导入到pandas进行分析。

注意！如果连接不成功可以在终端输入

$ sudo service hive-server2 start

打开hiveService2借口, pyhive是通过这个接口与hive通讯的

 

总结

以上是生活随笔为你收集整理的使用PyHive操作Hive的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。