文章目录

• [Bug]Superset通过pyhive连接Spark SQL数据表名获取失败
• • 问题原因
  • 解决方案

[Bug]Superset通过pyhive连接Spark SQL数据表名获取失败

参考:Superset连接Spark-SQL

Superset官网推荐使用pyhive连接Spark SQL,在创建DataSet时,无法正常获取数据表名：表名显示为db名称。

问题原因

这是因为spark-sql展示数据表列表时，会显示两列，第一列是数据表所在的数据库的名称，第二列才是数据表名称，而pyhive默认选择第一列数据返回，所以在superset中，数据表列表显示不正确。

解决方案

1、修改pyhive相关代码，pyhive v0.6.3 代码位置，最新版本，代码或有变动。
2、fork后进行代码修改，完成后，pip安装GitHub自己仓库中fork的pyhive
git config --global url.“https://github.com”.insteadOf git://github.com
git config --global http.postBuffer 524288000
pip install git+git://github.com/howtoplay2008/PyHive.git
3、重启superset

总结

以上是生活随笔为你收集整理的[Bug]Superset通过pyhive连接Spark SQL表名获取失败的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。