hive 部分问题

1.使用mr 执行任务时报 org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATH

FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATH

问题解析：整合phoenix时造成的错误；
解决： 添加phoenix-xxx-hbase-xxx-hive.jar、phoenix-xxx-hbase-xxx-client.jar 、phoenix-core-xxx-HBase-xxx.jar三个jar到hive/lib目录下

参考：https://blog.csdn.net/madongyu1259892936/article/details/88355257

2.Diagnostic Messages for this Task: Error: Java heap space

Task with the most failures(4): ----- Task ID:task_1574902865618_0001_m_000000URL:http://0.0.0.0:8088/taskdetails.jsp?jobid=job_1574902865618_0001&tipid=task_1574902865618_0001_m_000000 ----- Diagnostic Messages for this Task: Error: Java heap spaceFAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

解决：
设置 set io.sort.mb=10; 默认值是100，问题轻松解决；
其他几个参数： set hive.map.aggr=true； //在map端做部分聚合
set hive.groupby.skewindata=true;//解决数据倾斜问题

io.sort.mb 的作用
排序所使用的内存数量。
默认值：100M，需要与mapred.child.java.opts相配 默认：-Xmx200m。
不能超过mapred.child.java.opt设置，否则会OOM。
参考：https://blog.csdn.net/lazythinker/article/details/52872171

总结

以上是生活随笔为你收集整理的hive 部分问题的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。