hive中的UDAF的使用流程记载
生活随笔
收集整理的这篇文章主要介绍了
hive中的UDAF的使用流程记载
小编觉得挺不错的,现在分享给大家,帮大家做个参考.
概述
本文是对[1]的整理和复现。
环境
| 组件 | 版本 |
| Hadoop | 3.1.2 |
| Zookeeper | 3.6.0 |
| Mysql | 8.0.22-0ubuntu0.20.04.2 |
| Hive | 2.3.7 |
Hive准备工作
以[2]中的例子三为准
zhong
注册UDAF流程
| 注册命令(hive/beeline中进行) | 备注 |
| add jar /home/appleyuchi/桌面/Flink_Code/FLINK读写各种数据源/Java/target/table_api-1.0-SNAPSHOT.jar; | 指明自定义依赖包 |
| create temporary function sum_test as 'UDAFSum_Sample'; | 依赖包中的类UDAFSum_Sample注册为sum_test |
使用GenericUDF流程
| hive命令 | 实验结果 | 备注 |
| use db1; select sum_test(sales_info_new.sku_id) from sales_info_new; | +---------+ | _c0 | +---------+ | 7165.0 | +---------+ | 无 |
完整代码:
https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK读写各种数据源/Java/src/main/java/UDAFSum_Sample.java
Reference:
[1]UDAF实现一个自定义的求和函数
[2]hive中操作struct与map三例
总结
以上是生活随笔为你收集整理的hive中的UDAF的使用流程记载的全部内容,希望文章能够帮你解决所遇到的问题。
- 上一篇: 常见的那些模糊不清的计算机相关概念(长期
- 下一篇: 视力检查-2019年2月2日