欢迎访问 生活随笔!

生活随笔

当前位置: 首页 > 人工智能 > pytorch >内容正文

pytorch

深度学习核心技术精讲100篇(三十二)-网易实时数仓实战应用

发布时间:2025/4/5 pytorch 67 豆豆
生活随笔 收集整理的这篇文章主要介绍了 深度学习核心技术精讲100篇(三十二)-网易实时数仓实战应用 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

前言

随着大数据技术的进步,各种计算框架的涌现,数据仓库相关技术难题已经从离线数仓逐渐过渡到实时数仓,越来越多的企业对数据的实时性提出了严格的要求,如何满足企业的低延时的数据需求,如何看待批量处理和实时处理的关系,实时数仓应该如何分级,各家可能都有自己的理解,本文主要介绍网易的实时计算平台的建设实践以及网易对于实时数仓方面的一些规划及展望,希望能够起到抛砖引玉的作用。

01实时计算平台实践

1. 网易实时计算平台:Sloth

网易的实时计算平台Sloth译成中文是树懒的意思,继承了网易喜欢用动物系命名大数据组件的风格,如果你看过《疯狂动物城》,一定会对剧中的flash印象深刻。Sloth平台的建设始于2017年12月份,至今已有3年的时间,期间平台的弹性计算单元(ECU)规模一直呈现指数级增长,目前ECU已经突破50000个,运行的CPU数量已经达到15110核,内存超过了34T。

2. 平台架构

总结

以上是生活随笔为你收集整理的深度学习核心技术精讲100篇(三十二)-网易实时数仓实战应用的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。