快讯|地平线旭日3成功部署14亿参数大语言模型

【网易科技9月12日报道】近日，记者获悉，地平线成功在旭日3中的BPU®计算单元上，部署运行参数规模高达14亿的大语言模型。

据介绍，此次部署源于旭日3所搭载的双核BPU®伯努利计算单元对神经网络计算的原生性支持，能够在处理大语言模型方面提供高性能、低功耗的计算处理能力。

另一方面，地平线通过软硬协同编译，采用算子重写、算子重排、算子融合和KV-Cache等技术，优化了模型结构，实现推理速度的提升。

据了解，该模型的运行效能相较于LLaMA.cpp等纯CPU方案有所提升。这也意味着，旭日3对此大语言模型的支持性可达到产品级应用水平。（江淼）

总结

以上是生活随笔为你收集整理的快讯|地平线旭日3成功部署14亿参数大语言模型的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。