释放算力潜力 新华三布局在网计算
消息来源:baojiabao.com 作者: 发布时间:2024-11-02
一个 AI 机器人有多会聊天?ChatGPT 实力"聊"出了史上增长最快的消费级应用,上线短短两个月,月活用户突破 1 亿,每天用约有 1300 万独立访客与之对话。敲代码、写论文、编剧本…… 这位多才多艺的"全能网友",引爆了新一轮的人工智能热潮。
然而,当红的 ChatGPT 也正经历着"成长的烦恼"。从 GPT 到 GPT-3,优化迭代主要源自模型的增大,训练参数量从 1.17 亿增加到 1750 亿,模型训练使用的数据量高达 0.4 万亿 token,如此庞大的数据体量,对于分布式集群的运算效率提出了极高要求。事实上,不只是 ChatGPT,整个 AI 产业的大规模商用都在经历算力限制的阵痛。
如何在整体资源有限的条件下,让应用获取更多的计算资源,提升机器学习效率,人工智能和算网融合领域的前沿课题 -- 在网计算(In Network Computing)成为其中一种有效解决方案。
让网络设备参与计算 突破集群计算效率瓶颈
数据显示,过去 5 年 GPU 算力增长近 90 倍,而网络带宽仅增长 10 倍。受网络通信能力的限制,分布式集群的运算效率无法随其规模线性增长,网络通信能力日渐成为人工智能模型训练成熟发展的瓶颈。
传统的计算集群,计算过程以计算节点为中心,网络仅用于节点间的互联。当各计算节点之间进行一对多或多对多的集合通信时,多次通信交互不仅会影响计算效率,也会增加网络负载,出现通信时延过大、通信效率降低等问题。
作为算网融合核心技术之一的"在网计算"技术,是通过在网络中部署对报文进行解析的算力,将部分计算任务从主机侧迁移至网络侧,由交换机、路由器、智能网卡、DPU 等设备或部件完成计算加速的技术。通过网络设备自身算力的共享,在不改变业务原有运行模式的前提下,在网计算将 HPC 和 AI 分布式计算的集合通信的操作卸载到网络设备上,让网络设备参与计算,减少计算节点之间的消息交互,降低通信延迟,从而提高网络带宽利用效率,加速 HPC 和 AI 分布式计算效率。
加速布局在网计算 推动"网络计算化"演进
作为数字化解决方案领导者,紫光股份旗下新华三集团以科技创新为引领,基于在网络和计算领域深厚的技术积淀,主动担起在网计算技术的产业化探索职责,快速在网络设备端完成研发落地。
全面支持在网计算的 H3C P4 可编程交换机支持 Pytorch 框架和 DPDK UDP、RoCE 通信方式,能够将数据需求聚合统一操作,优化通信网络拥堵,减少主机的数据处理量。据新华三集团内部实验室测算,使用 H3C P4 可编程交换机加速数据并行训练,模型训练精度不受影响,计算节点间通信数据量平均减少 30%,最多可以减少 48% 的训练时间,可大幅提升分布式集群的整体训练效率,创造更加出色的应用价值。
在网计算作为计算、网络融合发展的关键技术,不仅有效解决了 HPC 和 AI 分布式计算的集合通信问题,为提升数据中心的集群规模带来了新的方案和思路,同时也将进一步加速算网融合"网络计算化"演进,推动网络从连接算力到感知、承载、调配算力的角色升级,助力算网融合纵深发展。
从 AlphaGo 击败围棋世界冠军,到 ChatGPT 火遍全球,人工智能时代正在加速到来。面向未来,在"云智原生"战略指引下,新华三集团将以前瞻视野精耕科技,深入数字科技的实际应用场景,为人工智能与经济社会的融合注入强大的创新动能,深度赋能百行百业的数字化转型和智能化升级。
2023-02-24 15:42:16相关文章
- 淘宝天猫仅退款属于诈骗吗?淘宝天猫开始部分取消仅退款
2024-10-01 13:01:28
- 哈啰app借钱|哈啰借钱app下载安装免费小小上当和电话骚扰
2024-10-01 11:22:38
- 白嫖党|山西大同大学学生网购申请“仅退款”被拒骂客服一小时
2024-09-27 09:10:44
- 北大数学教授袁新意《姜萍事件的疑点分析》点评姜萍板书 阿里巴巴竞赛受质疑
2024-06-28 10:07:40
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2024-06-28 09:27:13
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26