美国新创业者Cerebras Systems发表全球首个大脑等级的AI系统

在2016年成立，专注于建置AI与深度学习电脑系统的Cerebras Systems，于24日发表了号称是全球第一个大脑等级的AI解决方案，借由一个冰箱大小的CS-2系统，来支援超过120兆个参数的模型，胜过了人脑中所存在的100兆个突触。

Cerebras指出，人脑约含有100兆个突触，而过去最大的AI硬件丛集大概只占人脑的1%，相当于1兆个突触，而在AI系统上则称为参数，由于它仅等于人脑的一小部分，这些由绘图处理器组成的丛集除了要占用数英亩的空间与数兆瓦的功率之外，也必须由专门的团队来操作。

Cerebras所建置的CS-2系统采用了4项创新技术，于小空间创造了与人脑相当的AI能力，这些技术分别是软件执行架构Cerebras Weight Streaming、内存扩张技术Cerebras MemoryX、高效能互连构造Cerebras SwarmX，以及动态的稀疏收集技术Selectable Sparsity。

其中，Weight Streaming可将模型参数存放在芯片外，却可提供像是位于芯片的同样训练及推理效能。此一新的执行模型拆解了运算与参数的储存，让研究人员能够弹性地扩展规模与速度，也消除了大丛集可能导致的延迟及内存宽频的问题，还让使用者能够在不需变更软件的状况下，使用1到192个CS-2。

MemoryX则是让CS-2可支援具备120兆个参数模型的基础，SwarmX允许Cerebras可连结192个CS-2中的1.63亿个AI最佳化核心，藉以训练单一神经网络，Selectable Sparsity则是用来权衡模型中的稀疏程度，以减少所需的浮点运算效能及解决时间。

Cerebras指出，结合上述技术将能轻松地解锁大脑等级的神经网络，并将任务分派到基于AI最佳化核心所组成的丛集上。

美国阿贡国家实验室（Argonne National Laboratory）副主任Rick Stevens表示，前几年的研究显示，对于自然语言处理（NLP）模型来说，洞察力与参数成正比，参数愈多，结果便愈好，Cerebras的创新让参数增加了100倍，将有改变整个产业的潜力。

吸引外界注意的还有CS-2系统所采用的WSE-2芯片，它是一个 46,225平方毫米的硅芯片，只比9.7吋的iPad还要大一些，内建2.6兆个晶体管，85万个AI最佳化核心，40Gb内存，20 PB/s内存带宽，以及220 Pb/s的互连带宽，采用台积电的7奈米制程技术，它是全球最大的电脑芯片，也是地球上最独特的半导体装置之一。

图片来源_Cerebras