当前位置: 江南文明网 > 科技 > 智能 >

AI大模型带来“计算”新挑战

条评论

AI大模型带来“计算”新挑战

智东西11月29日报道,今天Arm在北京举办了年度技术大会,会后智东西与少数业内媒体一起与Arm高级副总裁兼基础设施事业部总经理Mohamed Awad等高管进行了面对面深度交流。

Awad在沟通会上首先对上午演讲中的重点信息进行了总结,他的一个观点令人印象深刻,在AI新时代,Arm要做的并不是打造一个“完美的架构”,而是为更多企业的创新提供一个更好的“平台”,厂商们基于Arm架构可以设计出更多出色的芯片产品,例如英伟达的GH200 Grace Hopper。


 

AI大模型是当下科技产业讨论中避不开的一个话题,Awad说,AI技术发展太快了,我们每次讨论的内容都可能不一样,在他看来,AI领域最大的挑战之一就是内存带宽,解决这样的挑战需要新的系统架构,提高内存一致性。系统架构的灵活性、强大的生态系统至关重要,这些都是满足AI大模型发展需求的关键。

目前,从最小的设备到最大的数据中心,AI将会无处不在,每个涉及计算的领域都需要更多算力、更多加速能力。对于Arm而言,这是巨大的机会。

最近智能手机、PC等产品都在向生成式AI靠拢,比如提出AI PC的概念,Arm作为底层芯片技术提供商,对此是如何思考和布局的?AI大模型会给移动芯片生态带来哪些变化?

对于智东西提出的这些问题,Awad给出了自己的看法,他提到,AI大模型的训练更多会发生在云端,而推理过程则会发生在各个节点,从端侧设备到云端。