当前位置: 江南文明网 > 科技 > 智能 >

加速智算系统创新,切实解决大模型算力难题

条评论

加速智算系统创新,切实解决大模型算力难题

目前从事大模型研发的公司和团队,普遍面临“买不起、建不了、算不好”的困局。

浪潮信息董事长彭震表示,为解决这一困境,应大力发展普适普惠的智算中心,通过算力基建化使得智算力成为城市的公共基础资源,供用户按需使用,发挥公共基础设施的普惠价值。

在彭震看来,算力系统构建不是算力的简单堆积,而是一项复杂的系统工程,需要从多个方面进行系统化的设计架构。

一是要解决如何实现算力的高效率,二是要解决算力系统如何保持线性可扩展, 三是解决算力系统长效稳定训练问题,比如硬件故障导致训练中断、梯度爆炸等小规模训练不会遇到的问题。

系统建成后,大模型在训练过程中,由于开发链条冗长,还面临“算不好”的挑战。大模型训练不仅依赖高质量数据,同时也要解决算法收敛、断点续训、参数优化、模型微调等问题,数据质量、代码调优、执行效率等关乎训练质量的因素至关重要