当前位置: 江南文明网 > 科技 >

为AI热潮再添动力 英伟达发布新一代芯片H200

条评论

为AI热潮再添动力 英伟达发布新一代芯片H200

半导体巨头英伟达发布了新一代人工智能(AI)芯片H200,旨在培训和部署各种人工智能模型。美股盘中,英伟达股价震荡走高,目前涨逾1%。

新的H200芯片是当前用于训练最先进大语言模型H100芯片的升级产品,集成了141GB的内存,更加擅长进行“推理”。在用于推理或生成问题答案时,性能较H100提高60%至90%。

image

据英伟达官网消息,基于英伟达的“Hopper”架构的H200也是该公司第一款使用HBM3e内存的芯片,这种内存速度更快,容量更大,因此更适合大语言模型。

英伟达称:“借助HBM3e,英伟达H200以每秒4.8TB的速度提供141GB的内存,与A100相比,容量几乎是其两倍,带宽增加了2.4倍。

另外,H200预计将于2024年第二季度上市,将与AMD的MI300X GPU展开竞争。与H200类似,AMD的芯片比其前身拥有更多的内存,这有助于大语言模型来运算推理。

英伟达表示,H200将与H100兼容,这意味着已经在使用H100进行训练的人工智能公司,不需要改变他们的服务器系统或软件来适应H200。

英伟达副总裁伊恩·巴克声称:“为了训练生成式人工智能和高性能计算应用程序,必须使用高效能GPU。而有了H200,业界领先的人工智能超级计算平台可以更快地解决一些世界上最重要的挑战。”

英伟达加速计算首席产品经理迪翁·哈里斯表示:“看看市场上正在发生的事情,你会发现大模型尺寸正在急速膨胀。这是我们继续引领最新、最伟大技术的又一个例子。”

据美国金融机构Raymond James透露,H100芯片成本仅3320美元,但英伟达对其客户的批量价格仍然高达2.5万至4万美元。这导致H100利润率或高达1000%,成为了有史以来最赚钱的一种芯片。