我们已经开始体验到，硅计算体验到达上限的感觉。未来10年，将出现严重的算力差距，而无论是现有的技术公司还是政府，都没能解决这一问题。
现在，我们已经习惯了计算会变得越来越便宜，以至于我们从来不曾怀疑过，也许有一天我们会用不起它。
现在，Rodolfo Rosini，一家初创公司的CEO提出了一个令我们震惊的问题：如果我们正在达到经典计算模型的基本物理极限，就像我们的经济依赖廉价的计算一样，那该怎么办？
大型计算的停滞
现在，由于缺乏技术创新，美国已经到达了一个平稳期。
赖特定律（Wright’s Law）在很多行业中都成立——制造工艺每改进20%左右，生产率就会翻一番。
在技术领域，它表现为摩尔定律。
在1960年代，英特尔联合创始人Gordon Moore注意到集成电路中的晶体管数量似乎同比翻了一番，提出了摩尔定律。
从此，这个定律就成为市场和工程之间契约的基础，利用过剩的计算能力和尺寸的缩小，推动计算堆栈中产品的构建。
那时的预期是，有了更快和更便宜的处理器，计算能力会随着时间呈指数级提高。
然而，构成摩尔定律的不同力量已经发生了变化。
几十年来，摩尔定律背后的推动力是Dennard缩放定律。晶体管尺寸和功耗同步减半，使每单位能量的计算量增加一倍（后者也称为Koomey’s LawKoomey定律)。
50年的微处理器趋势数据
2005 年，由于电流泄漏导致芯片升温，这种缩放比例开始失效，随之而来的是具有单个处理核心的芯片的性能停滞不前。
为了保持计算增长轨迹，芯片行业转向了多核架构：多个微处理器“粘合”在一起。虽然这可能在晶体管密度方面延长了摩尔定律，但它增加了整个计算堆栈的复杂性。
对于某些类型的计算任务，如机器学习或计算机图形，这带来了性能提升。但是对于很多并行化不好的通用计算任务，多核架构无能为力。
总之，很多任务的计算能力不再呈指数级增长。
即使在多核超级计算机的性能上，从TOP500 （全球最快超级计算机排名）来看，2010年左右也出现了明显的拐点。
这种放缓的影响是什么？计算在不同行业中发挥的越来越重要的作用表明，影响是立竿见影的，而且只有在摩尔定律进一步动摇的情况下才会变得更加重要。
举两个极端的例子：计算能力的提高和成本的降低使得能源行业石油勘探的生产率增长了49%，生物技术行业的蛋白质折叠预测增长了94%。
这意味着计算速度的影响不仅限于科技行业，过去50年的大部分经济增长都是摩尔定律驱动的二阶效应，没有它，世界经济可能会停止增长。
还有一个需要更多算力的突出原因，就是人工智能的兴起。在今天，训练大语言模型 (LLM) 可能花费数百万美元，并需要数周时间。
