你的猜测是对的，大模型在变笨！
最近几个月一直都有关于OpenAI的两个传说，其一是ChatGPT的流量开始下滑，其二是GPT4“变笨”了。
前者已经被证明是真的，根据数据公司SimilarWeb的统计，5月到6月，ChatGPT全球流量下降了9.7%，美国境内流量下降了10.3%。
后者则是逐渐变成了一个Twitter热门传说，大家讨论它的热情堪比对GPT4模型结构的全力揣测，以至于OpenAI的产品副总裁都公开说，不！我们没有让它变笨！
论文的主要内容，简而言之就是，你说对了！大模型确实在变笨！
论文试图通过多种维度评估GPT的表现为何让人感到如此不稳定和不一致，于是为GPT3.5和GPT4划分了四种能力维度，分别是数学问题，敏感问题，代码能力和视觉推理能力。
通过对比2023年3月和6月两个版本的大模型，这篇论文发现了如下结果。
首先，两个大模型的表现都在短期内有着显著变化，特别明显的是数学问题，GPT的准确率大幅下降。举例子来说，在判定一个数是否是质数上，GPT4的成功率在三个月内从97.6%下降到了2.4%！
