当前位置: 江南文明网 > 科技 >

GPT4发布两月后,他给AI产业画了张路线图

条评论

GPT4发布两月后,他给AI产业画了张路线图

去年我实际上采访了Sam Bankman-Freed(被逮捕的加密企业FTX创始人)。显然,我采访的是错误的Sam,所以很高兴今年能纠正过来,和正确的Sam进行交流。让我们从大家关心的话题开始,我们什么时候能得到我们的Worldcoin(由Sam Altman发起的一个虚拟代币项目,通过虹膜认证替代一般身份认证)呢?

Sam:我认为如果你不在美国,你可能在几周内就能得到一个;如果你在美国,可能永远都得不到。我不知道,这取决于美国政府禁止加密货币的决心有多大。

Patrick:Worldcoin大约是一年前左右启动的?

Sam:

实际上它还没有正式运行,它已经在测试阶段大约一年了。但它将在美国以外的地方很快上线。在美国,你可能永远都不能使用它,我不知道。

Patrick:

好吧。

Sam:

所以这是一件疯狂的事情。你知道,不管你对加密货币的涨跌有什么看法,但美国是全世界最糟糕的拥有加密货币公司的国家,很可能你根本就不能提供加密货币服务。这是一个(影响)巨大的声明,历史性的声明。

Patrick:

是的,就是这样。是的,很难想象最后一次出现这种情况的技术是什么。

Sam:

也许是欧洲人应该做这个,而不是我们。

Patrick:

是的。

Sam:

超音速飞行或者类似的东西。

Patrick:

对的。

然后,我猜几乎所有在场的人都是ChatGPT的用户。你最常用的ChatGPT是什么样的,就是你在不测试东西的时候,你真的想要用的时候,ChatGPT完全是你的工具。

Sam:

无疑是汇总文摘。如果没有它,我已经不知道怎么继续工作。我可能无法处理电子邮件和Slack(一种基于云端运算的即时通讯软件)。你知道,你可以把一堆电子邮件或者Slack消息发给它。希望能随着时间的推移,我们为这个场景构建一些更好的插件;但即使是手动操作也效果相当好。

Patrick:

有没有任何插件成为你的工作流程的一部分?

Sam:

我偶尔在代码解释器中浏览。但说实话,对我个人来说,它们还没有真正像是日常习惯的一部分。

大语言模型的未来:合成数据突破数据天花板 / RLHF训练人才争夺战

Patrick:

所以显然,这很有可能是我们正在经历的趋势,超线性(速度)的实现模型能力的收益;但谁知道呢,也许我们很快就会接近极限,那是可能的,但至少是一种可能性。如果我们最后走到这个尽头,你认为我们回头看,认为原因是数据不够,或者计算能力不足,最有可能的是什么呢?

Sam:

我真的不认为这会发生。

但如果真的发生了,我认为这可能是我们现有架构中的某些基本问题,以一种我们现在还没有察觉的方式限制了我们。比如说,我们可能永远无法让这些系统变得非常稳健,所以我们无法让它们能够可靠地保持在正确的轨道上,理解它们正在犯错误;因此,它们不能真正在大规模上有效地获取新知识。但我没有理由相信这就是(会发生的)情况。

Patrick:有些人认为我们现在的训练数据已经接近互联网的全部内容,你不能把这个数目再增加两个数量级,我想你可能会反驳说,是的,但是(还有)合成数据生成,你认为数据瓶颈重要吗?

Sam:

我认为,就像你刚才提到的,只要你能达到这个合成数据的临界点,模型足够聪明,能制作出好的合成数据,我认为应该没问题。

我们肯定需要新的技术,我不想假装没有这个问题。简单地把Transformer扩展起来,预先从互联网上获取训练数据,这种方法会失效,但这并不是我们的计划。

Patrick:

所以GPD 3.5和4的一大突破就是RLHF。如果你,Sam,亲自做了所有的RLHF,模型会变得明显更聪明吗?反馈的人是否重要?

Sam:

我认为我们正在进入一个阶段,在某些领域,你真的需要聪明的专家给出反馈,以使模型变得尽可能智能。