自从OpenAI向世界推出ChatGPT并引发了人工智能的热潮已经过去两年了,有数十亿美元涌入专注于人工智能和与人工智能相关的公司,承诺这项技术将加速(或可能完全消除)现代生活的各个方面。硅谷的叙事是,人工智能列车已经离开车站,任何聪明的投资者最好在这些产品变得“超级智能”并开始解决世界所有问题之前搭上这趟列车。(对于真正的信徒来说,这不是夸张,而且这些期望已经帮助将像芯片制造商英伟达这样的公司转变为地球上最有价值的资产,这些公司将于周三公布财报。)当然,这个叙事的关键是大型语言模型(LLM)像ChatGPT一样以指数速度不断改进的承诺。
一些人工智能怀疑论者多年来一直对“扩展定律”发出警告 - 即通过增加更多数据和计算能力,可以不断改进模型的输出。虽然这些不是法律,但更像是经过教育的猜测。事实上,即使是构建LLM的科学家也不完全理解它们是如何工作的。
据至少三份报告显示,一些领先的语言模型似乎正在遇到障碍。OpenAI首席执行官Sam Altman在上周的帖子中似乎对此提出了反驳。无论它是障碍、山脉还是其他任何你想称之为的东西,即使是AI多头也表示,仅基于已发布的产品,我们可能已经达到了一个转折点。“我们很久没有看到突破性的模型了,”投资集团D.A.Davidson董事总经理Gil Luria告诉我。“一部分原因是我们已经用尽了所有的人类数据,所以只是向同一数据添加更多的计算可能不会产生更好的结果。”
这是一个稍微技术性的问题,但也是关于这些模型限制的重要理解:为了让这些AI机器听起来像人类,你必须用人类数据来训练它们-基本上是使用互联网上的每一篇文本或音频。一旦模型吸收了所有这些数据,就没有“真实”的东西可以用来训练它了。
明确地说,平台期并不一定意味着AI业务的终结。但是当华尔街已经对投资者何时(或是否)期待看到这些昂贵的产品产生实际收入感到不安时,这并不是很好的外观。
Nvidia,一家估值近3.5万亿美元的芯片制造商,以及其他主要AI参与者可能不需要立即担心扩展问题。“对于上个季度和这个季度的Nvidia需求而言,毫无疑问,需求超过他们的供应,”卢西亚说。
但如果我们真的遇到了扩展的平台期,“这可能意味着那些大型技术公司已经过度投资”,他们可能会在不久的将来缩减规模。“这就是AI乐观主义者/实用主义者的观点。”
对于一个不太乐观的前景,我咨询了纽约大学名誉教授Gary Marcus和直言不讳的AI炒作批评者。“经济上很可能很糟糕,”马克斯在本月早些时候在他的Substack上发表文章。“LLMs不会消失,即使改进减少,但经济上很可能永远不会合理……当每个人意识到这一点时,这个金融泡沫可能会迅速破裂;甚至Nvidia可能会受到影响,当人们意识到其估值在多大程度上是基于虚假的前提。”