Nature封面：AI训AI 越训越傻模型崩溃之谜

来源：网络 作者：声远热闻

阅读：1049

发布时间：2024-07-29 15:49:02

评论：0

[摘要] Nature封面：AI训AI 越训越傻人工智能大语言模型的智慧通常与其接受的训练数据量成正比，越多的数据往往造就更“聪明”的模型。然而，《自然》杂志最近发布的一项研究揭示了一个反常现象：仅依赖AI自身

Nature封面：AI训AI 越训越傻

人工智能大语言模型的智慧通常与其接受的训练数据量成正比，越多的数据往往造就更“聪明”的模型。然而，《自然》杂志最近发布的一项研究揭示了一个反常现象：仅依赖AI自身生成的数据来锻炼这些大模型，不仅不会让它们变得更智能，反而会导致性能衰退，表现得愈发“愚钝”。

这项研究出自英国牛津大学和剑桥大学等学术机构的合作。研究团队观察到，当大语言模型的训练完全基于AI自制的内容时，会引发一种称为“模型崩溃”的现象。模型开始遗忘真实世界数据的本来面貌，并逐渐表现出不可逆转的功能退化。

实验中，通过大模型生成类似维基百科条目的文本，继而利用这些材料反复训练模型的新版本。随着迭代深入，由AI产生的信息不断“污染”训练素材，模型的输出变得越来越不合逻辑。例如，在某次迭代中，一篇本应聚焦英国教堂塔楼的文章，却离奇地插入了关于野兔尾巴颜色的描述。

探究“模型崩溃”的根源，关键在于模型受限于其训练数据的采样范围。那些原本就不频繁出现的词汇，在连续迭代中愈发稀少，而高频词汇则更加泛滥。这一趋势令模型渐渐丧失了准确反映现实世界多样性的能力。错误随迭代逐级累积，最终酿成“模型崩溃”，类似生物学中的“近亲繁殖”效应，缺乏基因多样性终将导致物种衰败。

值得注意的是，“模型崩溃”不仅限于大语言模型，其他如高斯混合模型、图像生成器等也存在类似风险。

面对“模型崩溃”，研究提出了一些缓解策略。保持模型微调过程中约10%的真实数据比例，能有效延缓崩溃过程。此外，采用水印技术区分真实与AI生成的数据，以及引入人工审核机制过滤AI文本，也是潜在的解决方案，但这需要科技巨头之间的合作与努力。

加载更多

相关阅读

精彩图片

新帖速递