🚨 最新消息:OpenAI 发布了一篇文章,证明 ChatGPT 总是会编造内容。



不是有时。不是等到下一次更新。是永远如此。他们用数学证明了这一点。

即使拥有完美的训练数据和无限的计算能力,AI 模型仍然会自信满满地告诉你一些完全错误的事情。这不是一个他们正在修复的漏洞。这解释了这些系统在根本层面上的工作原理。

而他们自己的数据也非常残酷。OpenAI 的推理模型 o1 在 16% 的情况下会产生幻觉。它们的新模型 O3?33%。它们的新 o4-mini?48%。他们最新模型提供的信息中,几乎一半可能是虚构的。“更智能”的模型实际上在越来越多地说谎。

这就是为什么无法修复的原因。语言模型的工作原理是根据概率预测下一个词。当遇到不确定的情况时,它们不会停止,也不会发出信号。它们会假设,并以绝对的信心进行推测,因为这正是它们被训练的目的。

研究人员分析了衡量这些模型质量的前十个人工智能标准。十个标准中,有九个对“我不知道”与给出完全错误答案的评分一样:零分。整个测试系统实际上惩罚诚实,奖励猜测。

因此,AI 学会了最优策略:总是猜。永远不承认不确定。这看起来很自信,即使它们是在编造。

OpenAI 提出的解决方案是什么?让 ChatGPT 在不确定时说“我不知道”。他们的计算显示,这意味着大约 30% 的问题没有答案。想象一下,向 ChatGPT 提问三次,得到“我不够自信回答”。用户会在夜里离开。因此,解决方案存在,但会毁掉这个产品。

这不仅仅是 OpenAI 的问题。DeepMind 和清华大学也独立得出了相同的结论。世界上最顶尖的三个 AI 实验室,分别工作,结果都一致:这是永久性的。

每次 ChatGPT 给出答案时,问问自己:这是真实的,还是仅仅是自信的假设?

这是 Come-from-Beyond 👇 的回答:
他们开始理解为什么

#QUBIC #Aigarth .* 将“说‘我不知道’”的能力放在了核心关注点上

$QUBIC
QUBIC4.93%
查看原文
post-image
post-image
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论