又一项实考据明，浑浊大讲话模子的门槛低得令东谈主担忧。

与搜索引擎不同，搜索引擎允许用户自行判断不同开首的实在度，而接入收集搜索的 AI 聊天机器东谈主则可能未开首存疑的网页内容扶直为听起来凿凿有据的谜底。一个典型案例是：一位安全工程师得胜让多款 AI 机器东谈主"折服"他是一款热点德国纸牌游戏的现任天下冠军——尽管这项锦标赛压根不存在。

若是你在上周末之前检察维基百科，会看到 Ron Stoner 的名字出目下《6 Nimmt!》（英文名 Take 5）的词条页面上，被标注为 2025 年天下冠军。该词条将官方外不雅的 6nimmt.com 列为信息开首，而探问该网址如实能看到一篇庆祝 Stoner 夺冠的随意新闻稿。

问题在于，Stoner 本东谈主承认，不管是维基百科上的冠军词条，照旧托管这惟一"凭据"的 6 Nimmt! 域名，王人是他我方创建的。即便如斯，当他向多款 AI 聊天机器东谈主沟通时，它们仍然告诉他：他便是天下冠军。

"我的网站莫得任何寂寥佐证，全王人是造谣握造的，"Stoner 在博客著述中写谈，"整座纸牌屋的根基，不外是我喝咖啡时花 12 好意思元注册的一个域名。"

换句话说，这是一次针对检索增强生成（RAG）层的投毒膺惩。它并非教唆词注入，但膺惩的是团结个 AI 功能平面——即认真收集搜索的那一层。

正如 Stoner 所解释的，好多读者可能也早已坚硬到，AI 并不实在护理所援用开首的出处，而这正是他在打算这个实验时思要诓骗的缺点。

"总共具备收集搜索能力的前沿大讲话模子，王人会将谜底拓荒在检索排行最高的内容之上，"Stoner 写谈。在这个并不存在的《6 Nimmt!》锦标赛案例中，他植入的开首是惟一的信息源，再加上维基百科赋予的名义巨擘性，这就成了一种万无一失的拐骗妙技，足以让 AI 将坏话呈现为事实——况兼这种操作纯粹到非工夫用户也能松开复制。

"我莫得作念任何新奇的事，这不外是将老派的 SEO 和子虚信息妙技包裹在新的大讲话模子工夫与界面之中，"Stoner 在剿袭采访时暗示，"实在更正的是：AI 目下会将这些效果以巨擘的神志呈现出来，而大多量用户压根不知谈背后的数据管谈是怎么运作的。"

"大讲话模子最难识别的，恰正是它们被打算来作念的事——信任文本和资源，"Stoner 在著述中指出，"谜底不是'模子会我方搞明晰'，因为模子压根无法永别一个确凿开首和一个我上周二刚注册的域名。就像它也搞不明晰'strawberry'这个词里到底有几个字母'r'不异。"

Stoner 在实验中揭示的问题波及三种寂寥的失效时势，这些时势可能被用于比伪造纸牌游戏冠军更具错乱性的办法。

第一是检索层。任何依赖收集搜索来生成谜底的大讲话模子，王人围剿袭其检索效果的实在度，而这一层不错立即导致模子输出装假信息。

第二是模子试验语料库。Stoner 暗示，若是他对维基百科的修改存在充足长的时辰被爬虫抓取，就可能插足模子的试验数据。该词条已于上周五他发布著述时被删除，但他早在 2025 年 2 月就完成了此次修改，这意味着在此时间爬取过维基百科的 AI 公司，王人可能将这段虚构的夺冠经验纳入试验数据。

"即使维基百科的剪辑过后被打消，任何基于打消前数据试验的模子仍然会保留我留住的'遗产'，Hgame"Stoner 写谈，"语料库投毒的算帐问题，戒指 2026 年仍是一个实在未惩办的清贫。"

Stoner 暗示，他谋略在六个月后进行考据——届时新模子仍是发布，若是在不联网的情况下模子仍然复返他的冠军头衔，就解释这个坏话仍是插足了试验数据。

第三是 AI 智能体，Stoner 以为这才是实在对坏心膺惩者最具诱惑力的方针。

"聊天模子产生装假信息是声誉问题，而领有器用探问权限的智能体产生装假行动则是安全问题，"他指出。通过浑浊智能体检索到的开首，膺惩者不错指定但愿智能体奉行的操作。

"此次膺惩和测试只用了一个 12 好意思元的域名、一次维基百科剪辑，以及约略二十分钟的时辰，"Stoner 在博客中回归谈，"若是换成一个有动机的膺惩者，互助几个事前布局的域名，以及针对十几篇低流量著述的协同剪辑行动，膺惩面会赶快变得十分可不雅。"

Stoner 暗示，检索投毒是大讲话模子做事商需要正视并向用户明确警示的问题，他展望 AI 聊天机器东谈主在不久的未来将开动引入某种劝诫机制，尤其是针对 RAG 开首的效果。

他但愿 AI 公司能将数据开首实在度算作中枢经过身分，同期对近期收集内容进行启发式过滤，以识别可疑时势。在《6 Nimmt!》这个案例中，这类过滤本可松开发现问题：一个援用指向的域名注册时辰与维基百科词条更新时辰高度吻合，理当触发警报，但实践上并莫得。

这个子虚的冠军头衔仍是从维基百科和 RAG 反应中消散，但 Stoner 指出，使这一切成为可能的装假信任时势依然确凿存在，并将成为 AI 开发者面对的一个近在面前的问题。

"我很忻悦我的著述激励了对于大讲话模子、信息开首、信任机制以及这一切运作神志的磋磨，"Stoner 说，"这正是我的方针，而我似乎仍是竣事了它。"

Q&A

Q1：什么是 RAG 层投毒膺惩？它和教唆词注入有什么区别？

A：RAG（检索增强生成）层投毒是指膺惩者通过在收集上植入子虚内容，让 AI 在检索信息时抓取并援用这些装假开首，从而输出装假谜底。教唆词注入则是告成在用户输入中镶嵌坏心指示来操控模子行为。两者膺惩的王人是 AI 的信息赢得步调，但 RAG 投毒针对的是外部数据源，而非模子本人的推理过程。

Q2：此次实验为什么只花了 12 好意思元就得胜了？

A：Stoner 只需注册一个 12 好意思元的域名，搭建一个看起来像官方新闻稿的页面，再在维基百科上添加一条援用该域名的词条，就完成了通盘膺惩链。由于大讲话模子在收集搜索时会告成信任检索排行靠前的内容，而不考据开首的确凿性，这个"单一开首+维基百科背书"的组合足以让多款 AI 将子虚信息当做事实输出。

Q3：AI 智能体在检索投毒膺惩中面对哪些极端风险？

A：与平凡聊天模子不同Hgame，AI 智能体经常领有调用外部器用、奉行实践操作的能力。若是智能体检索到被浑浊的开首，膺惩者不仅能让它输出装假信息，还可能指引它奉行特定的坏心操作，举例发送装假指示或触发自动化经过。Stoner 指出，聊天模子产生装假信息是声誉问题，而智能体产生装假行动则是实在的安全问题。

• 好意思
• amp
• quot
• Hgame
• 矜恤