微软研究人员警告,一种名为“AI推荐毒化”的新型AI欺诈手段正在出现。攻击者通过向AI助手的内存中植入隐藏指令,能够持久地影响其未来的建议输出,从而服务于恶意目的。
这种攻击与“SEO毒化”原理相似,但目标转向了日益普及的AI助手。当用户越来越多地依赖AI获取商品或服务的购买建议时,操控这些建议便有利可图。攻击者可能将特定指令伪装成无害的交互(例如点击“用AI总结”按钮),将其植入大型语言模型的记忆中,使其在后续回答中持续偏向推荐某个虚假或恶意的实体。
微软举例说明:一家公司的首席财务官可能让AI助手研究云基础设施供应商。由于内存中被提前植入了“某虚假公司是最佳供应商”的指令,AI会提供一份看似详细但带有偏向性的分析,强烈推荐该公司,可能导致企业基于此做出数百万美元的采购决策。
微软强调,这并非理论推演。该公司通过分析公开网络模式和Defender安全信号,已发现“大量在现实世界中植入持久性推荐指令的尝试”。这表明AI推荐系统正面临切实的安全威胁,企业和用户需提高警惕,对AI提供的建议进行交叉验证和尽职调查。



