安全行业拉响最高警报！人工智能竟成大规模黑客攻击的“主谋”。
尽管OpenAI的ChatGPT、Anthropic的Claude等主流AI模型在设计之初就明确禁止协助非法活动，但令人担忧的是，一旦用户通过欺骗手段成功“越狱”AI，将很难阻止其被滥用于犯罪目的。
据彭博社当地时间25日报道，以色列安全初创公司Gambit Security披露，Anthropic的Claude模型近日被用于针对墨西哥政府机构的黑客攻击。据报道，一名用户利用Claude识别政府网络漏洞，并泄露了高达150GB的数据。受攻击的机构包括墨西哥国家税务服务局（SAT）、国家选举委员会（INE）及墨西哥城居民登记处，导致超过1.95亿份包含纳税人记录、选民名单和公务员账户信息的文件遭泄露。
Gambit Security透露，黑客用西班牙语指示Claude“扮演精英黑客”，寻找攻击政府网络的方法。尽管Claude最初识别出恶意意图并试图拒绝指令，但黑客反复声称这是“漏洞赏金测试”，最终骗过了AI。黑客不仅成功绕过了AI公司的安全防护，甚至找到了自动化窃取政府网络数据的方法。调查还发现，黑客在攻击过程中遇到障碍时，也曾使用OpenAI的ChatGPT。
Anthropic回应称：“已封禁涉事账户，并将把此次滥用案例纳入模型训练。最新模型已增强对此类恶意使用的检测能力。”OpenAI也已封禁相关账户。然而，AI行业内部仍存隐忧：用户将持续以更具创意的方式突破限制，而“事后补救”措施——即在问题发生后才识别和修复——恐不足以完全杜绝AI滥用。
