nclick="xtip.photoApp('jzpic',{index:'1'})" data-xphoto="jzpic" src="http://www.wetsq.com/zb_users/upload/2025/11/kqwv4tjbchi.jpeg" title="AI数据抓取狂潮席卷，网站收入锐减！反击战打响，谁能笑到最后？ 第1张" alt="AI数据抓取狂潮席卷，网站收入锐减！反击战打响，谁能笑到最后？ 第1张">
【编者按】当我们在搜索引擎输入关键词时，可曾想过屏幕另一端正上演着数据掠夺的无声战争？一支由AI爬虫组成的"数字蝗虫军团"正以每秒数十亿次的频率扫荡互联网，它们不再像传统搜索引擎那样为网站引流，而是将内容吞噬进算法的胃囊。这场由科技巨头主导的变革正在重塑网络经济规则：媒体网站眼睁睁看着流量被AI摘要截胡，广告收入如退潮般消逝。当内容创作者沦为AI的"免费食堂"，我们是否正在亲手扼杀互联网的创造力源泉？这场关乎数字世界未来的攻防战，才刚刚拉开序幕。
一支AI"爬虫大军"正在互联网上疯狂肆虐，它们扫描数十亿网站窃取数据，为科技巨头的算法输送养料——这一切既未经许可也未支付报酬，正在彻底颠覆网络经济生态。
在AI聊天机器人崛起之前，网站允许搜索引擎抓取内容以换取曝光度，这种模式曾通过流量和广告收入反哺内容创作者。
但生成式AI的迅猛发展让谷歌、OpenAI等科技巨头得以利用网络爬虫为聊天机器人收割信息，人类用户再也无需访问原始网站。
传统内容生产者（如媒体机构）正被AI爬虫碾压，这些数字寄生虫正在蚕食它们的网络运营和广告收益。
"曾经开放内容给爬虫的网站能获得读者作为回报，"数据管理公司Dataiku的AI战略负责人库尔特·穆梅尔指出。
他告诉法新社，生成式AI的出现"彻底粉碎"了这种模式。
维基百科上月披露，由于AI搜索引擎摘要功能兴起，2024至2025年间该在线百科的全人类用户访问量下降了8%。
"根本矛盾在于，AI驱动的新互联网商业模式不产生流量，"美国互联网服务商Cloudflare首席执行官马修·普林斯一针见血。
这家处理全球超20%网络流量的公司，今夏推出新措施阻止AI爬虫在未经网站主许可和付费的情况下抓取内容。
"这就像设置限速标志或禁止闯入标识，"普林斯在里斯本网络峰会间隙向法新社比喻道，"违规机器人或许能暂时绕过，但我们会持续追踪…随着时间推移，我们有信心让AI公司无法突破这些加强后的防线。"
他补充说，这项覆盖超千万网站的措施已"引起人工智能巨头的警觉"。
在另一个战场，美国初创公司TollBit正在为网络新闻出版商提供阻断、监控AI爬虫流量并实现变现的工具。
"互联网是条高速公路，"CEO兼联合创始人托希特·帕尼格拉希将公司比作"网络收费站"。
目前TollBit已与《今日美国》《时代》周刊、美联社等5600多个站点合作，允许媒体机构自主设定内容访问费。
分析服务对出版商免费开放，但AI公司"每获取一条内容都需支付交易费"。
但穆梅尔警告，AI爬虫的网络霸权不可能靠"零散措施或单家公司"解决。
"这是整个互联网经济的进化过程，将耗时数年，"他预言道。
普林斯发出终极警示：若放任爬虫军团继续横行，"内容创作的所有激励都将消失殆尽。这不仅是我们这些内容消费者的损失，更需要原始内容训练系统的AI公司最终也将自食其果。"
