说米网

站长之家(ChinaZ.com)3 月 26 日 音讯:软件开发者 Xe Iaso 迎来了一严重难题 —— 来自亚马逊的大量AI爬虫流量使其 Git 存储库服务不堪重负，重复导致服务不稳定、停机等问题。尽管设置了规范的防护措施 —— 调整了 robots.txt 文件、屏蔽了已知的爬虫用户署理，并过滤了可疑流量 —— 但 Iaso 发现，AI爬虫美好绕过了这些阻力 —— 它们伪装用户署理，并使用住所 IP 地址作为署理不断轮换。
Iaso 在一篇题为 “失望的呼救” 的博客文章中写道：“屏蔽AI爬虫机器人是徒劳的，它们会作假、会更改用户署理、会使用住所 IP 地址作为署理……我不想被逼关闭 Gitea 服务器 —— 但若有必要，我会这么做。”
Iaso 的阅历凸显了一个正在开源社区敏捷延伸的广泛危机 —— 这些急进的AI爬虫使得越来越多的‘社区维护基础设施过载’状况呈现，对一些至关重要的公共资源形成了等同于 DDoS 进犯的影响。依据 LibreNews 最近的一份陈述显现：现在，一些开源项目高达 97% 的流量来自AI公司的机器人爬虫，这极大地加剧了带宽本钱、导致服务不稳定、并给本就使命繁重的维护人员带来了更大的负担。
image.png
彩之网wap7,Fedora Pagure 项目的系统管理员团队成员凯文・芬齐（Kevin Fenzi）在他的博客中陈述称，在多次测验削减AI爬虫流量无果后，该项目不得不屏蔽了所有来自巴西的流量。
这种状况并非彻底最近才呈现。去年 12 月，为 Diaspora 交际网络维护基础设施的丹尼斯・舒伯特（Dennis Schubert）在发现来自AI公司爬虫的恳求占其总流量的 70% 后，愤怒地将这一状况称为“简直是针对整个互联网的DDoS进犯”。
这种状况在技能和经济方面都带来了很高的本钱。据 Read the Docs 项目陈述称，屏蔽AI爬虫后，其流量立即削减了 75%，从每天 800GB 降至每天 200GB。他们在博客文章《人工智能爬虫需要更尊重他人》中写道：这一变化使得他们的项目每月节省了大约 1500 美元的带宽本钱。
尤其是开源项目，面临着更加严峻的应战，因为开源项目依赖于公众协作，且与商业实体相比，其运营资源通常有限。许多维护人员称，为了避免被“发现”，这些AI爬虫成心绕过规范的屏蔽措施，无视 robots.txt 指令，伪装用户署理，并轮换 IP 地址。
宇宙飞船，黑客，外星人入侵
在 Hacker News 上，相关讨论也如火如荼地上演着，评论者们对‘AI公司针对开源基础设施的掠取性行为’表达了深深的不满。
除了耗费带宽之外，这些爬虫还常常访问一些占用大量资源的端点，比方 git blame、日志页面等，这给本就有限的资源带来了额定的压力。SourceHut 创始人德鲁・德沃（Drew DeVault）在他的博客中表示，这些爬虫会访问 “每个 git 日志的每一页，以及存储库中的每一次提交记载”，这种“进犯”对代码存储库来说尤其沉重。
这个问题不仅仅局限于基础设施压力。正如 LibreNews 所指出的，一些开源项目早在 2023 年 12 月就开端陆续收到AI生成的错误陈述，Curl 项目的丹尼尔・斯滕伯格（Daniel Stenberg）在 2024 年 1 月的一篇博客文章中初度对此进行了论述。这些陈述乍一看似乎是合理的，但其中包含了“AI编造的漏洞”，糟蹋了开发者名贵的时刻。
实际上，“不问自取”可谓是AI公司一贯作风。在 2022 年AI图像生成器、AI谈天机器人等产品敏捷爆发并引起人们对这种行为的重视之前，机器学习范畴基本上都是在“无视版权”的操作下编纂数据集的。
虽然AI公司都在进行网络爬虫活动，但形成的影响程度各不相同。依据丹尼斯・舒伯特发布的 Diaspora 交际网络流量日志分析结果显现，该渠道的网络流量中约四分之一来自 OpenAI 用户署理的机器人，而亚马逊占 15%，Anthropic 占 4.3%。
微信图片_20250326105159.png
这些爬虫或许是为了搜集练习数据以构建或完善大型言语模型，而另一些则或许是在用户向人工智能助手问询信息时履行实时查找。
这些爬虫的访问频率尤其能阐明问题。舒伯特观察到，AI爬虫“不只是爬取一个页面后就离开……它们每 6 个小时就会回来一次”。这也表明这些AI爬虫是在持续搜集数据，而非进行一次性的练习活动 —— 这些AI公司在利用这种爬取行为来“更新”它们的模型知识。
为了应对这些“进犯”，呈现了一些新的防护工具来维护网站免受不必要的AI爬虫侵扰。正如 Ars 在今年 1 月报道的那样，一位被称为 “Aaron” 的匿名程序员规划了一款名为 “Nepenthes” 的工具 —— 将爬虫困在无尽的虚假内容迷宫中。Aaron 明确将其描述为 “进犯性恶意软件”—— 目的是糟蹋AI公司的资源，并有或许会污染它们的练习数据。
Aaron 解说说：“每当这些爬虫从我的陷阱中获取数据时，它们就耗费了资源 —— 不得不为此付出真金白银，这有用地增加了它们的本钱。鉴于它们现在都还没有盈利，这对它们来说是个大问题。”
周五，Cloudflare 宣告推出 “AI Labyrinth”，这是一种类似于“Nepenthes”、但在商业上更为完善的工具。与被规划成“复仇者”的Nepenthes 不同，Cloudflare 将他们的工具定位为一种合法的安全功能，以维护网站所有者免受未经授权的抓取行为。
Cloudflare 在其公告中解说说：“当咱们检测到未经授权的爬取行为时，咱们不会屏蔽恳求，而是会链接到一系列由AI生成的页面，这些页面看似十分有说服力，足以招引爬虫去浏览。” 该公司陈述称，AI爬虫每天向其网络发送超过 500 亿次恳求，占其处理的所有网络流量的近 1%。
就现在的状况来看，AI生成内容的敏捷增长使网络空间不堪重负，再加上AI公司急进的网络爬虫行为，都让重要网络资源的可持续性遭受着严重威胁。
假如AI公司能直接与受影响的社区合作，“负责任”的数据搜集并非难事。但是，AI行业的巨头们似乎并没有啥采取更具合作性措施的主意。若是没有有用的监管，AI公司与受害渠道之间的“军备竞赛”很或许还会进一步升级。