Hacker News AIT2·商业与生态
62 分
AI 公司为训练大模型持续抓取内容,导致全球多所高校图书馆的在线资源被数据爬虫淹没,网站变慢甚至崩溃。有学校单日遭遇逾 1.1 万次针对芬兰音乐的检索请求,学生、研究者与公众的正常访问受到直接冲击。
Web Scraping
自动化程序从网页提取数据的技术手段
AI 公司为训练大模型持续抓取内容,导致全球多所高校图书馆的在线资源被数据爬虫淹没,网站变慢甚至崩溃。有学校单日遭遇逾 1.1 万次针对芬兰音乐的检索请求,学生、研究者与公众的正常访问受到直接冲击。
Meta 在舆论压力下修订了商业账户服务条款,删除了允许使用数据“训练”AI 的表述,并将用途限制为广告和商业产品。然而,法律专家指出新条款仍赋予 Meta 对关联网站进行广泛内容抓取的权力,且可能凌驾于 robots.txt 协议之上,引发行业对数据主权和版权合规的持续担忧。
Meta 在面临法律专家与出版商强烈反对后,悄然修改其商业服务条款,删除了被解读为授权其抓取新闻网站内容以训练人工智能模型的模糊措辞。尽管 Meta 声称此举并未赋予其超越 robots.txt 协议的新权利,但这一调整被视为对数据合规压力的直接回应。
Meta 将于 10 月 30 日生效的新商业条款规定,平台有权自动抓取与商家账户“关联”的外部网站内容(包括新闻站点),并用于其 AI 产品的研发、改进和训练。此举被法律专家解读为 Meta 试图绕过传统的内容授权协议,通过社交媒体生态间接获取高质量语料库,对出版商和内容创作者的版权保护构成直接挑战。
美国联邦法官驳回 Chegg 和 Penske Media 针对 Google AI Overviews 的反垄断诉讼,裁定其不构成违法。法院认为搜索引擎提供摘要并减少流量属于正常运作机制,而非非法协议或垄断行为。这一判决为出版商担忧的 AI 搜索流量侵蚀问题提供了初步的法律定论。