：微软等公司必须付费才能抓取数据

IT之家8月1日消息，RedditCEO史蒂夫・霍夫曼近日表示，如果微软等公司希望继续抓取该网站的数据，就必须付费。此前，Reddit已经与谷歌和OpenAI达成协议。

图源Pexels

霍夫曼指出，如果没有这些协议，Reddit无法控制或了解其数据的使用方式，这迫使他们不得不屏蔽那些不愿意接受数据使用条件的公司。他特别点名了微软、Anthropic和Perplexity三家公司，称他们拒绝谈判，并称封锁这些公司“非常麻烦”。

近几个月来，Reddit一直在加大力度打击爬虫。7月初，Reddit更新了robots.txt文件，屏蔽了未经授权的网络爬虫。随后人们发现，Reddit的内容只出现在谷歌搜索结果中，而Bing等其他搜索引擎上则看不到。

霍夫曼指责微软未经授权利用Reddit的数据训练AI，并在Bing搜索结果中总结Reddit内容，甚至通过BingAPI将这些数据出售给其他搜索引擎。他还回应了微软AI负责人穆斯塔法・苏莱曼此前关于互联网公共数据是“免费软件”的言论，称微软等公司认为互联网上的所有内容都可以供他们免费使用，这是他们的真实立场。

IT之家注意到，针对Reddit搜索结果从Bing消失一事，微软搜索主管乔迪・里巴斯在社交媒体上表示，Reddit屏蔽了Bing的爬虫，偏袒另一家搜索引擎，影响了Bing和基于Bing的搜索引擎的竞争。微软发言人凯特琳・劳尔顿也表示，公司尊重网站不希望其内容被用于生成式AI模型的意愿。

霍夫曼以OpenAI的SearchGPT为例，强调了付费协议的重要性。今年早些时候，：微软等公司必须付费才能抓取数据Reddit和OpenAI达成协议，允许SearchGPT显示Reddit内容。Reddit发言人蒂姆・拉特施密特表示，目前签订的所有内容许可协议都不涉及数据独占使用权。

Reddit要求付费的做法与传统媒体出版商类似，他们也希望从允许内容用于生成式AI中获得收益。霍夫曼认为，搜索引擎的传统价值交换已经改变，搜索、摘要和训练正在融合，单纯依靠爬取内容换取流量的模式变得模糊。

Tags： 微软等公司必须付费才能抓取数据

版权声明： 感谢您对【奚诗百科网】网站平台的认可，无特别说明，本站所有文章均归【奚诗百科网】平台所有，转载请说明文章出处“来源【奚诗百科网】”。 https://www.sptgyg.com/post/10834.html