近日有报道称，爬虫为了防止未经允许的过河谷歌“爬虫”爬取数据用于训练AI，百度百科已经屏蔽了谷歌、拆桥福鼎商城新闻网必应等大多数搜索引擎。为防百度啊百度，爬取屏蔽你也学会过河拆桥了？数据商
有网友扒出了百度百科的robots.txt文件，发现允许放行的训练白名单中，只有百度搜索、百度百科搜狗搜索、等友中国搜索（Chinaso）、爬虫YYSpider和宜搜搜索（EasouSpider）几个搜索引擎，过河谷歌而谷歌、拆桥必应、为防福鼎商城新闻网微软MSN、爬取屏蔽UC的数据商Yisouspider以及其他搜索引擎的爬虫已被列入了禁止名单。
众所周知，搜索引擎的工作原理，就是依靠“爬虫”到不同的网站上爬取数据，然后展示在自己的搜索结果中。
百度曾经能搜到很多内容，但百度的“爬虫”过于高频地访问网站爬取数据，会对网站的服务器产生巨大压力，影响到了正常运转，会主动选择禁止百度爬取数据。此外，一些网站为了占据用户心智、避免影响广告收入等原因，也会主动选择屏蔽百度的爬虫，这就导致百度越来越难搜到想要东西了。
近几年，AI大模型的快速发展，需要不少用户真实数据进行支撑，而包含百度用户自发编辑的百科内容，绝对是一个不小的数据训练宝库，“人均硕博学历、频繁刚下飞机”的知乎也是同理。但据爆料，知乎已经先百度一步禁止了其他搜索引擎的爬虫，把白名单中的谷歌和必应踢掉，只留下了百度和搜狗。
曾经，百度起家靠的就是爬遍全网的“爬虫”们，把自己爬到了“国服第一”的位置。但现在，想在文心一言上发力的百度却反手禁了其他友商的爬虫，把车门给焊死了，谁都别想上来。
对此，我们也只能感叹到，互联网越来越不互联了。
去年可数字化交付服务进出口3727.1亿美元
特斯拉国内首秀二代Optimus人形机器人：硬核赛博皮卡惹人眼
端午小长假 文化活动真精彩
极氪全新纯电SUV官方谍照曝光，为品牌首款家用SUV
中国客车在世界客车博览会受关注
国有公汽维修勇闯市场 恩施这家“蟹蟹养车”火了
优质资源送至黄陂 武汉市第一医院名医下沉
【1分钟快问大咖】世界银行前副行长：中国增长对世界至关重要 “十五五”规划纲要广受好评
安庆新洲乡南木村乡村春晚唱响文化振兴曲
晶采观察｜体验消费增长强劲 中国经济“含金量”持续提升
武汉园博园花朝节本周六启幕，将复刻春晚《贺花神》创意秀
加量不加价！2025款比亚迪海豚上市，续航增118km，依旧9.98万元起售
总策划徐良诚意呈现，“时间折叠”巡演以匠心重构音乐现场！
总策划徐良诚意呈现，“时间折叠”巡演以匠心重构音乐现场！
华中最大“种子银行”建成投用 可满足未来至少30年农作物育种创新需求
华中最大“种子银行”建成投用 可满足未来至少30年农作物育种创新需求
“文艺轻骑兵”扶贫宣传到村头
“文艺轻骑兵”扶贫宣传到村头
英特尔Arrow Lake处理器AI大缩水：算力砍掉三分之二
英特尔Arrow Lake处理器AI大缩水：算力砍掉三分之二
总策划徐良诚意呈现，“时间折叠”巡演以匠心重构音乐现场！
总策划徐良诚意呈现，“时间折叠”巡演以匠心重构音乐现场！
心肺极限报警，肺科医院为跑马选手“排雷”
心肺极限报警，肺科医院为跑马选手“排雷”
端午小长假 文化活动真精彩
端午小长假 文化活动真精彩
合肥乡村风貌写生作品展出
合肥乡村风貌写生作品展出
王得立：这个书记真“得力”
王得立：这个书记真“得力”
告别 “跷跷板”！江岸施展 “强力胶水”根治人行道维修顽疾
告别 “跷跷板”！江岸施展 “强力胶水”根治人行道维修顽疾
华中最大“种子银行”建成投用 可满足未来至少30年农作物育种创新需求
华中最大“种子银行”建成投用 可满足未来至少30年农作物育种创新需求
今天，十堰向全国发出邀请！
今天，十堰向全国发出邀请！
