百度蜘蛛引发的博客园SEO之旅

过去的十多年，博客园对SEO并未投入过多精力，但却因为百度一直友好对待而引发了一系列问题。由于排名靠前、收录快速，许多人纷纷设法通过欺骗手段获取博客园账号，以便快速被百度收录。甚至有人在淘宝上专门售卖已经开通博客的博客园账号，直到多次向淘宝投诉才得以下架。

由于博客园未曾深入研究SEO，也未关注搜索排名和收录情况，许多人错误地认为博客园擅长SEO。

2022年春天，博客园刚刚从大半年的整改中恢复过来，此时最大的担忧是审核工作是否到位，带来合规风险。同时，广告收入骤减，流量变现成为烦恼，搜索流量成为负担。

在博客园被百度青睐的幸福中不思进取时，百度默默升级了蜘蛛系统。

2022年4月3日，百度蜘蛛首次来访，导致数据库连接数过万，负载均衡带宽跑满，即便扩容50%，仍然跑满。通过限制同一个IP每天的请求数才勉强躲过。

侥幸躲过后，博客园未进行认真复盘和分析，依然选择了放任不顾。

2022年5月4日，百度蜘蛛变得格外疯狂，由于触发IP请求数限制被重定向到登录站点，但它的天量请求直接冲垮登录站点，最终被屏蔽了这个IP网段。

由于其他事务繁忙，博客园竟然忘记了屏蔽百度蜘蛛的事情。

博客园对百度蜘蛛的鲁莽屏蔽导致来自百度的搜索流量逐步降低。但由于园方一直处于审核合规压力之下，不再关注流量的升降，也不再为流量的变化而担心，将流量下降误以为是正常现象。

当流量下降到一定程度时，博客园才猛然发现自己犯下了大错——一直屏蔽着百度蜘蛛网段，导致百度搜索流量持续下降。

解除屏蔽后，博客园期待百度搜索流量能够逐步恢复，但事实却让他们大失所望。针对博客园的错误，百度已经默默宣判：搜索权重下降，收录减少。

等待两个月后，博客园发现百度搜索流量并没有恢复的迹象。他们将百度蜘蛛的请求解析到一台专门的负载均衡上，限制了最高带宽，以免再次出现百度蜘蛛的并发请求造成宕机。然而，结果让他们大吃一惊，百度蜘蛛的爬网消耗了40%左右的带宽费用。博客园一年多几乎没有收入，面对百度蜘蛛的肆无忌惮，加上百度搜索流量恢复无望，他们不得不对百度蜘蛛进行了限流。

博客园放弃了与百度的合作，尝试寻找其他出路。然而，他们过得十分艰难，甚至不得不请求捐助和会员救园。

在这段离开百度的悲惨日子里，发生了一个小插曲。2023年3月，未知原因导致百度蜘蛛躲过限流，再次爬宕机。博客园借此机会发表了一篇博文吐露不满，结果却带来了一次戏剧性的回心转意。

2023年9月20日与9月21日，百度搜索部门的人看到了博客园三月份的博文，联系他们商量解决百度蜘蛛爬网并发请求过高的问题，最终百度设置了他们建议的QPS上限，博客园取消了对百度蜘蛛的限流，消除了友好相处的所有障碍。

然而，百度搜索流量并未明显回升，收录问题依然未解决。博客园终于意识到，双方商量解除限流的努力都是徒劳无益，百度的字典里根本没有回心转意，一旦得罪就判无期徒刑。

博客园与百度友好相处的日子再也回不去了。今天，他们写下这篇博文，留下纪念。

相关链接：

• 【故障公告】它（变异的百度蜘蛛）又来了，雪上加霜又加盐的三月
• 蜘蛛的依旧疯狂与园子的新畅想：尝试放出被屏蔽的百度蜘蛛网段
• 再次尝试放出被屏蔽的百度蜘蛛网段
• 最后的一次努力：尝试解决百度收录与排名问题