百度删除死链可以用robots协议

533255 · 发表于 2022-8-12 10:10:28

百度删除死链可以用robots协议
这个是小编手里的测试站，由于之前采集文章删除数据忘记保留地图
就算保留地图提交10多万链接也不可能快速删除的，删除效果十分差
之前可以使用规则删除死链，但是小编发现可以利用robots协议屏蔽
然后通过zblog蜘蛛插件发现，所有引擎都不会抓取之前死链真是美滋滋
不过你文章要有如下规则

www.llxbw.com/news/1.html
www.llxbw.com/news/hqgqhhq1.html
1.文章是有规则，可以使用便民工具进行批量生成提交
2.比如小编的网站是第二种，目录是有规则的文章是没有规则的
一般目录都是有规则的，所以解决起来是十分简单
如果不会写robots怎么办？
站长工具：http://tool.chinaz.com/robots/
使用站长工具robots生成即可
百度删除死链可以用robots协议
限制目录，之后你网站news目录的内容蜘蛛都不会抓取
因为基本搜索引擎都遵守robots规则，然后死链没多久就直接删除了
那些狗屁软件和你手动以及收费的软件都是垃圾玩意
并且删除效果已经给大家看了，将近1个星期才删除200
这个方法适合拥有几千以上死链删除，几十个大家还是动手逐个复制
但是这个方法是最保险的删除，因为百度会根据抓取你之前的URL
因为之前抓取的，蜘蛛来访问已经是404会全部放出来
质量较差，大量死链会导致你网站根本无法正常收录
并且排名除了首页之外，其他内页都是死链
死链基本等于无效收录，大家可以看看收录正常的网站基本没啥死链
如果这个方法解决你的问题，记得点个赞原创真TM不容易

温妤看透 · 发表于 2022-8-17 22:24:14

66666666

爱着刘 · 发表于 2022-8-19 00:21:50

666666

536159 · 发表于 2022-8-20 05:03:09

刘小雪 · 发表于 2022-9-24 00:01:28

6625 · 发表于 2023-1-16 05:24:39

6666666

不爱 · 发表于 2023-1-16 15:11:40

路过，学习下

病娘 · 发表于 2023-1-26 00:52:01

好好学习了确实不错

兴宝ペ╰ · 发表于 2023-1-30 20:38:11

有道理。。。

贤我们是 · 发表于 2023-1-31 01:51:37

666666666666666

		自动登录	找回密码
密码			立即注册

百度删除死链可以用robots协议

您看了很久哦，登陆下吧！