【屏蔽】为什么被robots屏蔽的网站还会被百度收录?

浏览量:4618 日期:2021-05-28 08:31:15 编辑:seo优化 来源:布丁营销

【屏蔽】为什么被robots屏蔽的网站还会被百度收录?问题:为什么被robots屏蔽的网站还会被百度收录?_布丁seo优化问答我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?布丁答:有两种情况会导致已被屏蔽的网页还会被百度收录:

【屏蔽】为什么被robots屏蔽的网站还会被百度收录?

1、对已经被百度抓取和收录的网页使用robots屏蔽,已经被索引收录的网页快照按照robots规则删除时间会很久,可能会造成是robots设置在百度搜素中没有生效的假象;

2、如果已被屏蔽的网页获得了大量的外链,百度会认为这个网址URL对用户是有价值的,由于robots文件的限制,搜索引擎并不会抓取和索引这个页面,但是这个网页的URL可能会被百度收录,但是没有摘要,标题也是使用的外链中的锚文本,比如淘宝网。如果连URL都不想被百度收录,布丁建议将URL针对百度Spider返回404就可以了。

免责声明:文章《【屏蔽】为什么被robots屏蔽的网站还会被百度收录?》来至网络,文章表达观点不代表本站观点,文章版权属于原作者所有,若有侵权,请联系本站站长处理!

TAG标签: robots屏蔽 百度收录

本站文章均为布丁网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...

相关文章

无相关信息

联络方式:

电话:18930919181

邮箱:872150994@qq.com

微信公众号
新浪微博
扫描名片
我们猜你喜欢
提供免费策划方案,专注,用心,责任

可直接添加项目经理微信联系咨询