【文件】Robots文件_布丁SEO名词解释

浏览量:2220 日期:2021-07-13 14:34:29 编辑:优化专家 来源:布丁营销

【文件】Robots文件_布丁SEO名词解释Robots文件_布丁SEO名词解释Robots文件(也称为爬虫协议、机器人协议等)的全称是网络爬虫排除标准(Robots Exclusion Protocol),robots是放在网站根目录下的一个纯文本的文件robots.txt,用来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。搜索引擎蜘蛛访问一个网站时,首先要读取robots文件内容(当然不是每次访问时都重新读取robots文件,而是每隔几天读取一次,看看robots文件有没有变化),凡是robots文件指明禁止搜索引擎抓取的,搜索引擎就会忽略,不再抓取。但也有一部分恶意蜘蛛会抓取robots文件,因为它们的目的只是为了扫描网站地址或者抄袭采集网站文章,不会理睬robots文件。Robots.txt文件优点:。

【文件】Robots文件_布丁SEO名词解释

1、搜索引擎蜘蛛访问网页第一个查看文件,根据robots文件内容来爬行网页,这样可以减轻搜索引擎蜘蛛的工作量。

2、搜索引擎对网站派出的蜘蛛是有数量的,根据网站规模来放出蜘蛛,配置robots可以增加蜘蛛的爬行效率,没有robots搜索引擎蜘蛛就会漫无目的爬行和抓取网页,可能不想被抓取收录的内容都会被爬行放出快照。Robots.txt文件缺点:如果网站管理者不会设置robots文件,有可能会设置错误,导致整站不被索引和收录,可能屏蔽整站,对于有的网站一直不收录可以查看是否是robots文件屏蔽错误。如何查看Robots.txt文件?

免责声明:文章《【文件】Robots文件_布丁SEO名词解释》来至网络,文章表达观点不代表本站观点,文章版权属于原作者所有,若有侵权,请联系本站站长处理!

TAG标签: Robots文件 SEO名词解释

本站文章均为布丁网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...

热门资讯

联络方式:

电话:18930919181

邮箱:872150994@qq.com

微信公众号
新浪微博
扫描名片
我们猜你喜欢
提供免费策划方案,专注,用心,责任

可直接添加项目经理微信联系咨询