seo文件要素:Robots文件在SEO优化中是否重要?

浏览量:14 日期:2020-12-21 21:40:17 编辑:优化专家 来源:布丁营销

网站Robots.txt文件可以告诉搜索引擎访问哪些页面,并为网站上的哪些页面提供索引。例如,如果Robots.txt文件中指定的网络不希望搜索引擎访问您的“关于我们”页面,则该页面将不会显示在搜索结果中,网络用户将无法访问该页面并找到它。保持搜索引擎访问您网站上的某些页面对于您网站的隐私和SEO非常重要。

seo文件要素:Robots文件在<a href=https://www.china-study.net/seo.html target=_blank class=infotextkey>seo优化</a>中是否重要?

在本文中,上海网站优化公司将解释为什么会出现这种情况,并为您提供关于如何建立一个好的Robots.txt文件的知识。

首先,机器人的工作方式

搜索引擎发出一个叫“蜘蛛”或“机器人”的微型程序来搜索你的网站,并将信息带回搜索引擎,这样你的网站页面就可以在搜索结果中被索引,被网络用户找到。您的Robots.txt文件指示搜索引擎蜘蛛程序不要抓取这些页面,并使用“不允许”命令在指定网站上搜索网页。例如,以下Robots.txt命令:

用户代理:*

禁止:/谢谢

…将阻止所有搜索引擎机器人访问您网站上的以下页面:

请注意,在“禁止”命令之前,您有以下命令:

用户代理:*

“用户代理:”部分指定了要阻止的机器人,可能如下所示:

用户代理:Googlebot

此命令只会阻止谷歌机器人,而其他机器人仍然可以访问此页面:

但是,通过使用“*”字符,您可以指定它下面的命令引用所有机器人。您的robots.txt文件将位于您网站的根目录下。例如:

第二,为什么有些页面需要封禁

有三个原因,你应该使用Robots.txt文件来阻止页面。首先,如果你网站上的一个页面被另一个页面复制了,你不希望机器人索引,因为这会导致内容重复,从而破坏网站的SEO。第二个原因是,如果网站上有页面,除非你采取具体措施,否则你不会希望用户访问该页面。例如,如果您有一个“谢谢”页面,用户可以访问特定的信息,因为他们已经给出了自己的电子邮件地址,您可能不希望人们通过谷歌搜索找到这个页面。阻止页面或文件的另一个时机是当您想要保护站点回收站中的私有文件(如cgi)并防止机器人为您的图像文件编制索引而占用带宽时:

用户代理:*

禁止:/图像/

禁止:/cgi-bin/

在所有这些情况下,都需要在Robots.txt文件中包含一个命令,告诉搜索引擎蜘蛛不要访问该页面,不要对搜索结果进行索引,也不要向该页面发送访问者。让我们看看如何创建一个Robots.txt文件来实现它。

第三,创建Robots.txt文件

通过设置一个免费的网站管理员工具帐户,您可以通过选择菜单栏中“网站配置”选项下的“获取工具访问权限”选项,轻松创建Robot . txt文件并设置一个简单的Robot . txt文件。

结论

如果网站添加的内容不想被搜索引擎索引或网络用户访问,更新Robots.txt文件是非常重要的。这样会保证网站的安全性,通过优化搜索引擎得到最好的结果。

Robots SEO优化
本站文章均为布丁网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...

热门资讯

联络方式:

电话:18930919181

邮箱:872150994@qq.com

微信公众号
新浪微博
扫描名片
我们猜你喜欢
提供免费策划方案,专注,用心,责任

可直接添加项目经理微信联系咨询