1. 首页
  2. SEO

什么是robots.txt文件

一、什么是robots文件

robots

Robots.txt文件是网站跟爬虫间的协议,对于专业SEO并不陌生,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

如您的网站未设置robots协议,搜索引擎对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面URL。

User-agent:
该项的值用于描述搜索引擎robot的名字,在”robots.txt”文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在”robots.txt”文件中,”User-agent:*”这样的记录只能有一条。
Disallow:
该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。例如”Disallow:/help”对/help.html 和/help/index.html都不允许搜索引擎访问,而”Disallow:/help/”则允许robot访问/help.html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在”/robots.txt”文件中,至少要有一条Disallow记录。如果”/robots.txt”是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。
Allow:
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。例如”Allow:/hibaidu”允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

使用”*”和”$”:
robots支持使用通配符”*”和”$”来模糊匹配url:
“$” 匹配行结束符。
“*” 匹配0或多个任意字符。

二、Robots.txt文件的写法

User-agent: *   (头部标准)
Allow: /        (允许全部搜索引擎捉取)
User-agent: Googlebot (谷歌蜘蛛)
Disallow:       (默认捉取)
User-agent: Baiduspider (百度蜘蛛)
Disallow: /      (禁止捉取)
Sitemap: https://www.lishaowei.cn/sitemap.xml  (站点地图)
robots.txt文件

三、在线生成Robots.txt 文件

站长工具Robots.txt生成:http://tool.chinaz.com/robots/
便民查询网Robots.txt生成器:https://robots.51240.com/
Tool在线工具:https://www.qtool.net/robots

四、Robots.txt在线检测工具

当写好robots.txt文件就需要检测是否有写,下面提供几款在线工具帮助大家检测robots是否有写错。

爱站Robots.txt检测工具:https://tools.aizhan.com/robots/

站长工具Robots.txt检测:http://s.tool.chinaz.com/robots/

原创文章,作者:Lyle,如若转载,请注明出处:https://www.lishaowei.cn/789.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注