网站优化

重庆SEO教你玩转robots协议

robots爬虫协议，相信许多SEOer或个人站长都不会感到陌生，即使刚入行的SEO小白也略有耳闻。对于SEO小白来讲，只是听过robots爬虫协议并不理解robots协议真确意义和用法。今天重庆SEO就来带大家一探到底，并教你玩转robots协议。

什么是robots协议robots(中文翻译为机器人)，robots协议即搜索引擎爬虫协议，它是搜索引擎爬虫与网站站点洽谈的“桥梁”。网站站点通过robots文件中的声明规则明晰告知搜索引擎爬虫哪些文件/目录能够抓取，哪些文件/目录不能够抓取。留意：如果网站站点存在不希望搜索引擎爬虫抓取收录的内容是，才有必要创立robots.txt文件;如果您希望搜索引擎收录网站上所有内容，则无需建立robots.txt文件。robots.txt文件的存放位置通常，网站的robots.txt文件放置在网站根目录下，便于搜索引擎爬虫****时间抓取该文件。robots.txt文件格式1、robots文件通常包括以一条或多条User-agent着手，后面加上若干条Disallow或Allow。2、User-agent：用来描述搜索引擎robot的名字。3、如果存在多条User-agent记录介绍有多个robot会受到'robots.txt'的限制，至少要有一条User-agent记录。4、如果User-agent的值设为*，则对任何robot均灵验，且'User-agent：*'这样的记录只能有一条。5、如果有'User-agent：SomeBot'和若干Disallow、Allow行，那么搜索引擎爬虫名为'SomeBot'只受到'User-agent：SomeBot'后面的 Disallow和Allow行的限制。6、Disallow：用来描述不希望被访问的一组URL。7、这个值能够是一条完整的途径，也能够是途径的非****缀，以Disallow项的值开头的URL不会被 robot访问。8、比如：'Disallow：/help'这条规则表示的是禁止robot访问/help.html、/helpabc.html、/help/index.html等。9、比如：'Disallow：/help/'这条规则表示的是允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。10、'Disallow：'介绍允许robot访问该网站的所有url，robots.txt文件中，至少要有一条Disallow记录。11、如果网站根目录下robots.txt不存在或者为空文件，则对于所有的搜索引擎爬虫来讲，该网站都是开放的。12、Allow：用来描述希望被访问的一组URL。13、与Disallow项相似，这个值能够是一条完整的途径，也能够是途径的前缀，以Allow项的值开头的URL 是允许robot访问的。14、比如：'Allow：/hibaidu'这条规则表示的是允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配启用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。15、启用'*'and'$'：Baiduspider支持启用通配符'*'和'$'来模糊匹配url('*' 匹配0或多个任意字符，'$' 匹配行结束符)。重庆SEO怎样玩转robots协议1、禁止所有搜索引擎爬虫访问网站的任何内容User-agent： *Disallow： /

2、允许所有搜索引擎爬虫访问网站的任何内容User-agent： *Allow： /3、仅禁止baidu搜索引擎爬虫访问网站的任何内容User-agent： BaiduspiderDisallow： /User-agent： *Allow： /4、仅允许baidu搜索引擎爬虫访问网站的任何内容User-agent： BaiduspiderAllow： /User-agent： *Disallow： /5、仅允许baidu及google爬虫访问网站的任何内容User-agent： BaiduspiderAllow： /User-agent： GooglebotAllow： /User-agent： *Disallow： /6、仅允许baidu及360搜索引擎爬虫访问网站内容，并且禁止抓取所有图片和php网页内容User-agent： BaiduspiderAllow： /Disallow： /*.jpg$Disallow： /*.jpeg$Disallow： /*.png$Disallow： /*.gif$Disallow： /*.bmp$Disallow： /*.php$User-agent： 360SpiderAllow： /Disallow： /*.jpg$Disallow： /*.jpeg$Disallow： /*.png$Disallow： /*.gif$Disallow： /*.bmp$Disallow： /*.php$User-agent： *Disallow： /其他的robots爬虫协议规则，重庆SEO就不在这里给大家一一举例了。大家能够自己去练习并了解，robots爬虫协议也是很紧要的。