搜索引擎三巨头打的不亦乐乎,但偶然也相助一下。去年Google,雅虎,微软就相助,配合遵守统一的Sitemaps尺度。前两天三巨头又同时公布,配合遵守的robots.txt文件尺度。Google,雅虎,微软各自在本身的官方博客上发了一篇帖子,发布三家都支持的robots.txt文件及Meta标签的尺度,以及一些各自特有的尺度。下面做一个总结。
三家都支持的robots文件记录包罗:
Disallow – 汇报蜘蛛不要抓取某些文件或目次。如下面代码将阻止蜘蛛抓取所有的网站文件:
User-agent: *
Disallow: /
Allow – 汇报蜘蛛应该抓取某些文件。Allow和Disallow共同利用,可以汇报蜘蛛某个目次下,大部门都不抓取,只抓取一部门。如下面代码将使蜘蛛不抓取ab目次下其他文件,而只抓取个中cd下的文件:
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 – 匹配URL末了的字符。如下面代码将答允蜘蛛会见以。htm为后缀的URL:
User-agent: *
Allow: .htm$
*通配符 – 汇报蜘蛛匹配任意一段字符。如下面一段代码将克制蜘蛛抓取所有htm文件:
User-agent: *
Disallow: /*.htm
Sitemaps位置 – 汇报蜘蛛你的网站舆图在那边,名目为:
Sitemap: <sitemap_location>
三家都支持的Meta标签包罗:
NOINDEX – 汇报蜘蛛不要索引某个网页。
NOFOLLOW – 汇报蜘蛛不要跟踪网页上的链接。
NOSNIPPET – 汇报蜘蛛不要在搜索功效中显示说明文字。
NOARCHIVE – 汇报蜘蛛不要显示快照。
NOODP – 汇报蜘蛛不要利用开放目次中的标题和说明。
上面这些记录或标签,此刻三家都配合支持。个中通配符仿佛以前雅虎微软并不支持。百度此刻也支持Disallow,Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
只有Google支持的Meta标签有:
UNAVAILABLE_AFTER – 汇报蜘蛛网页什么时候逾期。在这个日期之后,不该该再呈此刻搜索功效中。
NOIMAGEINDEX – 汇报蜘蛛不要索引页面上的图片。
NOTRANSLATE – 汇报蜘蛛不要翻译页面内容。
雅虎还支持Meta标签:
Crawl-Delay – 答允蜘蛛延时抓取的频率。
NOYDIR – 和NOODP标签相似,可是指雅虎目次,而不是开放目次。
Robots-nocontent – 汇报蜘蛛被标注的部门html不是网页内容的一部门,可能换个角度,汇报蜘蛛哪些部门是页面的主要内容(想被检索的内容)。
MSN还支持Meta标签:
Crawl-Delay
别的提醒各人留意的是,robots.txt文件可以不存在,返回404错误,意味着答允蜘蛛抓取所有内容。但抓取robots.txt文件时却产生超时之类的错误,大概导致搜索引擎不收录网站,因为蜘蛛不知道robots.txt文件是否存在可能内里有什么内容,这与确认文件不存在是纷歧样的。
来历: Zac
本链接来自:http://www.3tseo.com/n/seo/263.html
三家都支持的robots文件记录包罗:
Disallow – 汇报蜘蛛不要抓取某些文件或目次。如下面代码将阻止蜘蛛抓取所有的网站文件:
User-agent: *
Disallow: /
Allow – 汇报蜘蛛应该抓取某些文件。Allow和Disallow共同利用,可以汇报蜘蛛某个目次下,大部门都不抓取,只抓取一部门。如下面代码将使蜘蛛不抓取ab目次下其他文件,而只抓取个中cd下的文件:
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 – 匹配URL末了的字符。如下面代码将答允蜘蛛会见以。htm为后缀的URL:
User-agent: *
Allow: .htm$
*通配符 – 汇报蜘蛛匹配任意一段字符。如下面一段代码将克制蜘蛛抓取所有htm文件:
User-agent: *
Disallow: /*.htm
Sitemaps位置 – 汇报蜘蛛你的网站舆图在那边,名目为:
Sitemap: <sitemap_location>
三家都支持的Meta标签包罗:
NOINDEX – 汇报蜘蛛不要索引某个网页。
NOFOLLOW – 汇报蜘蛛不要跟踪网页上的链接。
NOSNIPPET – 汇报蜘蛛不要在搜索功效中显示说明文字。
NOARCHIVE – 汇报蜘蛛不要显示快照。
NOODP – 汇报蜘蛛不要利用开放目次中的标题和说明。
上面这些记录或标签,此刻三家都配合支持。个中通配符仿佛以前雅虎微软并不支持。百度此刻也支持Disallow,Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
只有Google支持的Meta标签有:
UNAVAILABLE_AFTER – 汇报蜘蛛网页什么时候逾期。在这个日期之后,不该该再呈此刻搜索功效中。
NOIMAGEINDEX – 汇报蜘蛛不要索引页面上的图片。
NOTRANSLATE – 汇报蜘蛛不要翻译页面内容。
雅虎还支持Meta标签:
Crawl-Delay – 答允蜘蛛延时抓取的频率。
NOYDIR – 和NOODP标签相似,可是指雅虎目次,而不是开放目次。
Robots-nocontent – 汇报蜘蛛被标注的部门html不是网页内容的一部门,可能换个角度,汇报蜘蛛哪些部门是页面的主要内容(想被检索的内容)。
MSN还支持Meta标签:
Crawl-Delay
别的提醒各人留意的是,robots.txt文件可以不存在,返回404错误,意味着答允蜘蛛抓取所有内容。但抓取robots.txt文件时却产生超时之类的错误,大概导致搜索引擎不收录网站,因为蜘蛛不知道robots.txt文件是否存在可能内里有什么内容,这与确认文件不存在是纷歧样的。
来历: Zac
本链接来自:http://www.3tseo.com/n/seo/263.html
本站部分文章沧州网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...
猜你喜欢
联络方式:
电话:0317-3741907
邮箱:93624862@qq.com
微信公众号

新浪微博

扫描名片

我们猜你喜欢
-
网站404错误页设计方案方
网站是由不一样作用网页页面构成,网站建设便是根据建站技术将每个不一样的网页页面集成化再一起产生好几个页面,大家称作企业网站建设基本原理,
-
https站点如何建设才能对百
百度搜索引擎目前不主动抓取https网页,导致大部分https网页无法收录。但是如果网站一定要使用https加密协议的话该如何做到对百度搜索引擎友好呢。其实
-
网站改版和301重定向会影
一般来讲,网站改版分为两种。一种是前端页面改版。另外一种是链接结构发生变化如更换建站系统的改版。前者不用使用301,后者则必须使用301。注:即
-
为什么百度站长平台的索
站长有时候会发明:站长平台看到的索引量和site语法揭示的纷歧致,神马?莫非百度出bug了?本日我们工程师就来聊一下:为什么站长平台看到的索引量和
-
网站流量异常,如何正确
网站流量异常一直是站长们最头疼的问题,而每次在反馈中心提交问题,常常获得回覆请具体描写您的问题,怎么详
-
严厉打击恶意劫持 百度移
一直以来,百度搜索对于危害用户隐私、恶意劫持站点的行为态度坚定,一经发现一律严惩。2017年2月,百度搜索发出针对恶意劫持行为的公告:《打击劫
-
怎样建设一个对搜索引擎
其实搜索引擎优化与用户友好是相辅相成的,搜索引擎会站在用户的角度来进行收录排名,对用户友好的网站一般搜排名也是不错的,沧州益志科技为您介
-
网站编辑如何撰写对搜索
网站内容建设是一个超大的命题,从宏观上包罗网站产物设计建造和用户运营维护,既同时通过内容和用户两个维度提高其在百度搜索引擎中的评价得分。
-
让搜索引擎抓取和索引是
一般来说,只管让搜索引擎抓取和索引更多内容是SEO们常常头疼的一个问题,没有收录、索引就无从谈排名。尤其对到达必然局限的网站来说,使网站充实
-
网站建设如何选择区域关
关键词不要太宽泛:太宽泛的关键词竞争太非常的大,而要想在行业得到靠前的排名,需要花费大量的成本投入。并且搜索这类词的用户的目的不明确,转