当前所在位置: 首页>>生活常识

什么是robots协议对seo的影响

发布时间:2021-10-20 16:00:53 本站作者 【 字体: 】 浏览:451 次

蜘蛛spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。早期robots协议是防止网站内的隐私,防止抓取用户不想让搜索引擎曝光的页面。


robots.txt文件位置

robots.txt文件应该放置在网站根目录下。比如https://www.vi586.com/robots.txt这个文件


robots一般格式

User-agent: * Disallow: allow:

robots不支持中文

百度蜘蛛目前在robots里不支持中文,如果路径里面带了中文,可以选择UrlEncode编码的写法,如


http://www.xx.com/tags/%D7%B0%D0%DE%CE%AC%BB%A4%B1%A3%D1%F8.html

"*"和"$"的含义

Baiduspider支持使用通配符"*"和"$"来模糊匹配url。


"$" 匹配行结束符。 "*" 匹配0或多个任意字符。

robots协议对seo优化的影响

1.屏蔽隐私内容或无内容页面。前面提到蜘蛛的爬取对索引量有着重要的作用,能缩短收录周期。蜘蛛一般都会全站爬取内容,但有些质量一般的页面被抓取会影响整体排名,比如:登陆页、注册页、购物车、表纲、个人隐私文件等。


2.屏蔽某些动态的内容屏蔽,如:tag标签,在刚开始的时候尽量屏蔽蜘蛛抓取,到后期稳定的时候再整理后开放。tag标签的作用可以参考《TAG标签的正确用法》


3.屏蔽重复内容页面。如:多个页面无内容或空评论;不同路径打开的页面都一样。跟带www和不带www的页面说法不一样,可以把这两个页面301重定向到其中一个,集中权重。


4.屏蔽死链接。一般的死链会返回404错误,当然站内错误或服务器问题,是无法屏蔽的。


https://www.xiuzhanwang.com/seo/1214.html

上一篇:什么样的网站利于排名收录和SEO

下一篇:如何对网站导航结构优化及注意事项

广告位-300PX*250PX
最新发布
天津到甘孜中通快递要多少钱运费,天津到甘孜中通价格

天津到甘孜中通快递要多少钱运费,天津到甘孜中通价格

天津到甘孜中通快递要多少钱运费,天津到甘孜中通价格
中通从天津寄到四川甘孜所需的费用,会随着物件重量不同而变化,物件越重费用越高,例如:1、当物件重量为1kg时, 如果选择寄普通件,到四川甘孜的寄付价为12起, 如果选择寄尊享件,到四川甘孜的寄付价为12起。2、当物件重量为2kg时, 如果选择寄普通件,寄付价19起,即可到四川甘孜, 如果选择寄尊享件,寄付价16起,即可...
天津到雅安中通快递要多少钱运费,天津到雅安中通价格

天津到雅安中通快递要多少钱运费,天津到雅安中通价格

天津到雅安中通快递要多少钱运费,天津到雅安中通价格
中通从天津寄到四川雅安所需的费用,会随着物件重量不同而变化,物件越重费用越高,例如:1、当物件重量为1kg时, 如果选择寄普通件,到四川雅安的寄付价为12起, 如果选择寄尊享件,到四川雅安的寄付价为12起。2、当物件重量为2kg时, 如果选择寄普通件,寄付价19起,即可到四川雅安, 如果选择寄尊享件,寄付价16起,即可...
天津到凉山中通快递要多少钱运费,天津到凉山中通价格

天津到凉山中通快递要多少钱运费,天津到凉山中通价格

天津到凉山中通快递要多少钱运费,天津到凉山中通价格
中通从天津寄到四川凉山所需的费用,会随着物件重量不同而变化,物件越重费用越高,例如:1、当物件重量为1kg时, 如果选择寄普通件,到四川凉山的寄付价为12起, 如果选择寄尊享件,到四川凉山的寄付价为12起。2、当物件重量为2kg时, 如果选择寄普通件,寄付价19起,即可到四川凉山, 如果选择寄尊享件,寄付价16起,即可...
天津到乐山中通快递要多少钱运费,天津到乐山中通价格

天津到乐山中通快递要多少钱运费,天津到乐山中通价格

天津到乐山中通快递要多少钱运费,天津到乐山中通价格
中通从天津寄到四川乐山所需的费用,会随着物件重量不同而变化,物件越重费用越高,例如:1、当物件重量为1kg时, 如果选择寄普通件,到四川乐山的寄付价为12起, 如果选择寄尊享件,到四川乐山的寄付价为12起。2、当物件重量为2kg时, 如果选择寄普通件,寄付价19起,即可到四川乐山, 如果选择寄尊享件,寄付价16起,即可...