当前所在位置: 首页>>生活常识

什么是robots协议对seo的影响

发布时间:2021-10-20 16:00:53 本站作者 【 字体: 】 浏览:137 次

蜘蛛spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。早期robots协议是防止网站内的隐私,防止抓取用户不想让搜索引擎曝光的页面。


robots.txt文件位置

robots.txt文件应该放置在网站根目录下。比如https://www.vi586.com/robots.txt这个文件


robots一般格式

User-agent: * Disallow: allow:

robots不支持中文

百度蜘蛛目前在robots里不支持中文,如果路径里面带了中文,可以选择UrlEncode编码的写法,如


http://www.xx.com/tags/%D7%B0%D0%DE%CE%AC%BB%A4%B1%A3%D1%F8.html

"*"和"$"的含义

Baiduspider支持使用通配符"*"和"$"来模糊匹配url。


"$" 匹配行结束符。 "*" 匹配0或多个任意字符。

robots协议对seo优化的影响

1.屏蔽隐私内容或无内容页面。前面提到蜘蛛的爬取对索引量有着重要的作用,能缩短收录周期。蜘蛛一般都会全站爬取内容,但有些质量一般的页面被抓取会影响整体排名,比如:登陆页、注册页、购物车、表纲、个人隐私文件等。


2.屏蔽某些动态的内容屏蔽,如:tag标签,在刚开始的时候尽量屏蔽蜘蛛抓取,到后期稳定的时候再整理后开放。tag标签的作用可以参考《TAG标签的正确用法》


3.屏蔽重复内容页面。如:多个页面无内容或空评论;不同路径打开的页面都一样。跟带www和不带www的页面说法不一样,可以把这两个页面301重定向到其中一个,集中权重。


4.屏蔽死链接。一般的死链会返回404错误,当然站内错误或服务器问题,是无法屏蔽的。


https://www.xiuzhanwang.com/seo/1214.html

上一篇:什么样的网站利于排名收录和SEO

下一篇:如何对网站导航结构优化及注意事项

广告位-300PX*250PX
最新发布
汽车轮胎有点损伤需要更换嘛 车胎有一点点裂纹需要换吗

汽车轮胎有点损伤需要更换嘛 车胎有一点点裂纹需要换吗

汽车轮胎有点损伤需要更换嘛 车胎有一点点裂纹需要换吗
汽车轮胎在日常行驶中会有一些磨损和一些磕绊,比如扬起的小石子,路面高速的摩擦,所以轮胎有点损伤是很正常的事情。轮胎一般也要看花纹和胎面来进行更换。那么车胎有一点点的损伤还要不要换呢?汽车轮胎有点损伤需要更换嘛通常损伤的情况分几种:一种是磕碰造成的鼓包,这是让车主比较头疼的,换又舍不得,不换又不放心,...
汽车发动机皮带什么时候更换 小车发动机的皮带断了还能行驶吗

汽车发动机皮带什么时候更换 小车发动机的皮带断了还能行驶吗

汽车发动机皮带什么时候更换 小车发动机的皮带断了还能行驶吗
因为有发动机皮带,所以发动机传动起来几乎听不到声音。但是每次使用皮带都会有一定的摩擦损耗,所以皮带是一定要定期更换的,不然会影响行车。汽车发动机皮带什么时候更换一般情况下,发动机皮带指的是发动机的附件皮带!和正时皮带是两个不同的东西!汽车皮带的更换里程建议在6万公里,原车皮带可以在8万公里更换!汽车发...
汽车上坡堵车怎么跟车 坡道停车车头朝上还是朝下

汽车上坡堵车怎么跟车 坡道停车车头朝上还是朝下

汽车上坡堵车怎么跟车 坡道停车车头朝上还是朝下
开着汽车上路总会有碰见坡道的时候,如果碰上上坡路堵车,可以说是一刻也不能松懈,不然就会和前后车造成事故,只会让坡道更堵。那么这种情况怎么跟车呢?汽车上坡堵车怎么跟车1.先尽量与前车保持一定的距离,不要与前车贴得太近,这样做的一个好处是在起步后可以让车子在斜坡上尽量多行驶多一段距离,不用频繁的去踩刹车减...
汽车如何检查发电机有没有发电 发电机皮带有异响需不需要更换

汽车如何检查发电机有没有发电 发电机皮带有异响需不需要更换

汽车如何检查发电机有没有发电 发电机皮带有异响需不需要更换
汽车发电机也就是给汽车运行提供电源的设备,当发动机开始工作时,发电机就开始一边供电一边给电瓶充电。但如果发电机出现故障,可能开个没多久就会抛锚,那么汽车怎么检查发电机有没有发电呢?汽车如何检查发电机有没有发电如果没有专业的设备进行检测,需要判断发电机是否正常工作主要是通过仪表盘,在我们未发动车辆仅打...