什么是robots协议对seo的影响
发布时间:2021-10-20 16:00:53 本站作者 【 字体:大 中 小 】 浏览:791 次
蜘蛛spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。早期robots协议是防止网站内的隐私,防止抓取用户不想让搜索引擎曝光的页面。
robots.txt文件位置
robots.txt文件应该放置在网站根目录下。比如https://www.vi586.com/robots.txt这个文件
robots一般格式
User-agent: * Disallow: allow:
robots不支持中文
百度蜘蛛目前在robots里不支持中文,如果路径里面带了中文,可以选择UrlEncode编码的写法,如
http://www.xx.com/tags/%D7%B0%D0%DE%CE%AC%BB%A4%B1%A3%D1%F8.html
"*"和"$"的含义
Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"$" 匹配行结束符。 "*" 匹配0或多个任意字符。
robots协议对seo优化的影响
1.屏蔽隐私内容或无内容页面。前面提到蜘蛛的爬取对索引量有着重要的作用,能缩短收录周期。蜘蛛一般都会全站爬取内容,但有些质量一般的页面被抓取会影响整体排名,比如:登陆页、注册页、购物车、表纲、个人隐私文件等。
2.屏蔽某些动态的内容屏蔽,如:tag标签,在刚开始的时候尽量屏蔽蜘蛛抓取,到后期稳定的时候再整理后开放。tag标签的作用可以参考《TAG标签的正确用法》
3.屏蔽重复内容页面。如:多个页面无内容或空评论;不同路径打开的页面都一样。跟带www和不带www的页面说法不一样,可以把这两个页面301重定向到其中一个,集中权重。
4.屏蔽死链接。一般的死链会返回404错误,当然站内错误或服务器问题,是无法屏蔽的。
https://www.xiuzhanwang.com/seo/1214.html
上一篇:什么样的网站利于排名收录和SEO
下一篇:如何对网站导航结构优化及注意事项
手撕蒜薹凉菜的做法(清爽口感,健康美味,让你欲罢不能)
香酥小海鱼的做法(以小海鱼为主角,轻松制作口感香酥的美食)
教你用白水煮出完美的鸡蛋(白水煮蛋,简单易学,健康美味,煮出口感最佳鸡蛋)
白萝卜丝丸子汤,美味又养生(健康饮食之道,一碗汤养生又滋补)
手撕蒜薹凉菜的做法(清爽口感,健康美味,让你欲罢不能)

香酥小海鱼的做法(以小海鱼为主角,轻松制作口感香酥的美食)

教你用白水煮出完美的鸡蛋(白水煮蛋,简单易学,健康美味,煮出口感最佳鸡蛋)

白萝卜丝丸子汤,美味又养生(健康饮食之道,一碗汤养生又滋补)

白萝卜丝丸子汤,美味又养生(健康饮食之道,一碗汤养生又滋补)

鲜美可口的鳕鱼豆腐汤(家庭厨房里的美味佳肴,健康营养更有口感)

手工制作猫耳朵零食(自制美味小零食,体验DIY乐趣)

用香芹干丝轻松制作美食(香芹干丝的多种用途及做法)

小笼包萝卜,美味的佳肴(用小笼包和萝卜打造独特口感)

自制猪肉松,美味健康不贵!(用自己的双手,做出美味的猪肉松,让生活更有情趣!)

