robots协议禁止收录网站某一篇文章地址
发布时间：2021-10-20 15:57:42 本站作者 【 字体：大 中 小 】 浏览：257 次
网站 robots.txt 文件配置方法，如何禁止搜索引擎收录指定网站某一篇超链接地址呢，今天跟着麦站一起学学吧。
搜索引擎通过网络蜘蛛抓取网页的内容，并展示在相关的搜索结果中。但是有些网页内容我们可能并不想被搜索引擎收录和索引，如管理员后台等。
我们就可以通过 robots.txt 文件来声明允许/禁止搜索引擎的蜘蛛抓取某些目录或网页，从而限制搜索引擎的收录范围。
什么是 robots.txt
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
Robots.txt用法：
User-agent：用于指定指令所作用于的目标抓取工具（网络蜘蛛），后接抓取工具名称；
Disallow：指定不允许抓取的目录或网页，后面为空则表示允许抓取一切页面；
Allow：指定允许抓取的目录或网页；
Sitemap：站点地图的位置，必须是绝对路径；
*：表示通配符；
$：表示网址结束；
/：匹配根目录以及任何下级网址。
禁止抓取某一个超链接：
Disallow: /news/hangyejishu/43.html
热门推荐
最新发布
手工制作炸面酱教程（用爱和耐心打造美味健康的炸面酱）
炸面酱，是一种广东省流行的调味品，也是一种独特的美食文化。它色泽金黄，香气浓郁，入口鲜美，是广东人喜欢的美食之一。今天，我们将以炸面酱为主题，分享手工制作炸面酱的方法和技巧，让大家能够在家制作出美味健康的炸面酱。准备工作在制作炸面酱之前，需要准备好以下材料和工具：面粉、色拉油、盐、葱、姜、蒜、八角、...
美味可口的通心粉焗芝士（做法简单易学，让你爱上做饭）
通心粉焗芝士是一道受欢迎的意大利传统美食，在国外备受喜爱。它不仅容易制作，还能吸引到所有口味的人群，无论是孩子还是成人。通心粉焗芝士可以被视为任何家庭晚餐或聚会的理想选择，它适合在任何场合进行制作和享用。选购材料在制作通心粉焗芝士之前，我们需要去超市采购所需材料，这些材料包括通心粉、芝士、牛奶、面粉...
美味可口的通心粉焗芝士（做法简单易学，让你爱上做饭）
通心粉焗芝士是一道受欢迎的意大利传统美食，在国外备受喜爱。它不仅容易制作，还能吸引到所有口味的人群，无论是孩子还是成人。通心粉焗芝士可以被视为任何家庭晚餐或聚会的理想选择，它适合在任何场合进行制作和享用。选购材料在制作通心粉焗芝士之前，我们需要去超市采购所需材料，这些材料包括通心粉、芝士、牛奶、面粉...
美味佳肴——竹笋烧牛腩（以竹笋为主角，味美营养的烧牛腩做法）
烧牛腩是家庭聚餐和宴请客人的经典美食，而在这里我们将介绍一种特别的烧牛腩做法——以新鲜的竹笋为主角的竹笋烧牛腩，这道菜既香又嫩，口感丰富，更是营养丰富。接下来，就让我们一起来学习如何制作这道令人垂涎欲滴的佳肴吧！一：准备食材在制作竹笋烧牛腩之前，需要准备好牛腩、竹笋、姜、蒜、八角、桂皮、香叶、料酒、...
