meta robots 与Robots.txt 的差别与使用时机

网站上排除检索的部分，这个网站讲了Robots.txt主要用在提交给搜索引擎的没有检索的页面列表中，也介绍了Robots.txt的实际应用和设置，所以了解排除& # 8221；搜索& # 8221；部分，我们将介绍更高级的排除& # 8221；指数& # 8221；部分，相比之下，我们开始说的部分，提到搜索引擎其实是通过& # 8221；搜索& # 8221；还有& # 8221；指数& # 8221；网页上有两种收集和向用户提供信息的功能。所以Robots.txt主要是用来排除搜索的功能。

虽然检索和索引这两个功能有很大的相关性，但是网页上的动作本质上是不一样的。这里我们使用更口语化的叙述如下

搜索=检查

索引=收藏夹

所以搜索引擎的实际操作顺序是先查看页面内容和链接，再决定是否收藏。所以在搜索引擎访问时，Robots.txt可以直接提出不需要查的信息，这样就更不太可能被收集，从而达到不查不收录的效果。

在更清楚地了解搜索引擎包含的原理后，我们将介绍的部分是通过元机器人& # 8221；指数& # 8221；排除，相信这时你会有些疑惑，Robots.txt无法达到不检查不包含的效果，为什么还需要meta robots来& # 8221；指数& # 8221；排斥？这部分主要原因是Robots.txt会让搜索引擎忽略相关内容而不检查这一步，甚至认为不是网站的内容。

但是，元机器人的应用可以让搜索引擎先行& # 8221；检查& # 8221；内容仍将被视为网站的一部分，但不应被收集供用户搜索。所以这种差异也会导致网站整体的完整性。所以不建议在不必要的情况下使用Robots.txt，建议使用meta robots。