【岳阳seo】使用robots.txt屏蔽蜘蛛对网站的抓取

搜索引擎机器人不断抓取网站，以便将它们添加到搜索引擎索引中。然而，有时开发者希望在搜索引擎结果中隐藏他们的网站或特定页面。在这种情况下，robots.txt可以用来阻止搜索引擎蜘蛛访问网站。在本教程中，您将学习如何创建robots.txt文件，并防止搜索引擎蜘蛛访问或爬行网站。

第一步& # 8211；访问服务器并创建新文件

首先创建一个robots.txt文件，可以使用FTP客户端或者宝塔面板上传到网站的根目录下。

第二步& # 8211；编辑robots.txt

每个搜索引擎都有自己的爬行工具(用户代理)。在robots.txt中，可以指定爬行工具用户代理。网上有上百种爬行动物，但最常见的有:

Googlebot

雅虎！大声地吃

bingbot

AhrefsBot

蜘蛛

Ezooms

MJ12bot

YandexBot

例如，如果您想阻止百度抓取工具访问常规网站，可以使用以下规则编辑robots.txt:

用户代理:Baiduspider

不允许:/

如果您想阻止所有搜索引擎搜索工具，您可以使用*作为通配符:

用户代理:*

不允许:/

如果要防止搜索引擎爬网程序仅访问特定的文件或文件夹，请使用类似的语法，但需要指定文件或文件夹的名称。假设我们想阻止搜索引擎抓取工具只访问文章和private.php文件。在这种情况下，robots.txt文件的内容应该如下:

用户代理:*

禁止:/文章/

不允许:/private.php

编辑好robots.txt文件后，保存修改，上传到网站根目录。可以在浏览器搜索栏输入域名/robots.txt查看。