搜索引擎是各大站长IP的主要来源,但仍有一些不足之处,例如,有些特定页面、特定文件、特定目录,我们并不希望被搜索引擎收录,那么如何解决呢?各大搜索引擎也为我们提供了解决的方法,那就是robots.txt文件,robots.txt与搜索蜘蛛交互如何抓取你网的网页,下面说一下关于robots.txt文件。

问题一:robots.txt是什么?

这里引用Baidu作出的回答,robots.txt是一个必须放在根目录底下的纯文本文件,文件名必须全部是小写的字母即“robots.txt”,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。

问题二:robots.txt具体如何使用?

作用1:SEO中引导搜索蜘蛛抓取网站地图,更好地收录网站页面。

More...