什么是robots文件？

　　什么是robots文件？简单地说就是你网站和搜索引擎之间的桥梁。

　　搜索引擎机器人每次来到要抓取的网站，都会先访问这个网站根目录下的robots.txt文件，如果不存在该文件，则搜索引擎机器人默认这个网站允许其全部抓取。如果想设置全部或部分不让搜索引擎抓取，就要通过robots.txt。

　　robots.txt是一个简单的纯文本文件（记事本文件），你可以通过robots.txt里的“说明”告诉搜索引擎你的网站那些可以抓取那些不可以抓取。

　　本文由石家庄网站建设－伟明设计原创，转载请附带说明。