1.什么是robots.txt协议

是网络爬虫跟网站之间的一种约定协议，告诉网络爬虫网站中哪些页面信息可以抓取，哪些不能抓取。

2.robots.txt的作用

屏蔽一些无用的信息，节省服务器的宽带资源，提升网站页面的收录。一般robots协议文件就是txt文档，是放在网站根目录里。

3.robots.txt的创建

先在电脑桌面右键鼠标选择创建txt文档，把文档名字改成robots，然后再文档里面输入你需要编写的协议内容即可。

在后面的seo优化文章里面，会继续给大家讲解robots协议的编写，如何高效提高爬虫的抓取。