1.什么是robots.txt协议 是网络爬虫跟网站之间的一种约定协议，告诉网络爬虫网站中哪些页面信息可以抓取…