关于网络爬虫排除标准Robots.txt

百度百科:https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE/2483797

维基百科:https://zh.wikipedia.org/wiki/Robots.txt

 

http://www.robotstxt.org/