robots 协议

通过 robots.txt 文件告知爬虫哪些页面可访问、哪些应禁止的标准化机制，旨在平衡内容获取与服务器负载。