怎么撰写网站robots协议

tszhsq

Robots协议的全称是“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

robots协议的重要性

1）保护网站隐私，防止泄露，你不想让他来抓取什么文件就不让他抓取

2）站内哪些页面参与排名，站在优化的角度上说，合理抓取资源，屏蔽内容：不想被抓取的后台，屏蔽垃圾页面和重复页面，屏蔽哪些不想被抓取的隐私内容，数据库文件、模板或者是插件文件或者你觉得不应该被抓取的页面。

游客，如果您要查看本帖隐藏内容请回复