推广之家

标题: 怎么撰写网站robots协议 [打印本页]

作者: tszhsq 时间: 2017-4-27 10:08
标题: 怎么撰写网站robots协议

Robots协议的全称是“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

robots协议的重要性

1）保护网站隐私，防止泄露，你不想让他来抓取什么文件就不让他抓取

2）站内哪些页面参与排名，站在优化的角度上说，合理抓取资源，屏蔽内容：不想被抓取的后台，屏蔽垃圾页面和重复页面，屏蔽哪些不想被抓取的隐私内容，数据库文件、模板或者是插件文件或者你觉得不应该被抓取的页面。

欢迎光临推广之家 (http://bbs.370k.com/)