seo与robots

sky

seo优化不仅仅是文章产品类的优化，还包括一些代码的优化，前面说到了html的优化，做为小白的我们还是要下点功夫才能更好地理解，昨晚seo研究中心的课程是网站中的robots的优化，之前小编也只是听过这项优化但是没有一点实操，站长们想要优化好自己的网站还是要切实到没一点每一个细节都能做好。

1、robots是什么

robots的意思就是网站和搜索引擎之间的一个协议，是为了更好的促进优化和排名而做的协议，这个协议里会清楚的表明蜘蛛可以访问的网站的地方和不可以访问的地方。并且这个robots文件是蜘蛛到你网站上爬行的第一个文件。

2、robots的作用

2.1优化中的任何操作都是为了目的去的，尤其是营销型的网站，那么网站和网站之间是有竞争的，所以一些私密性的文件肯定就不想让竞争对手看到,所以robots协议就有保护网站隐私，防止信息泄露的作用

2.2节省蜘蛛的爬取时间可以引导蜘蛛直接到你需要排名的页面进行抓取，就是合理的抓取资源，网站中出现的死链接也要屏蔽掉

3、robots文件怎么建立

3.1、在你网站域名后面输入robots.txt看是否能跳转到robots的文件页面

3.2、如果没有就自己建立一个文件以robot.txt命名然后上传到空间的根目录下

4、robots文件内容怎么写

User-agent:用户代理的意思，这个符号代替的意思就是网站允许哪种蜘蛛到你网站上来抓取，毕竟不同的搜索引擎的蜘蛛的叫法是不一样的，这里蜘蛛的名字可以直接百度得来。

Disallow：不予许的意思，就是一些页面你不希望被蜘蛛抓取就应用到这个符号

Allow:允许的意思，希望被得到访问的一组URL

* 匹配 0或多个任意字符

$结束符

5、具体的书写方式

5.1首字母大写，冒号后面空一格 必须都是在英文状态下的

6、案例展示

6.1、禁止所有搜索引擎抓取网站上的所有文件

User-agent: *

Disallow: /（/代表根目录下的）

6.2、不让所有蜘蛛抓取网站的后台

User-agent: *

Disallow: wp-admin（这里以wordpress后台为例）

6.3屏蔽动态路径所有的

User-agent: *

Dissallow: /*?*

7、不要随意的屏蔽整个站，因为生效的时间很长，短的几天，长的要一个月，所以有的时候就算你屏蔽了还是会收录。