robots文件怎么设置呢？其实大家都知道robots文件是干什么用的。告诉搜索引擎哪些页面抓取哪些页面不抓取。但是主要是禁用哪些页面呢？

    一、动态页面

 

    首先建议把动态页面给禁用掉，搜索引擎很喜欢收录动态页面，但是网站基本给出来的是静态页面地址。容易影响相同页面的排名。

 

    二、跳转页面

 

    跳转页面最好也禁用掉，跳转页面基本都是跳出到其他网站的链接，robos文件禁用掉的话，尽量不收录这类页面。

 

    三、已收录但删除了的页面

 

    因为网站都会涉及到页面删除，但是删除后搜索引擎还是会收录着这些页面的话，我们要在robots文件里面禁用掉这类页面，包括还有很多删除栏目的也需要禁用掉这一个栏目的页面。

版权声明：本文部分内容来自互联网转载整编而成，不代表本站观点和立场，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请在线联系站长，一经查实，本站将立刻删除。