WordPress的robots.txt写法和参考

慢慢 2022-5-30 57 5/30

wordpress站点默认在浏览器中输入:https://你的域名/robots.txt,会显示如下内容:

用户代理: *

禁止:/wp-admin/

Disallow: /wp-includes/
Sitemap:https://www.buzhiyu.com/wp-sitemap.xml

这是由WordPress自动生成的,比较完整的WordPress站点robots.txt文件内容如下:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /*/comment-page-*

Disallow: /*?replytocom=*

Disallow: /category/*/page/

Disallow: /tag/*/page/

Disallow: /*/trackback

Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

Disallow: /?s=*

Disallow: /*/?s=*\

Disallow: /*?*

Disallow: /attachment/

 

具体解释如下:

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

4、禁止:/*/trackback

禁止搜索引擎抓取收录trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

6、禁止:/?s=*和禁止:/*/?s=*\

禁止搜索引擎抓取站内搜索结果

7、禁止:/附件/

禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

8、Sitemap:用来告诉搜索引擎网站地图的位置。

例子:Sitemap: https://你的域名/sitemap.xml,其中sitemap.xml是你的网站的网站地图文件

 

使用方法:新建一个名称为robots.txt文本文件,将上面的内容放进去,然后上传到网站根目录即可。

怎么检测robots.txt是否生效

创建并且写好robots.txt规则后,可以使用百度站长的robots检测工具来判断是否生效。

- THE END -

慢慢

8月09日19:25

最后修改:2022年8月9日
0

非特殊说明,本博所有文章均为博主原创。

共有 0 条评论