wordpress站点默认在浏览器中输入:https://你的域名/robots.txt,会显示如下内容:
用户代理: * 禁止:/wp-admin/ Disallow: /wp-includes/ Sitemap:https://www.buzhiyu.com/wp-sitemap.xml
这是由WordPress自动生成的,比较完整的WordPress站点robots.txt文件内容如下:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /*/comment-page-* Disallow: /*?replytocom=* Disallow: /category/*/page/ Disallow: /tag/*/page/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /?s=* Disallow: /*/?s=*\ Disallow: /*?* Disallow: /attachment/
具体解释如下:
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告诉搜索引擎不要抓取后台程序文件页面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取评论分页等相关链接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收录分类和标签的分页。
4、禁止:/*/trackback
禁止搜索引擎抓取收录trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。
6、禁止:/?s=*和禁止:/*/?s=*\
禁止搜索引擎抓取站内搜索结果
7、禁止:/附件/
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
8、Sitemap:用来告诉搜索引擎网站地图的位置。
例子:Sitemap: https://你的域名/sitemap.xml,其中sitemap.xml是你的网站的网站地图文件
使用方法:新建一个名称为robots.txt文本文件,将上面的内容放进去,然后上传到网站根目录即可。
怎么检测robots.txt是否生效
创建并且写好robots.txt规则后,可以使用百度站长的robots检测工具来判断是否生效。
非特殊说明,本博所有文章均为博主原创。
如若转载,请注明出处:https://www.buzhiyu.com/wdrtxfhck/291.html
共有 0 条评论