如果你不知道 robots.txt 是什么,也不确定如何正确地设置它,本篇文章会向您介绍适用于子比主题的 robots.txt 文件,利用它可以提升 SEO 的效果,避免收录无关页面,从而解决网站被收录但无权重的困境。
作为一款高效的 SEO 工具,robots.txt 通过在网站上设置它,来告诉搜索引擎哪些页面可以被抓取,哪些页面不应该抓取。有了 robots.txt,您可以更好地控制自己网站的内容,避免遭受不必要的搜索引擎扫描。
现在,我们向大家推荐的是适用于子比主题的一个适合的 robots.txt 文件设置。这里分享给大家,希望对您有所帮助:
上述代码对应的内容规则如下:
- User-agent: *:表示对所有的搜索引擎生效,针对所有爬虫。
- Disallow: /license.txt 和 Disallow: /readme.html:禁止抓取 license.txt 与 readme.html 页面,避免被搜索引擎认为您的页面带有敏感信息。
- Disallow: /wp-admin/、Disallow: /wp-includes/、Disallow: /xmlrpc.php、Disallow: /wp-json/:禁止搜索引擎索引 WordPress 后台等相关页面。
- Disallow: */comments/:禁止搜索引擎查找评论页面,避免无意义数据被索引。
- Disallow: */trackback/:禁止搜索引擎查找 Trackback 页面,同样可以避免无用数据的索引。
- Disallow: *?s=和 Disallow: *?amp:禁止搜索引擎查找 URL 带有特定字词的页面。
- Disallow: /wp-content/plugins/和Disallow: /wp-content/themes/:禁止搜索引擎索引 WordPress 插件和主题。
在上述设置中,sitemap.xml 文件作为一个索引文件,可以有效地推送包含重要页面的网站地图,帮助搜索引擎了解您网站的结构,进一步提升网站的 SEO 效果。
希望以上代码能为您的 SEO 工作提供帮助。如有需要,请根据实际情况进行适当的修改,以达到最好的 SEO 优化效果。
晓白博客网版权所有,原文地址https://www.xbnb.cn/36
© 版权声明
文章版权归作者所有,未经允许禁止转载。
有事联系邮箱xbnbcn@126.com
有事联系邮箱xbnbcn@126.com
THE END
登录后才能查看这里的内容哦