守望先锋目录
前言
创建和管理WordPress站点，robots.txt是关键的工具，可以控制搜索引擎爬虫在网站抓取哪些页面和不能抓取哪些页面，优化搜索引擎爬虫的访问对提高网站的可见性和排名至关重要。
使用方法
一、复制以下内容（此规则是WordPress站点通用）。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php
Disallow: /*?*
Sitemap: https://域名/wp-sitemap-posts-post-1.xml二、在网站根目录创建名为robots.txt的文本文件，把以上内容粘贴到robots.txt文件内，再把内容的最后一条的域名修改成自己网站的域名并保存文件。
三、访问网址：https://域名/robots.txt，检查内容是否正确。
四、robots.txt内容最后一行的Sitemap，WordPress已内置Sitemap（站点地图）生成工具，此功能开关位置：进入WordPress后台 > 设置 > 阅读 > 对搜索引擎的可见性
建议：WordPress已内置Sitemap站点地图生成工具，没必要额外安装第三方的生成Sitemap站点地图插件。
可选附加规则
一、部分主题内置前端用户中心功能，用户中心的链接例如：https://域名/user/，不想被搜索引擎抓取，把/user/添加到robots.txt，规则如下。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php
Disallow: /*?*
Disallow: /user/
Sitemap: https://域名/wp-sitemap-posts-post-1.xml二、部分主题和SEO相关优化插件，有外链转内链的功能，把文章内容里的外链（非本站域名的链接）转换成内链，例如：https://域名/?go=xxxxxxxxx，建议添加到robots.txt，规则如下。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php
Disallow: /*?*
Disallow: /user/
Disallow: /?go=
Sitemap: https://域名/wp-sitemap-posts-post-1.xml