欢迎来到 岁月小筑

如何设置wordpress robots.txt

前言

wordpress设置好robots.txt十分地重要,会很大程度地影响搜索引擎对网站的爬取,因此,设置一个好的wordpress得robots.txt成为必须的要求,小站就有因为没有设置好robots.txt而导致google搜索引擎抓不到本站内容的反面教材

设置步骤

wordpress设置robots.txt

其实设置robots.txt也不需要那么麻烦了,只要重要的后台不要被抓取就够了

wordpress的后台是/wp-admin,所以,理论上只要不要抓取这个目录就好了

本站的robots.txt因为还有其他东西,所以多加了一点,具体可以参考下面的代码:

禁止wp-admin是最基础的,保护网站安全

而wp-includes含一些wordpress关键运行文件,但一般不含有资源文件,因此可以放心禁用

禁止/feed是因为这个页面会导致生成大量的无内容页面,从而导致搜索引擎抛弃小站QAQ

/go/是小站设置的跳转文件,链接到的是外站,如果google抓取的话,会导致权重降低等多种负面影响,所以也要禁止

最后一行sitemap是本站的网站目录,写出来能帮助搜索引擎更好地抓取网站

点赞

发表评论

电子邮件地址不会被公开。