当前位置:首页 > 自媒体运营 > 正文内容

wordpress蜘蛛抓取规则robots设置

3年前 (2021-03-14)自媒体运营1032

放行了几个常用搜索引擎,其他的全部禁止,减轻服务器负担

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /redirect/
Disallow: /wp-login.php?redirect_to=*
Disallow: /go?_=*
Disallow: /?s=
Disallow: /?p=
User-agent: Baiduspider
Disallow: 
User-agent: Sosospider
Disallow: 
User-agent: sogou spider
Disallow: 
User-agent: Googlebot
Disallow: 
User-agent: Bingbot
Disallow: 
User-agent: PetalBot
Disallow: 
User-agent: YisouSpider
Disallow: 
User-agent: Sogou web spider
Disallow: 
User-agent: *
Disallow: /
Sitemap: https://www.168xindai.com/sitemap-post-2021.xml


扫描二维码通过至手机访问。

版权声明:本文由点金工作室发布,如需转载请联系获取授权

本文地址:https://dianjin888.com/post/17.html

分享给朋友:

相关文章

导入bak格式的数据备份到SQL数据库的方法

导入bak格式的数据备份到SQL数据库的方法

阿里云的虚拟主机控制面板打包备份后生成的数据库备份文件是BAK格式的,如果是数据库是迁移到新的阿里云虚拟主机,导入方式如下首先虚拟主机的操作系统要求是windows的,只有windows系统会配SQL...

头条,抖音,百度,搜狗,360等14个信息流投放渠道效果分析

近年来,B站、网易云音乐、作业帮、快手、抖音等超级app先后推出了信息流广告业务,市场上可选择的信息流渠道越来越多,了解各大信息流渠道的特性,筛选出适合自家产品投放的渠道成为了各位互联网运营工作者的必...

做笔记:CDN的预热与刷新的区别

做笔记:CDN的预热与刷新的区别

预热就是把服务器上面要缓存的文件先存放到CDN的各个节点,当访客访问的时候如果命中节点,就自动从CDN节点下载缓存的文件刷新就是告诉CDN的各个节点,之前的缓存都失效不要了,如果有访客访问,就去服务器...

传统中小企业如何做好网络推广?2021企业网络推广难点解析

传统中小企业如何做好网络推广?2021企业网络推广难点解析

2021年,互联网的大部分流量早已从PC迁移到了移动端,互联网营销推广也已经进入深水区:获客难度更大,学习成本更高,花了钱看不到效果已经成了全行业面临的问题。之前那种花钱就有客户咨询的美好时光一去不复...

linux服务器补丁升级命令,适用阿里云/腾讯云/百度云等所有linux系统的服务器

1 先查看可升级系统软件yum check-update然后更新所有可升级的系统软件2yum upgrade当然,可升级指定系统软件3yum update xxx (xxx为你要升级的软件)重启阿里云...

百度竞价新账户只消费没咨询转化原因分析

百度竞价新账户只消费没咨询转化原因分析

笔者本人从2010年开始做竞价,亲自运营过很多的账户,做旅游竞价也有3年多,可以算是一名资深的SEM从业者了,对于竞价运营这块我还是比较有自己的心得的。据我跟各个行业朋友所了解到的信息,基本上流量大的...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。