主页 > SEO问题解答 > 利用robots协议如何屏蔽百度蜘蛛抓取 ?(整站优化方法)
利用robots协议如何屏蔽百度蜘蛛抓取 ?
robots协议是放在网站根目录下的协议文件,可以通过网址访问,当百度蜘蛛抓取我们的网站时,它会先访问这个文件。因为它告诉蜘蛛哪些能抓,哪些不能。
robots协议文件的设置比较简单,可以通过User-Agent、Disallow、Allow这三个参数进行设置。
User-Agent:对不同搜索引擎的声明;
Disallow:不允许抓取的目录或页面;
Allow:被允许抓取的目录或页面通常可以省略或不写,因为如果你不写任何不能抓取的东西,它就可以被抓取。
当我不希望百度抓取我网站所有的css文件,data目录、seo-tag.html页面
User-Agent:BaidusppiderDisallow:/*.cssDisallow:/data/Disallow:/seo/seo-tag.html
如上所述,user-agent声明了蜘蛛的名称,这意味着它针对的是百度蜘蛛。以下内容无法获取"/*。css",首先/指的是根目录,这是您的域名。*是代表任何内容的通配符。这意味着无法抓取以.css结尾的所有文件。这是你自己的两个经历。逻辑是一样的。
通过403状态码,限制内容输出,屏蔽蜘蛛抓取。
403状态代码是http协议中的网页返回状态代码。当搜索引擎遇到403状态代码时,它知道这些页面受权限限制。我无法访问它。例如,如果您需要登录才能查看内容,搜索引擎本身将无法登录。如果您返回403,他也知道这是权限设置页面,无法读取内容。当然,它不会被包括在内。
返回403状态代码时,应该有一个类似于404页面的页面。提示用户或蜘蛛执行他们想要访问的内容。两者都是不可或缺的。您只有提示页面,状态代码返回200,这是百度蜘蛛的大量重复页面。有403个状态代码但返回不同的内容。这也不是很友好。
- 搜索
-
- 2020-11-17什么是垃圾文章 对搜索引擎优化的伤害是
- 2020-11-17聊一聊网络营销推广那些事儿
- 2020-11-17如何做好短视频营销?短视频推广怎么做
- 2020-11-17锚文本、超链接和纯文本链接的区别以及
- 2020-11-17seo网站优化怎么做(2020最新快速排名优化
- 2020-11-17搜狗网站优化软件哪个好(免费7天快速上
- 2020-11-17怎么分析关键词的优化难度 优化难度如何
- 2020-11-17软文推广思路:企业做网络推广需要多元
- 2020-11-17常用免费互联网推广平台分享
- 2020-11-16如何优化网站排名(新站7天上百度首页的
- 2020-11-16贴吧精准引流之防删贴技术操作
- 2020-11-16seo排名点击什么软件好(免费7天上首页的
- 2020-11-16推广软文怎么写?有创意是第一位
- 2020-11-16论泛私域流量对于未来营销的革命性地位
- 2020-11-16一份完整的产品运营推广方案
- 2020-11-16搜索引擎商业帝国成功的秘密(2)
- 2020-11-1610个月领跑汽车直播,懂车帝如何构建内
- 2020-11-16医疗软文推广再无容身之地?搜狗紧随百
- 2020-11-16浅谈SEO优化首页权重高于内页的原因
- 2020-11-16木瓜移动申请创业板 帮助出海企业登陆国
- 2020-11-16seo排名优化培训VIP课程(免费内部视频)
- 2020-11-15好的文章标题有什么特征 怎么写
- 2020-11-15为什么网站排名第一,仍然需要继续优化
- 2020-11-15三大方面入手 破除局限思维做好企业软文
- 2020-11-15SEO优化四大技巧大揭秘
- 2020-11-15百度快照显示不正确怎么办?如何删除百
- 2020-11-15西安seo优化运营公司有哪些(西安做百度
- 2020-11-15产品软文推广有什么技巧
- 2020-11-15个人站长申请注册免费企业邮箱的方法
- 2020-11-15线下萧条?疫后实现惊人逆势增长,盘子
- 2020-10-30p8、p9的程序员是什么水平?阿里P8程序员年
- 2020-10-01怎么从百度搜索网页标题规范中找干货
- 2020-02-24如何为网站打造最精简的源代码
- 2020-02-18网站上线怎么修改seo
- 2020-01-14sem优化师是什么?前景怎么样?
- 2019-11-18html如何进行seo(图文教程)
- 2019-11-18PC端和移动端SEO的关键词排名是否同步?
- 2019-11-18熊掌号和SEO哪个好
- 2019-11-16网站收录和排名之间有何微妙关系?
- 2019-11-13网站优化不用非得每天都去更新
- 2018-09-05从建站到seo优化的整体思路
- 2018-09-05网站搬家的那些事
- 2018-09-05高质量外链发布平台寻找方法
- 2018-09-05qq空间排行排名策略
- 2018-09-05官网保护工具的申请说明
- 2018-09-05以seo培训为例查看用户需求
- 2018-09-05网络营销主要做什么?
- 2018-09-05茂名SEO:SWOT分析法的优化运用
- 2018-09-05SEO常用指令的组合运用让你收获奇效
- 2018-09-04说说内容页的内链设置
- 2018-09-04隐藏在建站中的SEO小知识
- 2018-09-04如何提升网站打开速度?
- 2018-09-04做SEO被人低估只能怪自己不够聪明
- 2018-09-04抢占百度首页方法就是这么简单!
- 2018-09-04哪里可以学习seo技术
- 2018-09-04百度判定网站优质内容的几个维度
- 2018-09-04百度点击算法内幕大揭秘
- 2018-09-04网站被黑的预防以及处理办法
- 2018-09-04不知不觉小明SEO博客已经权重4了
- 2018-09-04百度联盟高收益作弊手法【4】:不要迷信
- 2020-03-04搜索引擎蜘蛛适配标注是怎么样的?(整站
- 2020-03-04蜘蛛抓取份额由什么决定?如何查看抓取
- 2020-03-04搜索引擎蜘蛛也有考核标准?(整站优化方
- 2020-03-04如何通过搜索引擎蜘蛛的爬行日志进行网
- 2020-03-04百度搜索引擎蜘蛛的工作原理(整站优化方
- 2020-02-26大量的搜索引擎爬虫对网站的影响(整站优
- 2020-02-26如何吸引搜索引擎蜘蛛抓取网站(整站优化
- 2020-02-26利用robots协议如何屏蔽百度蜘蛛抓取 ?
- 2020-02-26对搜索引擎蜘蛛友好的链接结构(整站优化
- 2020-02-26导致搜索引擎蜘蛛抓取异常的原因的哪些
- 2020-02-19网站优化过程中,内容的更新度如何保证
- 2020-02-19网站内容页面布局要如何规范?(网站优化
- 2020-02-19网站内容相关性是怎么增加?(网站优化建
- 2020-02-19新网站内容页如何提高收录?(网站优化建
- 2020-02-19提高关键词排名的网站内容页优化方法
- 2020-02-15网站首页排名低于内容页应该怎么办?
- 2020-02-15网站内容不更新也可保证排名的原因!
- 2020-02-15有哪些提升单页面网站排名的方法?(网站
- 2020-02-14网站内容页没有排名是为什么?(网站优化
- 2020-01-15网站内容页排名要如何提高?(搜索引擎优
- 2020-01-09增加流量的网站优化方法(提升关键词排名
- 2020-01-09seo网站图片优化技巧有哪些?(提升关键词
- 2020-01-09锚文本对网站优化的影响(提升关键词排名
- 2020-01-08网站优化之合理分布网站关键词的技巧
- 2020-01-08百度搜索下拉框要如何优化?(提升关键词
- 2020-01-03影响用户体验的主要因素是什么?(页面优
- 2020-01-03网站优化时应避开哪些雷区?(提升关键词
- 2020-01-03seo网站优化有什么技巧?(提升关键词排名
- 2020-01-02网站优化布局的注意事项有哪些?(提升关
- 2020-01-02对搜索引擎优化友好的网站优化方法!