主页 > SEO问题解答 > 大量的搜索引擎爬虫对网站的影响(整站优化方法)
大量的搜索引擎爬虫对网站的影响
1、浪费带宽资源
如果你的网站带宽资源有限,而爬虫的量过多,导致正常用户访问缓慢,原本虚拟主机主机的连接数受限,带宽资源也是有限,这种情况搜索引擎爬虫受影响呈现更明显。
2、过于频繁的抓取会导致服务器报错
如果搜索引擎爬虫过于频繁,会抓取扫描很多无效页面,甚至抓页面抓到服务器报502、500 、504等服务器内部错误了,蜘蛛爬虫还在不停使劲抓取。
3、与网站主题不相关的搜索引擎爬虫消耗资源
比如一淘网的抓取工具是一淘网蜘蛛(EtaoSpider),目前是被各大电子商务购物网站屏蔽的,拒绝一淘网抓取其商品信息及用户产生的点评内容。
被禁止的原因首先应该是它们之间没有合作互利的关系,还有就是EtaoSpider爬虫是一个抓取最疯狂的蜘蛛。
重点是EtaoSpider被抓取只会消耗你的网站资源,它不会给你带来访问量,或者其它对你有利用的。
4、无效的测试抓取
一些搜索引擎开发程序员,它们写的爬虫程序在测试爬行。
5、robots.txt文件也并非是万能
肯定有很多人认为,在robots.txt设置屏蔽搜索引擎爬虫即可,或者允许某些特定的搜索引擎爬虫,能达到你预想效果。
正规搜索引擎会遵守规则,不过不会及时生效,但是据我对马海祥博客的测试发现:实际上某些蜘蛛往往不是这样的,先扫描抓取你的页面,无视你的robots.txt,也可能它抓取后不一定留用,或者它只是统计信息,收集互联网行业趋势分析统计。
6、不是搜索引擎蜘蛛,但具有蜘蛛的特性
例如采集软件,采集程序,网络扫描e-mail地址的工具,各式各样的SEO分析统计工具,千奇百怪的网站漏洞扫描工具等等,这些抓取对网站没有任何好处!
如何解决无效搜索引擎蜘蛛取的问题各种搜索引擎的蜘蛛爬虫会不断地访问抓取我们站点的内容,也会消耗站点的一定流量,有时候就需要屏蔽某些蜘蛛访问我们的站点。那么接下来,马海祥就根据自己的经验跟大家分享4种解决无效搜索引擎蜘蛛抓取的方法:
1、只运行常用的搜索引擎蜘蛛抓取
依据空间流量实际情况,就保留几个常用的,屏蔽掉其它蜘蛛以节省流量。
2、通过服务器防火墙来屏蔽ip
从服务器防火墙iptable直接屏蔽蜘蛛IP段、详细的IP,这是最直接、有效的屏蔽方法。
3、WWW服务器层面做限制
例如Nginx,Squid,Lighttpd,直接通过“http_user_agent”屏蔽搜索引擎爬虫。
4、最后robots.txt文件做限制
搜索引擎国际规则还是要遵循规则的。
- 搜索
-
- 2020-11-17什么是垃圾文章 对搜索引擎优化的伤害是
- 2020-11-17聊一聊网络营销推广那些事儿
- 2020-11-17如何做好短视频营销?短视频推广怎么做
- 2020-11-17锚文本、超链接和纯文本链接的区别以及
- 2020-11-17seo网站优化怎么做(2020最新快速排名优化
- 2020-11-17搜狗网站优化软件哪个好(免费7天快速上
- 2020-11-17怎么分析关键词的优化难度 优化难度如何
- 2020-11-17软文推广思路:企业做网络推广需要多元
- 2020-11-17常用免费互联网推广平台分享
- 2020-11-16如何优化网站排名(新站7天上百度首页的
- 2020-11-16贴吧精准引流之防删贴技术操作
- 2020-11-16seo排名点击什么软件好(免费7天上首页的
- 2020-11-16推广软文怎么写?有创意是第一位
- 2020-11-16论泛私域流量对于未来营销的革命性地位
- 2020-11-16一份完整的产品运营推广方案
- 2020-11-16搜索引擎商业帝国成功的秘密(2)
- 2020-11-1610个月领跑汽车直播,懂车帝如何构建内
- 2020-11-16医疗软文推广再无容身之地?搜狗紧随百
- 2020-11-16浅谈SEO优化首页权重高于内页的原因
- 2020-11-16木瓜移动申请创业板 帮助出海企业登陆国
- 2020-11-16seo排名优化培训VIP课程(免费内部视频)
- 2020-11-15好的文章标题有什么特征 怎么写
- 2020-11-15为什么网站排名第一,仍然需要继续优化
- 2020-11-15三大方面入手 破除局限思维做好企业软文
- 2020-11-15SEO优化四大技巧大揭秘
- 2020-11-15百度快照显示不正确怎么办?如何删除百
- 2020-11-15西安seo优化运营公司有哪些(西安做百度
- 2020-11-15产品软文推广有什么技巧
- 2020-11-15个人站长申请注册免费企业邮箱的方法
- 2020-11-15线下萧条?疫后实现惊人逆势增长,盘子
- 2020-10-30p8、p9的程序员是什么水平?阿里P8程序员年
- 2020-10-01怎么从百度搜索网页标题规范中找干货
- 2020-02-24如何为网站打造最精简的源代码
- 2020-02-18网站上线怎么修改seo
- 2020-01-14sem优化师是什么?前景怎么样?
- 2019-11-18html如何进行seo(图文教程)
- 2019-11-18PC端和移动端SEO的关键词排名是否同步?
- 2019-11-18熊掌号和SEO哪个好
- 2019-11-16网站收录和排名之间有何微妙关系?
- 2019-11-13网站优化不用非得每天都去更新
- 2018-09-05从建站到seo优化的整体思路
- 2018-09-05网站搬家的那些事
- 2018-09-05高质量外链发布平台寻找方法
- 2018-09-05qq空间排行排名策略
- 2018-09-05官网保护工具的申请说明
- 2018-09-05以seo培训为例查看用户需求
- 2018-09-05网络营销主要做什么?
- 2018-09-05茂名SEO:SWOT分析法的优化运用
- 2018-09-05SEO常用指令的组合运用让你收获奇效
- 2018-09-04说说内容页的内链设置
- 2018-09-04隐藏在建站中的SEO小知识
- 2018-09-04如何提升网站打开速度?
- 2018-09-04做SEO被人低估只能怪自己不够聪明
- 2018-09-04抢占百度首页方法就是这么简单!
- 2018-09-04哪里可以学习seo技术
- 2018-09-04百度判定网站优质内容的几个维度
- 2018-09-04百度点击算法内幕大揭秘
- 2018-09-04网站被黑的预防以及处理办法
- 2018-09-04不知不觉小明SEO博客已经权重4了
- 2018-09-04百度联盟高收益作弊手法【4】:不要迷信
- 2020-03-04搜索引擎蜘蛛适配标注是怎么样的?(整站
- 2020-03-04蜘蛛抓取份额由什么决定?如何查看抓取
- 2020-03-04搜索引擎蜘蛛也有考核标准?(整站优化方
- 2020-03-04如何通过搜索引擎蜘蛛的爬行日志进行网
- 2020-03-04百度搜索引擎蜘蛛的工作原理(整站优化方
- 2020-02-26大量的搜索引擎爬虫对网站的影响(整站优
- 2020-02-26如何吸引搜索引擎蜘蛛抓取网站(整站优化
- 2020-02-26利用robots协议如何屏蔽百度蜘蛛抓取 ?
- 2020-02-26对搜索引擎蜘蛛友好的链接结构(整站优化
- 2020-02-26导致搜索引擎蜘蛛抓取异常的原因的哪些
- 2020-02-19网站优化过程中,内容的更新度如何保证
- 2020-02-19网站内容页面布局要如何规范?(网站优化
- 2020-02-19网站内容相关性是怎么增加?(网站优化建
- 2020-02-19新网站内容页如何提高收录?(网站优化建
- 2020-02-19提高关键词排名的网站内容页优化方法
- 2020-02-15网站首页排名低于内容页应该怎么办?
- 2020-02-15网站内容不更新也可保证排名的原因!
- 2020-02-15有哪些提升单页面网站排名的方法?(网站
- 2020-02-14网站内容页没有排名是为什么?(网站优化
- 2020-01-15网站内容页排名要如何提高?(搜索引擎优
- 2020-01-09增加流量的网站优化方法(提升关键词排名
- 2020-01-09seo网站图片优化技巧有哪些?(提升关键词
- 2020-01-09锚文本对网站优化的影响(提升关键词排名
- 2020-01-08网站优化之合理分布网站关键词的技巧
- 2020-01-08百度搜索下拉框要如何优化?(提升关键词
- 2020-01-03影响用户体验的主要因素是什么?(页面优
- 2020-01-03网站优化时应避开哪些雷区?(提升关键词
- 2020-01-03seo网站优化有什么技巧?(提升关键词排名
- 2020-01-02网站优化布局的注意事项有哪些?(提升关
- 2020-01-02对搜索引擎优化友好的网站优化方法!