主页 > SEO问题解答 > 蜘蛛抓取份额由什么决定?如何查看抓取记录?(整站优化方法)
蜘蛛抓取份额由什么决定?如何查看抓取记录?
抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对于特定网站,搜索引擎蜘蛛花在这个网站上的总时间是相对固定的,不会无限制地抓取网站所有页面。
抓取份额是由什么决定的呢?抓取需求
抓取需求,crawl demand,指的是搜索引擎“想”抓取特定网站多少页面。
决定抓取需求的主要有两个因素。一是页面权重,网站上有多少页面达到了基本页面权重,搜索引擎就想抓取多少页面。二是索引库里页面是否太久没更新了。说到底还是页面权重,权重高的页面就不会太久不更新。
页面权重和网站权重又是息息相关的,提高网站权重,就能使搜索引擎愿意多抓取页面。
抓取速度限制
搜索引擎蜘蛛不会为了抓取更多页面,把人家网站服务器拖垮,所以对某个网站都会设定一个抓取速度的上限,crawl rate limit,也就是服务器能承受的上限,在这个速度限制内,蜘蛛抓取不会拖慢服务器、影响用户访问。
服务器反应速度够快,这个速度限制就上调一点,抓取加快,服务器反应速度下降,速度限制跟着下降,抓取减慢,甚至停止抓取。
所以,抓取速度限制是搜索引擎“能”抓取的页面数。
怎样节省抓取份额?当然首先是降低页面文件大小,提高服务器速度,优化数据库,降低抓取时间。
然后,尽量避免上面列出的浪费抓取份额的东西。有的是内容质量问题,有的是网站结构问题,如果是结构问题,最简单的办法是robots文件禁止抓取,但多少会浪费些页面权重,因为权重只进不出。
怎样查看搜索引擎蜘蛛的抓取记录?首先得取出网站的访问日志,里面包括了用户访问和蜘蛛访问。日志文件在服务器里面,用ftp软件登录到服务器下载就可以了。
网站日志就是服务器在运行和处理请求的时候产生的记录文件,以log为文件名,存放在主机中。日志文件每天会更新,有些按周更新看服务器设置问题。
搜索引擎流量的前提是排名,排名的前提是收录,收录的前提是抓取。通过蜘蛛爬行日志,我们可以知道网站内容有多少被抓取过,有哪些内容是没有被抓取的,文章的抓取率是多少,抓取过的内容收录率多少。
- 搜索
-
- 2020-11-17什么是垃圾文章 对搜索引擎优化的伤害是
- 2020-11-17聊一聊网络营销推广那些事儿
- 2020-11-17如何做好短视频营销?短视频推广怎么做
- 2020-11-17锚文本、超链接和纯文本链接的区别以及
- 2020-11-17seo网站优化怎么做(2020最新快速排名优化
- 2020-11-17搜狗网站优化软件哪个好(免费7天快速上
- 2020-11-17怎么分析关键词的优化难度 优化难度如何
- 2020-11-17软文推广思路:企业做网络推广需要多元
- 2020-11-17常用免费互联网推广平台分享
- 2020-11-16如何优化网站排名(新站7天上百度首页的
- 2020-11-16贴吧精准引流之防删贴技术操作
- 2020-11-16seo排名点击什么软件好(免费7天上首页的
- 2020-11-16推广软文怎么写?有创意是第一位
- 2020-11-16论泛私域流量对于未来营销的革命性地位
- 2020-11-16一份完整的产品运营推广方案
- 2020-11-16搜索引擎商业帝国成功的秘密(2)
- 2020-11-1610个月领跑汽车直播,懂车帝如何构建内
- 2020-11-16医疗软文推广再无容身之地?搜狗紧随百
- 2020-11-16浅谈SEO优化首页权重高于内页的原因
- 2020-11-16木瓜移动申请创业板 帮助出海企业登陆国
- 2020-11-16seo排名优化培训VIP课程(免费内部视频)
- 2020-11-15好的文章标题有什么特征 怎么写
- 2020-11-15为什么网站排名第一,仍然需要继续优化
- 2020-11-15三大方面入手 破除局限思维做好企业软文
- 2020-11-15SEO优化四大技巧大揭秘
- 2020-11-15百度快照显示不正确怎么办?如何删除百
- 2020-11-15西安seo优化运营公司有哪些(西安做百度
- 2020-11-15产品软文推广有什么技巧
- 2020-11-15个人站长申请注册免费企业邮箱的方法
- 2020-11-15线下萧条?疫后实现惊人逆势增长,盘子
- 2020-10-30p8、p9的程序员是什么水平?阿里P8程序员年
- 2020-10-01怎么从百度搜索网页标题规范中找干货
- 2020-02-24如何为网站打造最精简的源代码
- 2020-02-18网站上线怎么修改seo
- 2020-01-14sem优化师是什么?前景怎么样?
- 2019-11-18html如何进行seo(图文教程)
- 2019-11-18PC端和移动端SEO的关键词排名是否同步?
- 2019-11-18熊掌号和SEO哪个好
- 2019-11-16网站收录和排名之间有何微妙关系?
- 2019-11-13网站优化不用非得每天都去更新
- 2018-09-05从建站到seo优化的整体思路
- 2018-09-05网站搬家的那些事
- 2018-09-05高质量外链发布平台寻找方法
- 2018-09-05qq空间排行排名策略
- 2018-09-05官网保护工具的申请说明
- 2018-09-05以seo培训为例查看用户需求
- 2018-09-05网络营销主要做什么?
- 2018-09-05茂名SEO:SWOT分析法的优化运用
- 2018-09-05SEO常用指令的组合运用让你收获奇效
- 2018-09-04说说内容页的内链设置
- 2018-09-04隐藏在建站中的SEO小知识
- 2018-09-04如何提升网站打开速度?
- 2018-09-04做SEO被人低估只能怪自己不够聪明
- 2018-09-04抢占百度首页方法就是这么简单!
- 2018-09-04哪里可以学习seo技术
- 2018-09-04百度判定网站优质内容的几个维度
- 2018-09-04百度点击算法内幕大揭秘
- 2018-09-04网站被黑的预防以及处理办法
- 2018-09-04不知不觉小明SEO博客已经权重4了
- 2018-09-04百度联盟高收益作弊手法【4】:不要迷信
- 2020-03-04搜索引擎蜘蛛适配标注是怎么样的?(整站
- 2020-03-04蜘蛛抓取份额由什么决定?如何查看抓取
- 2020-03-04搜索引擎蜘蛛也有考核标准?(整站优化方
- 2020-03-04如何通过搜索引擎蜘蛛的爬行日志进行网
- 2020-03-04百度搜索引擎蜘蛛的工作原理(整站优化方
- 2020-02-26大量的搜索引擎爬虫对网站的影响(整站优
- 2020-02-26如何吸引搜索引擎蜘蛛抓取网站(整站优化
- 2020-02-26利用robots协议如何屏蔽百度蜘蛛抓取 ?
- 2020-02-26对搜索引擎蜘蛛友好的链接结构(整站优化
- 2020-02-26导致搜索引擎蜘蛛抓取异常的原因的哪些
- 2020-02-19网站优化过程中,内容的更新度如何保证
- 2020-02-19网站内容页面布局要如何规范?(网站优化
- 2020-02-19网站内容相关性是怎么增加?(网站优化建
- 2020-02-19新网站内容页如何提高收录?(网站优化建
- 2020-02-19提高关键词排名的网站内容页优化方法
- 2020-02-15网站首页排名低于内容页应该怎么办?
- 2020-02-15网站内容不更新也可保证排名的原因!
- 2020-02-15有哪些提升单页面网站排名的方法?(网站
- 2020-02-14网站内容页没有排名是为什么?(网站优化
- 2020-01-15网站内容页排名要如何提高?(搜索引擎优
- 2020-01-09增加流量的网站优化方法(提升关键词排名
- 2020-01-09seo网站图片优化技巧有哪些?(提升关键词
- 2020-01-09锚文本对网站优化的影响(提升关键词排名
- 2020-01-08网站优化之合理分布网站关键词的技巧
- 2020-01-08百度搜索下拉框要如何优化?(提升关键词
- 2020-01-03影响用户体验的主要因素是什么?(页面优
- 2020-01-03网站优化时应避开哪些雷区?(提升关键词
- 2020-01-03seo网站优化有什么技巧?(提升关键词排名
- 2020-01-02网站优化布局的注意事项有哪些?(提升关
- 2020-01-02对搜索引擎优化友好的网站优化方法!