上海SEO百度排名优化_刷百度排名行业领先-利为汇SEO一站式SEO服务,帮助企业网站快速排名,快速上首页!

主页 > SEO问题解答 > 如何通过搜索引擎蜘蛛的爬行日志进行网站分析?(整站优化方法)

如何通过搜索引擎蜘蛛的爬行日志进行网站分析?(整站优化方法)

首页 2020-03-04 16:12 SEO问题解答 89 ℃


gp=0.jpg

如何通过搜索引擎蜘蛛的爬行日志进行网站分析?


  搜索引擎蜘蛛爬行后所显示的状态码一般分为以下几种:

  200状态码:200代表服务器成功返回网页,一般来说2XX类的状态码是指请求已经完成,没有出现错误。

  301状态码,重定向的意思,主要是蜘蛛爬行到一个页面,被强行跳转到了别的页面,就会出现301。3XX类的状态码就是连接被重定向,或者资源移动过。

  404状态码:页面不存在,或者页面无法访问,也就是传说中的死链接。

  503状态码,基本就是你的服务器出了问题,因为蜘蛛无法访问,官方的解释是服务器暂时不可用。

  分析搜索引擎蜘蛛爬行日志的目的:

  1、分析搜索引擎蜘蛛爬行日志可以得知,有哪些搜索引擎爬虫来爬过你的网站。

  2、不同的搜索引擎蜘蛛访问你网站的频次是怎样的的。

  3、权重蜘蛛是否来过你的网站?

  4、网站是否存在404页面?

  5、网站服务器是否稳定,在未知的时间段是否有宕机的情况出现?

  6、通过对搜索引擎蜘蛛爬行日志的分析,对网站的优化方案及时作出调整加以改进。

  目前分析蜘蛛爬行主要通过以下方法:

  1、利用PHP,ASP根据浏览器返回的USER_AGENT来动态进行跟踪记录,这样的确可以实现目的,但其缺点很明显:

  a)加重服务器负担,对于内容多及权重高的网站,蜘蛛抓取是非常频繁的。在网页中插入的代码会额外加重服务器的负担。

  b)由于搜索引擎相对来说比较喜欢静态页面,很多网站都利用CMS把内容生成静态文件,这样就无法统计了。湖南某seo公司介绍使用img标签或者script方式,即在静态文件中将统计脚本利用img或者script标签调用的方式,此方法经过我一个月的试验,无法实现,蜘蛛不抓取页面。

  2、利用第三方日志分析工具:如linux下awstats及windows下的Webalizer,其缺点也很明显。比如如果您是虚拟主机用户的话,由于每天产生的日志非常多,每次分析时下载日志文件是一件非常痛苦的事。同时这些软件太专业了,不适合一般站长使用。

  不同的搜索引擎的蜘蛛也不同:

  百度蜘蛛:compatible; Baiduspider/2.0; +

  谷歌蜘蛛:compatible; Googlebot/2.1; +

  搜狗蜘蛛:Sogou web spider/4.0(+#07

  神马搜索蜘蛛:Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

  奇虎360搜索蜘蛛:Chrome/50.4.2661.102 Safari/537.36; 360Spider

当前位置:主页 > SEO问题解答 > 如何通过搜索引擎蜘蛛的爬行日志进行网站分析?(整站优化方法)

搜索
网站分类
标签列表
 

13924653483