上海SEO百度排名优化_刷百度排名行业领先-利为汇SEO一站式SEO服务,帮助企业网站快速排名,快速上首页!

主页 > SEO问题解答 > 对搜索引擎蜘蛛友好的链接结构(整站优化方法)

对搜索引擎蜘蛛友好的链接结构(整站优化方法)

首页 2020-02-26 13:14 SEO问题解答 89 ℃


u=4041585175,1529403277&fm=26&gp=0.jpg

对搜索引擎蜘蛛友好的链接结构


蜘蛛:网络爬虫,又被称为网页蜘蛛,网络机器人,是按照一定规则,自动抓取互联网网页的程序和脚本不同搜索引擎有不同的蜘蛛:

百度的:BaiduSipder  

谷歌的:谷歌机器人 Googlebot

360的:360蜘蛛 360 Spider

搜狗的: sougospider

搜索引擎引擎的工作分为三个阶段:

1.网页收集:搜索引擎蜘蛛通过链接进行爬行和住区,将抓取到的页面存储到原始数据库中

2.预处理:搜索引擎蜘蛛抓到的页面不能直接进行用户查询混排名,需要进行预处理

3.检索服务:用户输入查询词后,排名程序调用索引数据中的数据,用户用户搜索词相关的页面按照排序顺序彰显给用户

搜索引擎是通过蜘蛛程序对互联网中的网页进行抓取和收集的,网页收集是搜索引擎工作的第一步,了解手所引起网页的抓取机制,便于蜘蛛抓取更多的页面,使得网站有更好的排名

蜘蛛的工作方式:对于互联网中的网站来说,如果没有对其中的链接进行屏蔽设置,蜘蛛就可以通过链接在网址或者网站之间进行爬行和抓取,由于互联网中的网页页面链接结构异常,蜘蛛需要采取一定爬行策略才能进行抓取多的页面

简单爬行策略有两种:一种是深度优先,一种是广度优先。

深度优先:是指蜘蛛会从起始网页开始,一个链接接着一个链接跟踪吸取去,出来完这条线路之后再进入下一个起始页继续跟踪链接。

深度优先模式,蜘蛛从f页面爬行到A1A2A3页面,到A3页面后,已经没有其他链接可爬行了,就会返回到f页面,顺着页面上的另一个链接爬行到B1B2B3页面。在深度优先策略中,蜘蛛一直爬到无法再向前,才会返回爬行另一条线路

广度优先:是指蜘蛛会抓取起始网页链接中所有的链接,然后再选其中的一个链接页面,继续抓取在此页面中的所有页面,这是常用的方式,因为这个方法可以让网络蜘蛛并行处理,提升其抓取速度

搜索引擎主动抓取网页,并进行内容处理

按照一定策略把网页抓回到搜索引擎服务器;

对抓回的网页进行链接抽离、内容处理,削除噪声、提取该页主题文本内容等;

对网页的文本内容进行中文分词、去除停止词等;

对网页内容进行分词后判断该页面内容与已索引网页是否有重复,去除重复页,对剩余网页进行排序索引,然后等待用户的检索。

当前位置:主页 > SEO问题解答 > 对搜索引擎蜘蛛友好的链接结构(整站优化方法)

搜索
网站分类
标签列表
 

13924653483