搜索引擎蜘蛛爬行的过程是这样的，首先检测网站的robots.txt文件，确定哪些内容禁止抓取，哪些内容允许抓取等信息，确定robots.txt允许爬取之后，进入我们网站的首页，然后通过首页的链接爬取到我们网站中的内容页或者栏目页，之后再通过栏目页到达我们的文章页。

既然已经知道了搜索引擎抓取我们网站的流程，那么我们接下来东方网域就要为您分析影响搜索引擎抓取的因素了。

1、网站速度的影响

机房问题、dns问题、cdn加速问题、服务器带宽、服务器硬件、操作系统、服务器软件以及服务器所安装的程序，这些都有可能影响我们网站的打开的速度。

2、nofollow标签的合理使用

nofollow是一个HTML标签的属性值。这个标签的意义是告诉搜索引擎”不要追踪此网页上的链接”或”不要追踪此特定链接。那么我们所要做的就是，用nofollow来屏蔽掉网站页面重复出现的链接以及对seo没有很高价值的页面，以减少网站权重的分散，并且可以减少搜索引擎重复抓取网站内每个页面的重复链接，以提高搜索引擎抓取效率。

3、网站硬盘问题:如在服务器里面安装多个虚拟机，导致硬盘转速变慢，有时会导致搜索引擎打不开网站。

4、返回码问题：比如同一个链接返回不同的返回码，又或者404页面返回200等。

5、安全软件问题：比如开启了防火墙规则、屏蔽了网站端口、开启防采集规则、开启防攻击规则等，导致了搜索引擎同一时间由于大量访问网站，而导致被安全软件拦截。

6、外链问题：

我们发外链的目的有两个，一个是吸引搜索引擎来抓取我们网站(引蜘蛛)另外一个就是提升网站的排名。外链首先要保证不能单纯的指向首页，要把外链做到指向栏目页、文章页的都有一些。

另外做外链的时候一定要考虑一下几个因素：多样性、集中性、平衡性、相关性、准确性、高质量性、人文性等。

7、网站的权重

网站权重是搜索引擎对这个网站信任度的一个体现，如果网站的权重够高，那么搜索引擎抓取的也相应的会比较及时，反之则是网站权重低，搜索引擎对其信任度不高，也许蜘蛛会很久来访问网站一次，相应的抓取频率就很低了。

8、网站地图

网站地图是将网站的所有连接，最直观的反应给搜索引擎，可以提高搜素引擎的抓取效率，同时也为增加网站的收录提供了良好的帮助。

9、推广

网杂很难前期的推广也非常重要，前期推广包含QQ群推广、QQ空间推广、邮件推广、软文推广、论坛外链推广、平台信息推广。所有能引导来用户点击的推广都可以，当然一定要是良性的推广。因为有点击就会给予点击权重，而网页是具有一定权重以后才会被收录。

10、pr

pr值是谷歌使用的衡量网站质量的一套标准，但是pr对于百度seo来说作用是非常小的，只是能够给我们提供一个参考价值，但是相对的来说pr的价值并不是很大，比如我的七七seo博客pr是0，但是丝毫不影响我网站的排名能力。

11、url静态化

URL静态化的目的是有利于网站的排名，虽然现在搜索引擎已经可以收录动态地址，但是在在排名上静态化的页面比动态页面更有优势， 并且URL静态化将更有利于增加搜索引擎的信任度。但是，如果网站真的做不了静态化的话，那就尽量使用短的url并且url中尽量少的使用动态参数。如果你的是动态的url，做法请参考(http://www.qiqqiseo.com)可以看到，url是很短的，只有一个变量。

12、url的唯一性

网站中的同一个页面，只对应一个url地址;如果网站上多种url都能访问到同样的内容的话，那么就会出现以下问题：

a、搜索引擎会选一种url为标准，可能会和正版不同

b、用户可能为同一网页的不同url做推荐，多种url形式分散了该网页的权重

建议：

a、如果你的网站上已经存在多种url形式，建议按以下方式来处理：在系统中只使用正常形式url，不让用户接触到非正常形式的url

b、不把session id、统计代码等不必要的内容放在url中

c、不同形式的url，301永久跳转到正常形式防止用户输错而启用的备用域名.301永久跳转到主域名

d、使用robots.txt禁止百度蜘蛛抓取你不想向用户展示的形式

13、ulr带关键词

尽量在url中带上网站的关键词(拼音)，这样会在排名上面稍微的会占据一点因素，要知道百度是中文搜索引擎,对拼音的分析能力是很强大的。

14、代码因素

网站的代码要符合w3c的标准，结构层、表现层、行为层标签都应该完整，建议使用开源程序。如：我的博客使用的wordpress程序。

15、head信息的正确性

网站的三大标签：标题标签(title)、关键词标签(keywords)、描述标签(description)

16、内容的原创性

前面有说到原创的内容一定会被收录，只不过是时间的问题而已，不论哪个搜素引擎，都是喜欢原创的内容，网站内容的原创性直接关系到搜索引擎对你网站的信任度，信任度又可以通过权重这个参考来反应出来，所以，网站内容的原创性是网站优化的重中之重。

17、内容的重复度

转载、或者是采集的文章，页面的文字、页面都和之前页面一样，具有非常高的重复度，那么百度就会计算你和其他网站内容的重复度，搜索引擎是一个喜新厌旧的家伙，如果每次你所发的内容重复度都很高的话，那么渐渐地蜘蛛就会失去对你网站的兴趣。

18、网站的结构

网站结构混乱，内链系统杂乱无章也会导致收录缓慢。比如不同栏目的内容互相做链接，而有的内容链接很多另一些内页链接很少。网站的层次也是一个原因，对于一般的企业站点三层已经足够放置所有的内容，而如果层次太深会影响内页的收录。

版权申明：本站文章均来自网络，如有侵权，请联系01056159998 邮箱：itboby@foxmail.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有