桐庐SEO工作者对于搜索引擎蜘蛛的知识应了解的蜘蛛工作原理：蜘蛛在浏览网站的时候，首先会去看网站里的机器人文本文件。要是这里面设置了一些不让蜘蛛抓取的东西，那么蜘蛛就会根据协议，不去抓取这部分内容网址。蜘蛛有自己的代理名字，站长能从日志里看到他们不一样的名字，这样子能够将其进行分辨。搜索引擎标识中下面的几个名字很常见：

Baiduspider+……

……compatible；Yahoo!……

msnbot-academic：……

想让蜘蛛能抓更多的东西，就需要跟踪链接，一个页面到另一个。酷似真正的蜘蛛在网上面爬行一样，所以得名“蜘蛛”。

所有的网址全是相互链接形成的，理论上的蜘蛛从每一个页面都能爬向所有页。可这些页面不是一个简单的组合体，蜘蛛得通过它特定的爬行战略方式才能到达每一个页面。

桐庐SEO需要研究蜘蛛的爬行：其中的两种爬行不太复杂，广度、深度优先。若a是一个网址，a1、b1、c1是她能访问到的下一个链接，其中深度优先是蜘蛛根据看到的链接一直往前，等到没有链接可以往前爬行了就从头一个页面再从另一个链接爬行。即从a→a1→a2→a3→a4→a5→a6；a→b1→b2→b3→b4→b5→b6……等到第二层1爬完就开始爬第三层2的链接，一直把所有的链接都爬完。

而广度优先是从a→a1→b1→c1；a1→a2→a3→a4。先把a能连接的页面都访问完，再从a链接的下一个页面a1开始把a1链接的所有页面都访问完。这两种简单的访问方式，要是时间允许，蜘蛛用这两种方式分别都能够将网页浏览完。现实中这两种方式是一起使用，就可以为更多的网站服务，能浏览到更多的网站和网站里面的内容。

所以，就算是蜘蛛可以将一切页面爬行完，但是也不会这样子做。所以网站优化工作人员想把自己的网站收录更多内容，就要用一定策略吸引蜘蛛进行抓取。因为不可以每一个页面都能够抓取的到，所以蜘蛛会选择抓重要的内容。搜索引擎蜘蛛标识及爬行原理这篇已经写了出来，而蜘蛛认为重要的内容是怎样的呢，下一篇再详细讲一讲这方面的内容，敬请期待。