众所周知，百度蜘蛛通过跟踪链接登页抓住页面内容。蜘蛛爬上主页需要外部链接，只有蜘蛛爬上主页后沿着内部链接抓住更深的页面内容。在这里要进一步注意的是，为了不离主页太远，必须控制在3~4次。
所以，网站应该要有良好的网站结构，逻辑分明，并且内部链接要形成一个蜘蛛网，提高蜘蛛爬取黏度。从网站编码上来看，要注意避免用js脚本链接、flash中的链接等，因为蜘蛛不识别，无法识别跟踪链接爬行，直接就会造成收录问题。
第二、找到页面后能不能抓取页面内容
当蜘蛛爬上网站时，文章不能顺利地抓取，而网站设计则有很大的关系，具体而言，蜘蛛不喜欢动态URL，所以在网站代码中可以找到URL并可以爬行，最好的建议，网站URL使用静态。
第三、抓取页面后怎样提炼有用信息
按照搜索引擎网站的原则，我们都知道搜索引擎蜘蛛来到你的网站后，抓住页面，索引的第一步就是提取中文，所以把关键词放在页面的最重要位置，即页面的标题是搜索引擎优化的最重要因素，有一些网站描述和文章标题以及其他重要的写。
在网站背景写作的过程中，程序员知道简化代码是很重要的。例如，删除不需要的代码和注释可以使搜索引擎更快、更清楚地了解页面内容，并提取有用的信息。
