爬行指的是搜索引擎蜘蛛在已知页面上解析链接指向的url,沿着链接发现新页面的过程,把发现的url存放到待抓取地址库中,蜘蛛按照顺序抓取。
抓取是什么?
抓取指的是搜索引擎蜘蛛从待抓取地址库中提取要抓的url,访问这个url,把读取的html代码存入数据库。蜘蛛的抓取就像浏览器一样打开这个页面,会在服务器原始日志留下记录。
牵引是什么?
牵引指的是将一个url的信息进行整理,存入牵引库,搜索引擎从牵引库中提取url信息并排序展现出来,牵引库是用于搜索的,所以没有被牵引的url用户在搜索结果中是看不到的。
收录是什么?
收录和牵引没有什么区别。只不过收录是从搜索用户角度看,如果搜索是可以找到这个url,那么这个url就被收录了。