当前位置: 南昌seo > 南昌网站优化 >

百度蜘蛛解析

来自:喻老师| 发布时间:2019-03-31 13:21 | 作者:喻老师

百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。大型搜索引擎的蜘蛛肯定不止一个,有很多,也不在同一个地区,会多地区的蜘蛛服务器同时作业。这一块内容只是给大家简单介绍一下,不用刻意去记住。
   蜘蛛抓取网页,在争取抓取尽可能多的网页的前提下,首先要注意的就是避免重复抓取,为此蜘蛛程序一般会建立已抓取列表和待抓取列表,在抓取到一个新页面时,提取该页面上的链接,并把提取到的链接和已抓取到的链接对比,重复的丢弃,如果不重复就放入待抓取的队列末尾。
   这里需要注意一点,蜘蛛对网页的抓取都是单次抓取,就是抓一个带走一个地址和内容,不存在说百度派一个蜘蛛到你的网站然后抓完了把内容带走,也不存在网上说的蜘蛛会陷入一个陷阱出不来了,那只是陷入一个不断产生无实质页面内容的网站,然后无限次抓取,造成蜘蛛陷入陷阱出不来的假象,这个后果就是浪费搜索引擎资源,然后网站被关进小黑屋。

原创文章,严禁转载!一经发现,必究责!如需转载请注明出处:如本文来源:文章网址。