该如何搜索蜘蛛、机器人模拟抓取页面

 

搜索蜘蛛的基本原理大家应该都知道，搜索引擎的蜘蛛一般分为两类，这第一类的主要工作就是收集网页的中有效的URL。它们的任务是一刻不停地扫描Internet资源，以随时更新其搜索引擎庞大的url列表以供它的第二类蜘蛛使用。也就是说，当这一类蜘蛛访问我们网页的时候，并不在于索引我们的网页，而是在寻找网页中的所有有效链接。

1.工具功能：可以模拟蜘蛛抓取指定网页，包括Text、Link、Keywords及Description信息等。

2.查询网址：http://www.webconfs.com/search-engine-spider-simulator.php

3.说明：这是国外的一个网站，对GB版的网页中文支持不好，但我们大概能看出蜘蛛在我们网页查找的信息。

---