无语网站链接抓取器v20150416

Tags：网站链接抓取器,网站链接抓取

无语网站链接抓取器是一款绿色免费的网站链接采集软件。软件功能强大，可以抓取目标网站所有内页地址，保存为TXT格式。顾名思义，主要是用来抓取网站链接的，也就是输入一个网站的首页地址，然后软件可以把整个网站页面地址给抓取下来并保存。

功能特点

1、抓取目标网站的所有网页地址。
2、自行设置线程数，以达到最高效率。
3、按设置条数自动分割、保存为TXT。

软件功能

一、制作网站地图

使用软件保存的TXT。直接上传到网站根目录就可以成为一个简单的TXT网站地图。

制作成网站地图后，可到 http://zhanzhang.baidu.com/sitemap/index 进行提交，以增加收录。

二、手动提交网址

可以把软件抓取下来的链接自己进行提交，增加蜘蛛的爬取频率，从而增加收录量。可配合本站的“百度URL批量提交工具”一起使用。

三、检查失误

所谓的失误，是指某些后台链接。不想让用户知道的。但是由于不小心在程序的某个地方有该网页的链接自己没注意到。这时候就可以使用软件把整个网站的链接抓取下来。然后检查看看有没有敏感链接。

四、检查收录

可以查看一下百度对本站的索引量。然后使用软件把网站的所有链接都抓取下来。看看数量上的差距是否比较大。如果差距过大，则要注意是否空间不稳定或者文章质量太低或者暴光率太低。

使用方法

1、输入需要抓取的网站首页地址。

2、设置线程数量。（线程越少，速度越慢，耗CPU及网速越低，越不容易漏掉链接。线程越多，速度越快，耗CPU及网速越高，漏抓取机率高。）

3、选择抓取后的链接保存地址。（注：如果选择的TXT名称为 abc.txt的话。软件会保存为 abc_*.txt 的形式）

4、选择每个TXT保存的条数。（以第3条举例，如果这里设置为5000，当abc_1.txt保存的链接数到达5000，后面的链接会自动保存到abc_2.txt里，依此类推。）

5、开始

更新日记

解决某些网站抓取失败的问题