小矿网页机器人v1.0.1.0官方版

Tags：小矿网页机器人,采集

小矿网页机器人是一款强大的专业数据采集器,通过用户自定义配置，可快捷的将网页数据结构化存储到本地，并可输出到数据库、发布到网站。采集软件可应用于数据挖掘、垂直搜索引擎、网站信息聚合、企业口碑监测、舆情信息监测等领域，针对大数据采集，提供分布式采集应用，是一款值得您信赖的数据采集利器！

软件特征：

所见即所得

无需关注技术，无需复杂的设置，所有操作均在浏览器中操作。看到的即可采集到，当然，Flash同样无法采集。

自动化网页操作

通过设置规则，系统可完全模拟人工进行自动化网页操作，登录、鼠标滚动、输入、选择等均不在话下。

傻瓜化配置

传统的采集器都需要对网页结构进行分析，但小矿不需要，点点鼠标即可完成配置，开启您的操作之旅吧！

软件功能：

支持常用采集功能：导航（级别不限）、网页解码、url编码、压缩采集、下载图片、翻页文章正文自动合并；

支持可视化配置、规则配置助手，可有效辅助用户进行规则配置；

支持采集数据发布至文件【支持CSV、Excel、Word】、网站、数据库【数据库支持：Access、Mysql、SqlServer】；

支持常用的数据清洗规则，包括自动去除网页代码、编码解码、字符串替换等操作；

支持常用采集策略，代理采集、错误重试等；

支持复杂采集规则配置，支持多页采集，导航页数据采集，自动下载正文图片，复杂结构数据轻松采集；

支持网址排重，错误出错排重控制，可有效提升您的采集效率；

支持采集延时控制、CSRF Token获取、代理轮询等多种采集策略；

支持字典参数、数据库网址参数提取、直接入库，轻松应对批量数据采集；

支持更多的数据清洗规则；

支持数据排重，支持更复杂的采集需求，可灵活构建更加复杂的采集规则，最终输出符合用户要求的数据结构；

支持网络雷达，实现自动化数据监控，并通过邮件进行提醒，轻松构建竞价、舆情监控应用；

支持插件，可扩展属于自己的采集功能，自定义数据清洗、数据发布、系统集成，灵活应用；

支持反屏蔽检测，自动打码，支持更加复杂的采集执行策略，让采集真正无忧；

支持线程资源独立设置，可针对单任务多线程中的每个线程独立设置Cookie、代理等，一台变多台；

提供专有的采集服务引擎，支持7×24小时不间断采集，搭建一个属于自己的云采集试试吧；

远程管理，不受地域限制，随时随地管理采集；

企业级大数据采集专用，真正适合大数据采集应用；

可根据用户实际需求，提供采集方案，以更适合企业自身应用；

可根据用户实际需求，提供二次定制开发；