火车头采集器功能技巧

火车头采集器是一款非常好用的网络爬虫工具，利用VisualC＃编写产品，专门用于网络数据采集.分析.加工.挖掘。环境友好、安装方便，主要用于网络数据处理，可快速、灵活地抓取网页上大量的非结构化文本。火车头集集提供一站式、高效率的采集服务，支持多种类型的数据库，通过一系列分析处理方法，实现多线程采集。精益求精地挖掘所需数据，其强大的识别系统，积累了大量的用户并获得了良好的口碑，能够准确地识别各种编码文字，能够满足各种数据处理的需求。

火车头采集器功能技巧图1

火车头采集器功能技巧图2

1.组建新小组。

请选择要加入的组、新建任务分组、确定组名称和标记。

2.安排新工作。

新建任务，决定要加入的组，填写任务名，然后保存。

3.Web发布配置。

决定要登录的网站，并向网站提交数据。包含站点编码设置，登录信息获取，获得栏目列表等。

4.因特网发布单位。

获取列表项，可以定义网站的登录，获取网页随机值，内容发布参数，构建发布数据等高级功能。

5.数据库分发架构。

用于数据库连接信息和数据库模块的设置。

6.数据库分发单元。

在对数据库进行编辑时，列车采集器可以选择四种数据库类型，方便我们将数据发布到配置数据库中。把sql语句加载到采集器模块文件夹，然后将sql语句填充到文本输入框中。

7.制定任务。

设置收集任务的启动计划，保存设置后，任务就可以根据设置执行。

8.插件的管理。

这个插件是可以用来扩展列车采集功能的程序，它支持三个插件，可以扩展http请求，并可以单独测试。

9.http二级代理。

可以让网络用户得到需要的网络信息。能突破自己ip的访问限制，访问国外网站，访问部分单位或团队内部资源。

火车头采集器功能技巧图3

火车头收集器使用技巧

首先获取规则制作，设置开始的Web地址，点击添加向导，将出现以下界面。

批量网址可采用三种方式：普通网站、文本导入。

火车头采集器功能技巧图4

1.普通网址：网站不作任何解析，直接加入到网站中。

2.批量网址：以通用表达式，批量生成网址。

3.文本导入：网址是一行文本的一行文本。

要转换原始数据库请勾选转换内容库，否则数据库内容将被清空。