火车采集器软件术语详细介绍(2)

需要另外打开一个新的页面才能采集到这些信息，这些另外打开的页面则称为多页。

14.网页编码
是在网页中指定其特定字符编码格式的库，例如一般在网页中都要有如下一句：
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">，
这样的字句指示此网页的字符集编码是GB2312。
火车采集器对一般的网页可以做到自动识别，
也罗列出了大部分的网页编码格式,可以直接在采集器中手动选择指定相应的编码格式。

15.代理
是指网络中的代理服务器，可以代理网络用户去取得所需要的网络信息。
代理的功能有可以突破自身ip的访问限制访问国外站点，
访问一些单位或团体内部资源，突破电信的ip封锁和隐藏真实的ip等。

16.插件
在火车采集器，插件是指可以对采集到的数据进行特定处理的一个外部程序，
编写好插件后，采集器可以把数据传递给插件，然后对数据进行处理，再把数据传给采集器。
（可自行开发，也可联系客服定制。）

17.Cron表达式
在火车采集器计划任务管理器的设置中，可以设置完整的cron表达式来表示对任务的计划执行。
它是一个由6或7个子表达式组成的字符串。每一个表达式代表一个域，
每个域描述了一个单独的日程细节且每个域之间使用空格分隔，它由两种格式组成。
Seconds Minutes Hours DayofMonth Month DayofWeek Year
Seconds Minutes Hours DayofMonth Month DayofWeek
一个Cron表达式至少有6或7个有空格分隔的时间元素，每个时间元素都使用数字，但还可以出现如下特殊字符，他们的含义分别表示：
1.Seconds 秒 (允许值为0-59，允许的特殊符号，- * /)
2.Minutes 分钟 (允许值为0-59，允许的特殊符号，- * /)
3.Hours 小时 (允许值为0-23，允许的特殊符号，- * /)
4.Day-of-Month 月中的天 (允许值为1-31，允许的特殊符号，- * / ? L W C)
5.Month 月 (允许值为1-12或者JAN-DEC，允许的特殊符号，- * /)
6.Day-of-Week 周中的天 (允许值为1-7或者SUN-SAT，允许的特殊符号，- * / ? L C #)
7.Year (optional field) 年（可选的域，允许值为留空或者1970-2099，允许的特殊符号，- * /）
特殊字符含义：
(1) * 表示该域的任意值。如在Minutes域使用，即表示每分钟都会触发事件。
(2) ? 只能用在DayofMonth和DayofWeek两个域。实际上不会匹配域的任意值，因为DayofMonth和DayofWeek会相互影响。如想在 每月的20日触发调度，不管20日是周几，则只能使用如下写法：13 13 15 20 * ?，其中最后一位只能用?，而不能用，如果使用*表示每月的20号15时13分13秒不管是周几都会触发，实际上不是的。
(3) – 表示范围，如在Minutes域中使用5-20，表示5到20分钟每分钟触发一次
(4) / 表示起始时间开始触发，然后每隔固定时间触发一次。如在Minutes域中使用5/20，表示从分钟数5开始每隔20分钟触发一次，结果25,45,05等分别触发一次。
(5) ， 表示列出枚举值。如在Minutes域中使用5,20，则表示5分钟和20分钟每分钟触发一次。
(6) L 表示最后，只能出现在DayofMonth和DayofWeek域。
(7) W 表示有效工作日（周一到周五），只能出现在DayofMonth域中，系统将在离指定日期最近的有效工作日触发事件。另外，W的最近寻找不会跨过月份。
(8) # 用于确定每个月第几个星期几，只能出现在DayofMonth域中。如4#2表示某月的第二个星期四。
完整的corn表达式如0 15 08 ? * MON-FRI 表示每周一到周五的早上8点15分开始定时更新数据。

18.任务网址库
采集器在文件夹DataLocoySpiderPageUrl下，
该站点下的每一个任务都会生成一个独立或公用的网址库用来对比网址重复之用。

19.HTTP请求
浏览器打开网页时实际就是发送一个又一个Http请求，
火车采集器也一样，从指定的地址获取内容的过程就是发送Http请求，然后对根据请求得到的内容进行处理。
当浏览器向web服务器发送请求时，它向服务器传递了一个数据块，也就是请求信息。
Http请求信息由3部分组成：请求方法URI协议/版本，请求头（Request Header）和请求正文。

<上一页12