A).从源码中获取数据
B).生成固定格式的数据
C).已有标签组合
A).从源码中获取数据:可精确地设置标签的来源是从默认页的源码、返回头信息和网页地址中,
或者是分页、循环分块、多页中。
其数据提取方式包括:
A.a).前后截取
A.b).正则提取
A.c).正文提取
A.d).Xpath提取
A.e).JSON 提取
B).生成固定格式的数据:可生成固定的字符串、系统时间、随机字符串、随机数字、系统时间戳、随机抽取信息
C).已有标签组合:可通过组合已有的标签,来生成新的标签内容
A.a).前后截取
通过设置开始字符串和结束字符串,来获取中间的字符,可以在开始和结束字符串中设置通配符(*)
A.b).正则提取
支持两种正则,一个纯正则,一个参数正则。
先介绍纯正则,举个例子,
如:前字符串 (?<content>[\s\S]*?)后字符串,这个正则其实效果跟前后截取一样,
如需要获取全部代码,则为^(?<content>[\s\S]*?)$ ,此功能运用需有一定的正则基础。
关于参数正则,是通过参数组合,来生成内容。
比如说要匹配标题为“新用户注册”和作者“神秘嘉宾”,代码如下:
<div class="content">
<h2>新用户注册</h2>
<div id="tools">【作者:神秘嘉宾】【字号:<a href="#" class="fontSize">大</a>
设置如图:
需要获取的字段用参数表示,不需要的字段或空格用星号代替;在组合结果里可以对多个参数进行组合。
A.c).正文提取
注意这种方式只适合格式较为规则的多文字数据提取,例如新闻文章。
它不需要设置复杂的规则,可智能分析提取文章正文,文章标题,以及发布时间。
A.d).Xpath提取
通过Xpath表达式来获取数据,比如//div[@id=’content’],
就是获取id为content的div可指定要获取html节点的属性,
比如 Innerhtml、Outerhtml、Innertext、Href属性。
(注意:这种有一定的局限性,对于部分html标签不规范的页面无法解析。)
A.e).JSON提取
通过对JSON形式的数据格式化操作,写表达式来获取其节点数据。
详细教程后续分解。