2. 中国科学技术大学 合肥物质研究院, 合肥 230027
2. Hefei Institute of Physical Science, University of Science and Technology of China, Hefei Anhui 230027, China
随着互联网的快速发展,目前已有超过30000家的涉农电商平台[1],如阿里巴巴农业频道、中国惠农网、顺丰优选等,这些网站每天会发布大量种植业、林木花卉、农机、农具等各类涉农商品信息。通过对这些供求信息的分析,有助于预测农产品市场趋势、及时发现买难卖难、促进供求自动对接。然而,对这些涉农供求信息分析之前首先需要对涉农商品名称与类别进行抽取。如“厂家直销 两行玉米播种机 免剥皮玉米脱粒机”这条供求信息中,需要抽取出“玉米播种机”和“玉米脱粒机”这两个涉农商品名称,同时类别标注为农业机械类。这样,就可以对一段时间内、不同地域的农业机械类的供求情况进行趋势分析。
涉农商品名称自动抽取与类别标注主要涉及农业领域术语自动抽取,包括基于规则与基于统计两种方法。基于规则方法依赖于语言和领域规则模板的建立[2],需要人工编制大量规则和有经验的领域专家,系统可移植性差。基于统计的方法分为经典的统计方法和统计机器学习方法。经典的统计方法主要基于词频、互信息以及信息熵等。Guan等[3]利用关联规则、C-value和词频-逆向文件频率(Term Frequency-Inverse Document Frequency,TF-IDF)混合算法提取中国戏曲领域的专业术语。该方法克服了基于规则的缺点,但低频术语通常不能被有效提取。统计机器学习方法中,最具代表性的为条件随机场(Conditional Random Field,CRF)[4-7],利用序列标注的思想,融合上下文多特征提取领域术语。由于其条件独立性,只需考虑当前已经出现的观测状态特性,对于整个序列内部的信息和外部观测信息均可有效利用,避免了标记偏置问题,被广泛应用。孟洪宇[8]通过CRF融合字符本身、词性、词边界等多特征提取中医术语,F值达到75.56%。Zhan等[9]利用两层CRF提取简单和复杂的术语,并通过领域相关性和一致性提取最终领域术语,F值为82.01%。
传统CRF需要大规模的训练语料[10-12]。针对涉农商品名称抽取与类别标注,由于涉农商品名称繁多,人工标注工作量大。如“玉米收割机”进行了标注,但当遇到“小麦收割机”时,如果样本没有标注,依然不能正确抽取,影响了抽取的精确率。而事实上,如果将“玉米”“小麦”的父类概念“粮油作物”作为CRF的一项特征,可实现由“玉米收割机”抽取出新词“小麦收割机”。因此为实现对属于同一概念的大量新词(指未在样本中标注的词)进行有效抽取,文中将农业本体与CRF相结合,引入词所对应的本体概念作为CRF的特征,赋予涉农商品名称以语义知识,同时结合词、词性、地理位置特征进行CRF训练,最终实现涉农商品名称的抽取与类别标注。通过学习样本,CRF模型表现出一定的“推理”能力,如将概念为粮油作物和收获机械的相邻实例词作为一个涉农商品名称抽取,类别识别为农业机械类,概念为生鲜水果和农作物种子种苗的相邻实例词抽取为种植业类的涉农商品名称等;并将CRF与隐马尔可夫模型(Hidden Markov Model,HMM)、最大熵马尔可夫模型(Maximum Entropy Markov Model,MEMM)进行比较,同时用于农产品供求趋势的分析。表明农业本体与CRF相结合进行涉农商品名称抽取与类别标注方法的有效性。
1 农业本体与CRF 1.1 农业本体本体是关于概念体系的明确的、形式化的规范说明[13],农业本体是专业性的本体,表示的知识都是针对农业学科领域,提供了关于该领域中概念的词表以及概念之间的关系[14-15]。
概念层次是本体的骨架,主要反映概念之间的父类子类关系。文中使用阿里巴巴农业(https://www.1688.com/)概念层次体系,结构如图 1所示,该分类体系有4个层次,包括218个叶子节点,目前已有超过170万个农业供求信息映射到该分类体系中,因此基本可以涵盖各种农产品供求类型,具有很强的覆盖性。利用本体中的父子类概念知识表示词所对应的概念,赋予词以语义。生鲜水果作为苹果、草莓的父类概念,可用生鲜水果描述苹果、草莓;种植业作为生鲜水果、农作物种子种苗的父类概念,使用种植业来描述生鲜水果、农作物种子种苗,也可使用种植业来描述苹果、草莓、蔬菜种子种苗等,进一步增强知识泛化能力。
CRF是用来标注和划分序列结构数据的概率化的无向图模型[4],具有表达元素长距离依赖性和交叠性特征的能力,在模型中可包含众多领域知识[16]。
1.2.1 CRF模型对于给定的输出标记序列y=(y1,y2,…,yn)和输入观察序列x=(x1,x2,…,xn),CRF通过定义条件概念p(y|x,λ)来描述模型。图 2表示CRF链式结构。
CRF定义的条件概率公式为:
$p(\mathbf{y}|\mathbf{x},\mathbf{\lambda })=\frac{1}{Z(\mathbf{x})}\exp \left( \sum\limits_{i=1}^{n}{\sum\limits_{j}{{{\lambda }_{j}}\cdot {{f}_{j}}({{y}_{i-1}},{{y}_{i}},\mathbf{x},i)}} \right)$ | (1) |
其中:x为观察序列;y为标记序列;λ=(λ1,λ2,…,λn)为权重向量;λj为特征函数的权重; fj(yi-1,yi,x,i)为对应整个观察序列x,标记位于i和i-1的特征函数;分母Z(x)为归一化因子(保证所有可能的状态序列概率之和为1) ,公式如下:
$Z(\mathbf{x})=\sum\limits_{\mathbf{y}}{\exp \left( \sum\limits_{i=1}^{n}{\sum\limits_{j}{{{\lambda }_{j}}\cdot {{f}_{j}}({{y}_{i-1}},{{y}_{i}},\mathbf{x},i)}} \right)}$ | (2) |
CRF的参数训练过程是在训练数据集上基于对数似然函数的最大化进行[17-18],设一个标注过的数据序列集D={(x1,y1),(x2,y2),…,(xn,yn)},$\tilde{p}(\mathbf{x},\mathbf{y})$为训练样本中(x,y)的经验概率,$\tilde{p}(\mathbf{x})$为随机变量(观察序列)x在训练样本中的经验分布,ln Z(x)表示Z(x)的以e为底的自然对数函数,则CRF模型中的极大似然函数为:
$L\mathbf{\lambda }\text{=}\sum\limits_{\mathbf{x},\mathbf{y}}{\tilde{p}(\mathbf{x},\mathbf{y})\sum\limits_{i=1}^{n}{\left( \sum\limits_{j}{{{\lambda }_{j}}\cdot {{f}_{j}}({{y}_{i-1}},{{y}_{i}},\mathbf{x},i)} \right)}}-\sum\limits_{\mathbf{x}}{\tilde{p}(\mathbf{x})\ln Z(\mathbf{x})}$ | (3) |
对λj求导:
$\begin{align} & \frac{\partial L\mathbf{\lambda }}{{{\lambda }_{j}}}\text{=}\sum\limits_{\mathbf{x},\mathbf{y}}{\tilde{p}(\mathbf{x},\mathbf{y})\sum\limits_{i=1}^{n}{{{f}_{j}}}}({{y}_{i-1}},{{y}_{i}},\mathbf{x})- \\ & \sum\limits_{\mathbf{x},\mathbf{y}}{{\tilde{p}}}(\mathbf{x})p(\mathbf{y}|\mathbf{x},\mathbf{\lambda })\sum\limits_{i=1}^{n}{{{f}_{j}}({{y}_{i-1}},{{y}_{i}},\mathbf{x})} \\ & ={{E}_{\tilde{p}(\mathbf{x},\mathbf{y})}}\left[ {{f}_{j}}(\mathbf{x},\mathbf{y}) \right]-\sum\limits_{k}{{{E}_{p(\mathbf{y}|{{x}_{k}},\mathbf{\lambda })}}}\left[ {{f}_{j}}({{x}_{k}},\mathbf{y}) \right] \\ \end{align}$ | (4) |
E(x,y)[fj(x,y)]、Ep(y|xk,λ)[fj(xk,y)]分别表示经验分布和模型分布中特征的期望值;令式(4) 等于0,求λ。
由于改进的拟牛顿算法(Limited Broyden-Fletcher-Goldfarb-Shanno,L-BFGS)只保存并利用近几次迭代(迭代次数由使用者控制)的曲率信息来构造海森矩阵的近似矩阵,每次迭代的开销小,执行速度快,能保证近似矩阵的正定,算法的鲁棒性强[19]。本文选取L-BFGS算法估计似然参数λ。
1.2.3 解码问题对于x来说,CRF要做的就是搜索概率最大的y*,即求解式(5) :
${{\mathbf{y}}^{*}}=\arg \underset{\mathbf{y}}{\mathop{\max }}\,p(\mathbf{y}|\mathbf{x},\mathbf{\lambda })$ | (5) |
该式可通过维特比动态规划算法[4]进行计算,对状态序列作出最优估计。
模型的具体实现中,使用了Taku开发的CRF++-0.58工具包[20],该工具包支持自定义特征集,可输出所有候选的边际概率值,含训练参数时的L-BFGS算法以及解码时的维特比算法,可被应用到各种各样的自然语言处理任务中。实验在64位Windows 7下,装有Java、C++编译环境进行,其他配置为Intel Pentium P6200,2.13 GHz,2.00 GB RAM。
2 数据集和特征选择 2.1 数据集数据集选自构建农业本体时使用的阿里巴巴网,从中抽取标题数据,包括七大类:种植业、园林业、养殖业、化肥、农业用具、农业机械及鲜活水产品加工制品,覆盖了该网站中近90%的农产品信息,每类500条。
在转换原始语料格式,构造标准的数据集时,利用基于开源HanLp自然语言处理包[21]的CRF分词。分词得到词和词性,并去除停用词,如“阿里巴巴”“淘宝”“顺丰”“包邮”等。如“大量供应优质红小麦”CRF分词后为“大量/m,供应/vn,优质/b,红小麦/nz”,首先利用Java程序经过“,”分隔,得到每个词的词和词性组合,再经由“/”分隔,即可转换为符合CRF++-0.58工具包的输入格式。因涉农商品名称很多由三个及以上词组成,选取5词位标注法,以词为单位进行序列标注,标注符号集为(B,M,E,S,O),为实现类别标注,添加符号集(Z,L,YZ,H,Y,J,X)作为序列标注符号的后缀,各个符号含义如表 1所示。如涉农商品名称为“玉米小麦播种机”农业机械类中,标注为玉米(B-J)小麦(M-J)播种机(E-J)。
2.2 特征选择CRF标注算法中,特征选择以及特征函数的定义至关重要,直接关系到模型的性能。CRF模型的特征一般分为三类[22]:原子特征、复合特征以及全局变量特征,针对不同语料,选取的特征不同。选取词Word、词性(Part-Of-Speech,POS)、地理属性和农业本体概念作为特征。构建特征模板时,使用了对应的原子特征和复合特征,上下文特征窗口为5。
由于涉农商品名称具有领域性,有些词只在本领域流通,故词本身包含了最有效的信息,可作为特征。如“拖拉机”“玉米渣”“叶面肥”可作为农业领域的商品名称。
2.2.2 词性词性特征指当前字符的词性,是涉农商品名称的一个重要特征,一般而言涉农商品名称为名词,复合名词,还包括部分动词。如“麦麸/n”“狼/n青犬/nz”“麦秆/n捡拾/v打捆机/n”可作为涉农商品名称。
2.2.3 地理属性涉农商品名称中有些涉及到地理属性,如“山东开沟机”“河南特产玉米”“黑龙江大豆”。对于这类数据,应将其地理属性抽取出来,分词后词性标注为“ns”的表示地名,因此可很方便地将地理属性作为特征加入到CRF中。
2.2.4 农业本体概念选取词在农业本体中所对应的概念作为CRF的一项特征,将词进行泛化,利用概念知识表示实例词,使词具有语义。共使用2种本体概念,一种是实例词在农业本体概念层次树中对应的叶子节点概念,特征表示为F0;另一种是实例词在本体中对应的上层概念,在此指去除叶子节点和根节点后所对应的概念,特征用F1表示。文中使用的农业本体概念如表 2所示。如“菠萝莓”对应的叶子节点概念为“草莓”,对应的上层概念为“生鲜水果”和“种植业”。
词所对应的农业本体概念通过维护领域词典实现。而中国搜农网供求搜索栏目(http://www.sounong.net/)共搜集全国1万多个农业网站,拥有超过3万条农产品信息,实现了农产品到类别的映射,将该知识与阿里巴巴分类体系建立联系,实现涉农商品名称到概念的映射,降低人工维护领域词典的代价,提高自动化程度。图 3表示词所对应的本体概念标注实现流程。
涉农商品名称抽取与类别标注的结果评价使用3个指标:准确率P、召回率R和F-值[23],公式表示如下:
$准确率(P)\text{=}\frac{正确的名称数}{抽取的名次总数}\times 100%$ | (6) |
$召回率(R)\text{=}\frac{正确的名称数}{标准结果中名称总数}\times 100%$ | (7) |
$F\text{=}\frac{2\times P\times R}{P+R}\times 100%$ | (8) |
选取数据集中70%为训练数据,30%为测试数据,实现开放测试。实验分为4组,每组包括7大类,即种植业、园林业、养殖业、化肥、农业用具、农业机械和鲜活水产品加工制品。第1组选取词Word、词性POS、地理属性作为特征;第2组在前组的基础上,加入词在农业本体概念层次树中对应的叶子节点概念特征F0;第3组基于第一组实验的特征,直接加入词在农业本体中对应的上层概念特征F1;第4组在第3组实验特征基础上,添加特征F0。实验总体流程如图 4所示。
实验结果如表 3所示,在第1组特征基础上,加入本体中对应的叶子节点特征F0,总的准确率P和召回率R上升;加入本体中上层概念特征F1,总体召回率大幅度地上升;同时使用F0和F1特征,准确率P高的同时也保证了召回率R高,总体F值达到92.32%,其中类别标记为化肥类的F值最高96.00%,园林业类的F值最低87.50%,表明基于本体与CRF相结合进行涉农商品名称的抽取与类别标注的方法是有效的。
第1组实验错误主要有:名词组合“广西/ns产地亚/nz热带/n”“天山/ns牌/n”“上海/ns强力/n”“荷兰/ns 十五/nz”等提取为术语;“花卉/n”“磷肥/n”“滴灌管/n”“鲍鱼汁/nz”等未被正确识别;“玉米/nf./nz小麦/n”“现货/n鸵鸟蛋/nf”“爆款/nz低价/n香蕉/nf”“高产量/nz玉米/nf收割机/n”等作为一个整体抽取出来;养殖业、农业机械类的涉农商品名称如“比利时野兔”“山东开沟机”等错误抽取为种植业类。在大量新的涉农商品名称未被有效抽取与分类的前提下,保证准确率高,但召回率低,总体F值为68.30%。
第2组实验中,加入词在农业本体概念层次树中对应的叶子节点概念特征F0,减少了错误分类的概率,可将第1组实验中错误分类的部分名称正确抽取分类;同时削弱词Word、词性POS特征的权重,降低了将非涉农商品名称的名词组合错误识别为涉农商品名称的比率,但泛化能力较弱,对于新的涉农商品名称抽取与分类能力很差,准确率和召回率得到提升,总体F值为72.71%。
第3组直接使用农业本体中的上层概念特征F1,赋予词以概念知识,大大增强泛化程度,抽取出“菠萝”“浇花喷壶”“芝麻香油机”“鱿鱼干”等新词。通过学习样本,CRF模型表现出一定的“推理”能力,如将概念为生鲜水果的单独实例词抽取为种植业类的涉农商品名称,概念为粮油作物和种植机械的相邻实例词抽取为农业机械类的涉农商品名称等。最终召回率大幅度提升,总体F值达到90.64%。
第4组综合第2,3组实验的特征,使用更详细的特征和特征模板,准确率和召回率有所提升,总体F值为92.32%。其中园林业、养殖业类的F值与其他5类相比较低,主要是由于分词错误影响较大以及地理属性未被有效抽取,如将“樟子松木”分词为“樟子/n松木/n”,“河北小猪”抽取出“小猪”。表 4列出了抽取的部分涉农商品名称以及标注的类别。
利用相同的数据集,选取上述第1组实验中词、词性、地理属性作为特征,分别利用CRF和HMM、MEMM完成开放测试,其中后两种算法采用机器学习语言工具包(MAchine Learning for LanguagE Toolkit,MALLET)[24]实现,MALLET是用于文本分类、主题建模和序列标注等的Java工具包,实验结果如表 5。
实验显示,CRF的性能优于HMM、MEMM。主要由于HMM为产生式模型,具有严格的输出独立性假设,不能充分利用上下文多特征信息,对于由3个及以上的词组成的涉农商品名称抽取效率差,如将“玉米小麦收割机”抽取为两个涉农商品名称“玉米”“小麦收割机”,容易出现类别识别错误;MEMM克服了HMM的缺点,但使用每一个状态的指数模型来计算给定前一个状态下当前状态的条件概率,容易陷入局部最优,存在标注偏置的问题;而CRF在所有特征上进行全局归一化,能得到全局最优解,避免了MEMM缺点。因此文中选取CRF抽取涉农商品名称与类别标注是有效的。
3.4 基于本体与CRF的农产品供求趋势分析涉农商品名称及类别标注的有效抽取,不仅有助于促进农业供求交易的智能对接,而且可用于农业供求趋势分析,了解市场动态。利用中国搜农网供求搜索栏目抓取的网站数据作为原始数据,通过第4组实验的方法,抽取涉农商品名称及分类,图 5(a)~5(d)表示2016年5月3日到6月6日连续5周内的供应求购趋势。由图 5可知,四川省种植业类的商品求购量高于湖北省,两省在第5周都有大幅度的上升;河北省农业机械类的农产品周供应量较为平稳,而山东省在第5周时上升幅度大,达到591;山东省养殖业类的供应量远高于江苏省,而园林业的供应量则低于江苏省,反映出各地区农产品供应的差异性。根据这些供应求购趋势信息,买卖双方可依据地理位置,来选择适合的产品,更好地促成实时交易,如山东省的客户想购买玉米剥壳机,通过供应趋势图,则可就近选择较好的相关产品,给购买者提供方便。
本文基于农业本体与条件随机场CRF相结合抽取涉农商品名称实现类别标记,在词、词性和地理属性特征基础上,自动添加词所对应的农业本体概念特征,对实例名称进行不同程度的泛化,赋予词以语义和概念知识。通过实验,在一定范围内,泛化程度越高,CRF模型表现出的“推理”能力越强,可有效地抽取测试语料中首次出现的涉农商品名称并分类,在准确率高的前提下,也保证了召回率,大量减少训练语料,降低人工工作量,与HMM、MEMM比较,体现出CRF的性能更优,并将此方法用于农产品供求趋势分析,可了解市场动态。原始语料以及分词工具的选取直接关系到CRF模型的性能,在今后的研究工作中,一方面将进行分词方法改进,选取不同的训练语料,进行CRF涉农商品名称抽取研究,进一步提升准确率和召回率,另一方面尝试从降低算法的复杂度入手,提高效率。
[1] | 于连军. 基于互联网+的农业电子商务发展模式的研究[J]. 农业网络信息, 2015 (11) : 19-21. ( YU L J. Research on the development model of agricultural E-commerce based on Internet+[J]. Agriculture Network Information, 2015 (11) : 19-21. ) |
[2] | LI L S, DAND Y Z, ZHANG J, et al. Domain term extraction based on conditional random fields combined with active learning strategy[J]. Journal of Information & Computational Science, 2012, 9 (7) : 1931-1940. |
[3] | GUAN A Q, WANG Y B, YANG L F. Automatic term extraction for Chinese opera domain ontology[C]//Proceedings of the 12th International Conference on Fuzzy Systems and Knowledge Discovery. Piscataway, NJ:IEEE, 2015:1372-1376. |
[4] | 宗成庆. 统计自然语言处理[M]. 2版.北京: 清华大学出版社, 2013 : 110 -128. ( ZONG C Q. Statistical Natural Language Processing[M]. 2nd ed. Beijing: Tsinghua University Press, 2013 : 110 -128. ) |
[5] | WALLACH H M. Conditional random fields:an introduction, technical report MS-CIS-04-21[R]. Philadelphia, PA:University of Pennsylvania, 2004:262-272. |
[6] | FU W J, LI L. A method and application of automatic term extraction using conditional random fields[C]//Proceedings of the 2009 International Conference on Natural Language Processing and Knowledge Engineering. Piscataway, NJ:IEEE, 2009:1-5. |
[7] | ZHANG C Z, WANG H L, LIU Y, et al. Automatic keyword extraction from documents using conditional random fields[J]. Journal of Computational Information System, 2008, 4 (3) : 1169-1180. |
[8] | 孟洪宇.基于条件随机场的[WW)]《[WW(]伤寒论[WW)]》[WW(]中医术语自动识别[D].北京:北京中医药大学,2014:41-48. ( MENG H Y. Automatic identification of TCM terminology in Shanghan Lun based on conditional random field[D]. Beijing:Beijing University of Chinese Medicine, 2014:41-48. ) |
[9] | ZHAN Q, WANG C H. A Hybrid strategy for Chinese domain-specific terminology extraction[C]//Proceedings of the 11th International Conference on Semantics, Knowledge and Grids. Piscataway, NJ:IEEE, 2015:217-221. |
[10] | 王春雨.基于CRF的农业命名实体识别研究[D].保定:河北农业大学,2014:19-23. ( WANG C Y. Study on recognition of Chinese agricultural named entity with CRF[D]. Baoding:Agricultural University of Hebei, 2014:19-23. ) |
[11] | CAO Y S, WANG J, LI L. Word-level information extraction from science and technology announcements corpus based on CRF[C]//Proceedings of the 2nd IEEE International Conference on Cloud Computing and Intelligence Systems. Piscataway, NJ:IEEE, 2012:1529-1533. |
[12] | IZUMI M, MIURA T, SHIOYA I. Estimating the date of blog authors by CRF[C]//Proceedings of the 2007 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing. Piscataway, NJ:IEEE, 2007:249-252. |
[13] | GRUBER T R. A translation approach to portable ontology specifications[J]. Knowledge Acquisition, 1993, 5 (2) : 199-220. doi: 10.1006/knac.1993.1008 |
[14] | 李传席.基于本体的自适应Web信息抽取方法研究[D].合肥:中国科学技术大学,2012:15-17. ( LI C X. Adaptive Web information extraction method research based on ontology[D]. Hefei:University of Science and Technology of China, 2012:15-17. ) |
[15] | LIU X G, DUAN X H, ZHANG H Y. Application of ontology in classification of agricultural information[C]//Proceedings of the 2012 IEEE Symposium on Robotics and Applications. Piscataway, NJ:IEEE, 2012:451-454. |
[16] | 周晶, 吴军华, 陈佳, 等. 基于条件随机域CRF模型的文本信息抽取[J]. 计算机工程与设计, 2008, 29 (23) : 6094-6097. ( ZHOU J, WU J H, CHEN J, et al. Using conditional random fields model for text information extraction[J]. Computer Engineering and Design, 2008, 29 (23) : 6094-6097. ) |
[17] | LAFFERTY J, MCCALLUM A, PEREIRA F. Conditional random fields:probabilistic models for segmenting and labeling sequence data[C]//Proceedings of the 18th International Conference on Machine Learning. San Francisco, CA:Morgan Kaufmann, 2001:282-289. |
[18] | Sunfox66.条件随机场详解[EB/OL]. (2015-10-25)[2016-01-17] . http://wenku.baidu.com/view/bbd57f82fc4ffe473268ab59.html. ( Sunfox66. Conditional random field introduction[EB/OL]. (2015-10-25)[2016-01-17] . http://wenku.baidu.com/view/bbd57f82fc4ffe473268ab59.html. ) |
[19] | LIU D, NOCEDAL J. On the limited memory BFGS method for large scale optimization[J]. Mathematical Programming, 1989, 45 (45) : 503-528. |
[20] | TAKU K. CRF++ toolkit[EB/OL]. (2014-10-15)[2016-01-15] . http://download.csdn.net/detail/linson3344/8039087. |
[21] | HANKCS. Han language processing[EB/OL]. (2015-03-27)[2016-01-28] . http://www.hankcs.com/nlp/hanlp.html. |
[22] | 施水才, 王锴, 韩艳铧, 等. 基于条件随机场的领域术语识别研究[J]. 计算机工程与应用, 2013, 49 (10) : 147-149. ( SHI S C, WANG K, HAN Y H, et al. Terminology recognition based on conditional random fields[J]. Computer Engineering and Applications, 2013, 49 (10) : 147-149. ) |
[23] | 贾美英, 杨炳儒, 郑德权, 等. 采用CRF技术的军事情报术语自动抽取研究[J]. 计算机工程与应用, 2009, 45 (32) : 126-129. ( JIA M Y, YANG B R, ZHENG D Q, et al. Research on automatic military intelligence term extraction using CRF model[J]. Computer Engineering and Applications, 2009, 45 (32) : 126-129. ) |
[24] | MCCALLUM A K. MALLET:a machine learning for language toolkit[EB/OL]. (2002-02-28)[2016-02-25] . http://mallet.cs.umass.edu. |