0 引言

评论信息是用户发表的针对某种商品的反馈意见,从某种程度上反映出商品的质量和体验效果等,这就为用户购买商品提供了丰富的决策意见。许多网站已经采取了相应的措施用以提高用户发表评论的质量,但网上仍然充斥着大量的垃圾和虚假评论,用户难以从海量的评论数据中辨别评论信息的可信度,也难以便捷地找到自己需要的评论信息。尽管大部分网站都提供评论排序显示的功能,这些排序方法看起来简单、直观,但效果往往不够理想。例如:按时间排序可能会导致用户错失很多高质量的评论，用户容易受到虚假评论的误导；按评论有用性得票率排序会存在得票不公平性的问题等。因此,一种科学合理的评论排序方法就显得尤为重要^[1]。近年来针对这方面的研究工作主要集中在三个方面:垃圾评论、评论质量、观点摘要(评论总结),Liu^[2]对此作了很好的梳理。

Jindal等^[3]将垃圾评论分为三类:虚假评论、未针对特定产品和服务的评论以及非评价性质的评论,并指出第二、三类垃圾评论较少，而且使用监督学习的方法容易识别出,而虚假评论则复杂许多,因为即使是人工也很难识别出故意伪造的看似真实的评论。虚假评论常用分类、回归等相关机器学习方法来识别,并使用近似重复的特征来度量虚假评论^[3]。基于用户的非典型行为特征^[4]、挖掘非预期的分类关联规则^[5]和基于网络图^[6]等非监督学习方法被用来发现垃圾评论者或垃圾评论,有研究者进一步对垃圾评论群组的识别进行了相关研究^[7-8],黄婷婷等^[9]从商品特征关联度的角度来评测评论的可信度。评论质量的研究主要围绕评论的有用性展开,常用的解决方法是将其当作回归问题^[10-11]或分类问题^[12],有研究者基于评论的有用性提出了相关的评论排序模型如SVR(Support Vector Regression)^[13]、Ranking SVM(Support Vector Machine)^[14]。观点摘要可以简单看作多文档文本摘要,且更侧重于针对产品的各方面特征挖掘其情感倾向。文献^[15-16]通过词性标注以及关联算法对观点摘要进行研究，后续相关研究大多从中延伸,如扈中凯等^[17]通过词性路径模板的方式提取产品特征词。

在生成观点摘要的基础上，本文尝试从情感倾向分析的角度探索评论有用性的问题。以往文献都是通过对评论内容投票研究评论有用性，但评论内容投票只能反映粗粒度的统计信息,且存在有偏性，而针对评论内容的回复(即评论回复)则能反映其他用户对评论内容的观点倾向。本文通过挖掘评论回复的情感倾向,结合相同观点具有一致有用性的特点，提出基于回复内容的观点支持度(Opinion Support based on User Discussion,OSUD)模型，计算观点支持度，探索评论内容的有用性。虽然Ryang等^[18-19]已经进行了相关的研究工作,但其只是简单地利用评论回复的统计信息,结合关键词的TF-IDF(Term Frequency-Inverse Document Frequency)值来得到关键词搜索排序模型,并没有深入挖掘评论回复蕴含的深层观点和情感信息。

1 本文OSUD模型

本文模型OSUD参考了文献^[20]中通过情感分析对微博进行可信度评估的方法,该方法基于两个观察结果:1)一个信息如果被更多的人认可则可能是真实的；2)更多的人产生争论则有可能是谣言。同理,在本文中,评论的有用性也是基于这两个假设产生。如果支持一条评论的用户得分相对于反对的用户得分更高,则这条评论被认为可能更具有用性,对评论的支持或反对则通过评论和评论回复中所涉及的观点的语义情感信息表达出。

关于一个产品的评论,其有用性计算是基于评论中所持观点在评论和评论回复中的支持度得到的,其简易形式可以表示为支持和反对该评论观点的用户得分差值的比例,用户被定义为评论下直接或间接的响应者。每个用户有不同的排名值,且可以根据某些特征计算得到用户的权重,进而每个用户都是可以被量化并归一处理的。

最后,由于一条评论可能含有一个或者多个观点(针对多个特征进行的评价),对某一特征持有相同态度的观点具有相同的有用性,而一条评论的有用性度量则通过评论中所持观点的有用性加权得到。

1.1 模型描述 1.1.1 评论回复用户的多样性比率

考虑某种特殊情况,评论下的所有回复均为评论者自己所发表,这为计算观点的有用性带来噪声,且本文认为,当一条评论下回复的不同用户比率越高,更能真实反映出评论内容的有用性,将这一表征回复用户比率的特征定义为评论回复用户的多样性比率dsr,定义如式(1)所示：

$\text{dsr}(r)=\frac{{{u}_{0}}(r)}{re{{p}_{T}}(r)-re{{p}_{R}}(r)}$

(1)

其中: rep_T(r)表示评论r下的回复总数;rep_R(r) 表示评论作者本身发表的回复数;u₀(r)表示评论r下所有回复用户的数目。当rep_T(r)=0或者rep_T(r)=rep_R(r)时，dsr(r)=0。

1.1.2 观点支持度

评论是用户针对产品某方面或多方面特征的观点表述,基于此本文将评论有用性问题转化为观点有用性问题,针对一条评论r,为了计算评论r的有用性,需要首先计算该评论所包含的特征及观点Opinion(op₁,op₂,…,op_n),然后针对每一个观点op,计算其有用性Helpfulness(op)。对于每一个产品特征,有正面和负面两种观点表述,为了计算观点的有用性,需要首先计算用户分别对正面和负面两种观点的支持得分,将与观点op相同的观点支持得分记为支持度Support(op),与op相反的观点支持得分记为否定度Oppose(op)。

假定Agree(op)表示与评论r所持观点op相同的所有评论的集合(包括r),Confirm(m)和Deny(m) 分别表示评论m下所有支持和反对观点op的回复用户的集合,其中m∈Agree(op),R_i=[0,1] 为用户i的排名值。则相同观点评论下用户回复对观点的支持度Support(op)如式(2)所示,Score(m)表示评论下其他用户的回复信息对该评论的支持得分如式(3)所示。

$Support(op)=\sum\limits_{m\in Agree(op)}{\left( dsr(m)\times Score(m) \right)}$

(2)

$Score(m)=1+\sum\limits_{i\in Confirm(m)}{R(i)-\sum\limits_{i\in Deny(m)}{R(i)}}$

(3)

1.1.3 观点否定度

同样地,令Disagree(op)表示与评论r所持观点op相反的所有评论的集合,Confirm(n)和Deny(n)表示评论n下所有支持和反对观点op的回复用户集合,其中n∈Disagree(op)。则持有相反观点的评论下用户回复对该观点的否定度表示如式(4)所示,Score(n)表示评论下其他用户的回复信息对该观点的支持得分如式(5)所示。

$Oppose(op)=\sum\limits_{n\in Disagree(op)}{\left( dsr(n)\times Score(n) \right)}$

(4)

$Score(n)=1+\sum\limits_{i\in Confirm(n)}{R(i)-\sum\limits_{i\in Deny(n)}{R(i)}}$

(5)

1.1.4 观点有用性

进而,观点op的有用性表示如式(6)所示：

$Helpfu\ln ess(op)=\frac{Support(op)-Oppose(op)}{Support(op)+Oppose(op)}$

(6)

分母使得表达式取值范围为[-1,1]。正数取值表示该评论有一定的有用性,值越大,则有用性越高,取值为1表示没有反对该观点的用户；相反,如果取值为负,则表示该评论可能并不具有有用性,或者说该评论不被用户所信任,其不被信任的程度通过|Helpfulness(op)|度量,取值为-1表示没有用户支持该观点。

1.1.5 观点多样性

不同观点对用户感知力度有所区别,同样对评论有用性影响程度也有所差别,被用户提及更多的观点说明更加受用户关注,对评论的有用性影响越大。为了表征不同观点对评论有用性影响的权重,定义观点多样性dsr(op)如式(7)所示：

$dsr(op)=\frac{re{{v}_{T}}(op)}{\sum\limits_{o\in Opinion}{re{{v}_{T}}(o)}}$

(7)

其中： rev_T(op)表示持有观点op的评论数。

1.1.6 评论有用性

进而,可以得到评论有用性的计算公式如式(8):

$Helpfu\ln ess(\text{r})=\sum\limits_{o\in O\text{pinion}(r)}{dsr(o)\times Helpfu\ln ess(o)}$

(8)

同观点有用性一样,取值为负数表示不具有某种程度的有用性,正数表示具有一定程度的有用性。同时,求和公式使得含有有用观点越多的评论有用性越大；相反,持有无用观点越多的评论无用性越大。

1.2 观点摘要

观点摘要是计算以观点支持度为基础的评论有用性的关键步骤,观点摘要提取的准确度直接影响后续计算的准确率。

句法分析的方法可以保证较好的准确率但召回率较差,而无监督的潜在狄利克雷分配(Latent Dirichlet Allocation,LDA)主题模型方法虽然能提高召回率,但难以保证准确率,本文基于此提出句法分析和主题模型结合的SA-LDA方法对产品特征进行抽取,首先基于句法分析的方法对产品所在类目的所有产品评论进行特征观点对提取,自动构建语料库用于生成两种约束条件,约束条件的构建考虑了对同一特征类别的不同表述和对特征类有决策作用的词,借此辅助LDA 模型进行训练。针对某个产品的评论数据,对观点句进行提取,基于语料库通过改进的SA-LDA 模型得到特征聚类结果。

1.2.1 预处理

预处理主要是对评论文本进行分词、POS(Part-Of-Speech)标注和合并、分句以及并列句的拆分和合并。分词和POS标注使用NLPIR提供的接口,对连续的POS标签进行合并,如“机器手感还不错”,得到的POS标签序列为“nnda”,合并后为“nda”,有助于提取到短语结构和后续的特征模板匹配。分句将评论文本拆分为以句子为单位,并对并列的词语和表述进行拆分和合并。

1.2.2 基于句法分析的语料库构建

评论中的产品特征属性词通常以名词、名词短语或动词为主,评价观点情感词则常以形容词、动词或名词为主,且特征词与情感词之间的搭配通常有类似于“名词+形容词”的模式,如“反应速度快”“电池容量小”。本文基于文献^[2]中的词性路径模板提取特征词的方法提取出所有的候选产品特征词和评价词,并对其进行聚类。

聚类方法使用传统K-means算法,其初始聚类中心是随机指定的,后续每个类别的聚类中心通过计算每个特征词与其他所有词之间的距离,取距离之和最小的词作为聚类中心,结合语义相似度和观点相似度对特征词之间的距离进行度量,其相似度计算公式如式(9)所示:

$\text{sim}({{f}_{1}},{{f}_{2}})=a\times s\text{s}im({{f}_{1}},{{f}_{2}})+b\times osim({{f}_{1}},{{f}_{2}})$

(9)

其中:ssim(f₁,f₂)表示语义相似度;osim(f₁,f₂)表示观点相似度。语义相似度融合HanLP基于同义词的语义距离、基于知网HowNet词语语义相似度的WordSimilarity以及字符串的编辑距离三种方式进行度量；观点相似度则通过计算用观点词表示的空间向量模型Feature(o₁,o₂,…,o_n)之间的相似度,其中:o₁到o_n表示特征所对应的观点表述。

基于句法分析聚类的结果,只保留名词、形容词和动词,对于评论中显式出现的特征,将其特征所在分句中出现的词语加入该类特征预料中。语料库格式表示为{特征,{特征词},{〈词项,词频〉}},其中：{ 特征词} 表示特征类别下所有出现的特征词表达形式；{〈词项,词频〉} 表示特征类别下出现的词项以及出现的次数,用以描述特征关联词。

1.2.3 SA-LDA主题聚类

基于特征词与观点词共现矩阵,对评论中的主观句进行识别,用于SA-LDA主题聚类,并基于前文构建的语料知识库,构建约束条件用于约束和指导模型进行主题学习。

LDA 模型倾向于学习得到宽泛的主题,且很多时候受频繁词的影响会使得对某些词的主题学习产生歧义,先验知识可以在LDA模型主题学习时对其进行约束和修正,进而得到更为有效的聚类结果。根据上一节所得到的语料库等先验知识,本文自动构建两种约束条件:Must-link和Cannot-link。

Must-link约束指定了哪些词对应该划分在同一个主题下,本文考虑两种类型的Must-link:

① 特征词。对同一特征的不同特征词表述,如“价格”和“价钱”,必定从属于同一个主题下,每个特征类下的特征词两两构成Must-link。

② 贡献词。通过广义的词共现矩阵计算得到,若某个词经常出现在某个特征表述语句中,且基本不在其他特征表述语句中出现,则该词可以隐式地表达某个特征或主题,如“便宜”可以隐含表达特征“价格”。特征和词语的共现通过frequency*PMI(f,w)得到,如式(10)所示:

$frequency\text{ }*\text{ }PMI(f,w)={{P}_{f\And w}}*{{\log }_{2}}\frac{{{P}_{f\And w}}}{{{P}_{f}}{{P}_{w}}}$

(10)

其中：P_f&w是特征f和语料库中指示词w 的联合出现概率;P_f是特征f 在语料库语句中出现的概率;P_w是指示词w 在语句中出现的概率。

考虑通用表达词如“不错”“还好”等可能经常与很多特征搭配出现,本文通过计算某个词关联的特征数与总特征数的比值,将超过某个阈值的词从词表中去除,因为该词不具有指示作用。一般地,本文考虑每个特征类目下frequency*PMI(f,w)值前5的词语,将该特征类目下的所有特征词与每个词语匹配构成Must-link。

Cannot-link约束定义了哪些词对不应划分在同一主题下,同样,本文也考虑两种类型的Cannot-link:

①特征词。不同特征类别下的特征词,如“价格”和“电池”,必定不属于同一个主题,不同特征类别下的特征词两两构成Cannot-link。

②非共现词。若一个词在语料库中跟某个特征类从来不产生交集,本文将其定义为非共现词,本文中每个主题只对应一个特征类,所以有理由认为该词不应划分到该特征类目所在主题下。

为了更准确地描述Must-link 和Cannot-link,本文引入同义词的概念,对每个Must-link 和Cannot-link,通过同义词对约束条件进行扩展。

基于Gibbs-LDA 和两种先验知识的约束条件,在计算词项w 属于某个主题z 的概率分布时,利用先验知识产生的约束条件对其进行修正,使得属于与特征类联系紧密的词项被划分到特征类所在主题,即:在主题更新过程中,加入一个约束条件影响因子δ(w_i,z_j)作为先验知识对模型进行调和,如式(11)所示:

$\delta ({{w}_{i}},{{z}_{j}})\left( \frac{n_{-i,j}^{({{w}_{i}})}+\beta }{\sum\limits_{{{w}^{'}}}^{W}{n_{-i,j}^{({{w}^{'}})}+W\beta }} \right)\left( \frac{n_{-i,j}^{({{d}_{i}})}+\alpha }{\sum\limits_{j}^{T}{n_{-i,j}^{({{d}_{i}})}+T\alpha }} \right)$

(11)

对于文档中每个词语的主题更新,假设当前所计算的词是w_i,针对当前主题z_j,δ(w_i,z_j)计算方法如下:

①如果w_i受Must-link约束,且约束特征为当前主题所表达的特征,则δ(w_i,z_j)=1且δ(w_i,z_-j)=0,其中z_-j表示除z_j外的其他主题。

②如果w_i受Cannot-link约束,且约束特征为当前主题所表达的特征,则δ(w_i,z_j)=0且δ(w_i,z_-j)=1。

③其他情况下,δ(w_i,z_j|j=1,2,…,T)=1。

1.3 回复内容的支持度计算

用户回复对评论的支持度通过回复内容的情感值得到,而回复内容的情感值与评论内容的情感值也有关联,如表 1所示。

所以,对于负面的评价,需要对回复内容提取特征词,如果提取到与计算观点相似的特征词,则分析情感表述是否一致；否则,直接以回复内容的情感值表示是否是支持评论的观点。本文的情感分析工具使用SnowNLP的情感分析组件,通过对获取到的标记为good和bad的评论进行模型训练,可以很好地适用于本文的应用场景。

2 实验结果分析

本文从“中关村在线”网站获取数据,抓取相关产品的评论和回复信息,去除没有作者信息和评分等无效评论,过滤掉投票数低于50的评论，得到最终的数据集如表 2所示。以有用投票率(有用投票数与总投票数的比值)作为评论有用性的评价标准,采用平均有用投票率作为区分是否有用评论的阈值。

2.1 评价指标

由于评论投票数的有偏性,本文首先将评论的有用性当作二分类问题,通过分类问题常用的准确率、召回率和F值,将本文的OSUD模型与LR(Linear Regression)模型、SVR模型^[14]和REDQ(Ranking based on Estimated Discussion Quality)^[19]模型效果进行对比;接着将其当作排序问题,利用常用的排序准确率P@10进行比较；最后通过实例分析本文模型的实验效果。

令R是所有评论的集合,H表示真正有用的评论集合,U是真实无用的评论,而H^*表示实验预测为有用的评论集合,U^*表示实验预测为无用的评论集合。准确率、召回率和F值分别定义如下：

$\Pr ecision=\frac{\left| H \right|}{\left| R \right|}\times \frac{\left| H\cap {{H}^{*}} \right|}{\left| {{H}^{*}} \right|}+\frac{\left| U \right|}{\left| R \right|}\times \frac{\left| U\cap {{U}^{*}} \right|}{\left| {{U}^{*}} \right|}$

(12)

$\operatorname{Re}call=\frac{\left| H \right|}{\left| R \right|}\times \frac{\left| H\cap {{H}^{*}} \right|}{\left| H \right|}+\frac{\left| U \right|}{\left| R \right|}\times \frac{\left| U\cap {{U}^{*}} \right|}{\left| U \right|}$

(13)

$F=\frac{2\times \Pr ecision\times \operatorname{Re}call}{\Pr ecision+\operatorname{Re}call}$

(14)

2.2 实验结果分析 2.2.1 准确率、召回率与F值比较

使用三种模型对评论数据集进行有用性预测,得到准确率、召回率、F1值和排序准确率P@10的实验结果如表 3所示。

按平均准确率从高到低排名为：OSUD、SVR、LR、REDQ。

按平均召回率从高到低排名为：SVR、OSUD、LR、REDQ。

按平均F1值从高到低排名为：SVR、OSUD、LR、REDQ。

按平均P@10值从高到低排名为：OSUD、REDQ、SVR、LR。

对于调和平均F1值：REDQ取得的效果最差,OSUD的效果与SVR相当且整体上优于LR模型,且对于评论数据集存在有偏的情况下效果优于SVR 模型,即OSUD更偏向于预测有用性的评论,这是由于模型计算过程中更倾向于正面情感导致的。REDQ效果较差的原因是本文实验比较的时候只使用了其回复的统计信息,而原文中是将其当作搜索排序问题,加入了关键词的影响,将统计信息作为辅助才能达到较好的实验效果,所以可看出REDQ本身对评论有用性的影响意义不大。

通过P@10衡量前10条评论的排序准确率：OSUD整体上的排序准确率高于其他三种方法,特别是对于数据有偏的情况下,可以取得更好的效果；SVR和LR对于数据分布均匀的情况下可以训练处较好的模型,但由于数据集较小,难以学习得到更好的效果。

实验结果验证了本文OSUD模型的有效性。从实验结果可看出,本文OSUD模型基于观点支持度的思想,从另一个层面度量了评论的有用投票率,而本文基于有用投票率作为验证指标,SVR 与LR模型也是对评论有用投票率进行拟合,这也很好说明了本文OSUD模型通过对评论和回复观点的合理建模，可以达到甚至优于通过机器学习训练得到的效果。

2.2.2 实例分析

表 4为评论实例,其中有用投票数为70,总投票数79,得到有用投票率为0.886。

得到特征观点对并对其观点有用性进行分析如表 5所示。

针对每个观点,计算其观点的有用性,下面实例展示对“网速”持正面观点的有用性计算,其统计信息如表 6所示。

为了直观地展示评论有用性的计算,此处不考虑评论的权重dvr(v),则可得到针对“网速”正面评价的支持度为10:

$\begin{align} & Suppose(网速{{a}^{+}})=\sum\limits_{1}^{\left| Agree() \right|}{\left( 1+\left( \sum\limits_{1}^{\left| Confirm() \right|}{1-\sum\limits_{1}^{\left| Deny() \right|}{1}} \right) \right)} \\ & =2+15-7=10 \\ \end{align}$

同样,得到其否定度为22:

$\begin{align} & Oppose(网速{{a}^{+}})=\sum\limits_{1}^{\left| Disagree() \right|}{\left( 1+\left( \sum\limits_{1}^{\left| Confirm() \right|}{1-\sum\limits_{1}^{\left| Deny() \right|}{1}} \right) \right)} \\ & =4+23-5=22 \\ \end{align}$

进而,针对“网速”正面评价的观点有用性为-0.375,表示用户对该观点持负面态度,即不具有有用性。

$Helpfu\ln ess(网速{{a}^{+}})=\frac{10-22}{10+22}=-0.375$

同样,不考虑观点的权重dvr(op),直接对该评论所含观点的有用性进行求和得到评论有用性为1.24。

从结果可看出,该评论含有两条相对无用的观点,4条有用的观点,求和得到最终评论的有用性,使得含有有用观点越多,最终评论有用性越高,相反,无用观点越多,最终评论有用性越低;而且中间计算结果可以很直观地反映出用户对每个观点的支持度,相对于简单的观点摘要,观点的有用性囊括了其他回复用户对该观点的支持度,更加真实可信。

3 结语

本文基于观点支持度度量的方法从评论回复的角度分析评论有用性问题,验证了用户回复信息所表达的语义对评论有用性的影响,且通过本文模型,基于观点的有用性可以很好地解释评论有用性问题。本文模型也可作为预测模型的一个特征综合其他统计语义等特征训练得到更好的实验效果。

作者排名衡量每个用户发表意见的影响值,排名值的合理性可以提高算法的准确率,本文由于缺乏作者排名的数据,将所有作者均衡处理,有一定的缺陷。评论的回复有很大的随意性,对于无关句的处理需要进一步的实验和验证。