在众包项目[1-4]中,不同工作者从事相同任务生产效率差距可达10至40倍[5],同时个体数量的增长带来了群体多样性的增加,会使最后众包任务结果的不确定性增大,导致众包任务完成质量并没有随着工作者数量的增加而提高。为提高众包服务的工作效率和完成质量,选取优质的众包工作者来接受众包任务,成为提高众包效率的最直接手段。
相比其他的众包质量控制模型[6-9],Jurca等[10]提出的平均信誉模型在实际的众包系统得到了广泛运用。该模型将工作者所有的历史任务完成质量累加后取平均值作为该工作者的信誉值,之后根据信誉阈值选择合适的工作者安排工作任务。其不足之处是:工作者的所有历史任务完成情况对于工作者当前信誉值的影响力都是等价的,而且忽视了工作者当前的活跃状况。在实际应用中时间更近的历史任务的完成情况,对工作者目前的信誉具有更有参考价值。
阮闪闪等[11]也从信誉值的角度提出了基于证据理论的信任评估模型来实现众包工作者的综合工作能力评估。该模型主要利用改进的证据理论对证据序列进行融合,计算其直接信誉和间接信誉,最终得到工作者综合信誉。其优点是很好地区分出了恶意的接包工作者,具有较强的检测能力。其不足之处是:在众包交互初期,整体工作者的信誉值不会相差太大,不能很好地区分工作者综合工作能力;如果工作者偶尔接包失败,会对整体信誉值造成很大影响,没有考虑活跃度对工作者整体信誉值的影响。
由此,本文提出了基于工作者活跃度的众包工作者信誉模型,考虑了工作者的活跃度,提高近期任务结果质量在总体信誉值中所占比例。使用该模型可以更好地选择优质工作者,激励工作者参与众包活动,更高质量地完成众包任务。
1 基于活跃度的众包工作者信誉模型设计 1.1 信誉模型设计目标本文提出的基于活跃度的众包工作者信誉模型将工作者的信誉值和活跃度作为信誉值参考因素,在保证工作者信誉良好的同时,选择较好活跃度的工作者来参与众包服务。基于活跃度的众包工作者信誉模型的设计目标如下。
1) 警示目标。警示工作者不要提交不可靠众包结果,工作者最近一次的任务结果质量将会对其信誉值产生相对较大影响,因此如果工作者最近一次提交了不合格的结果,将会对以后的信誉值影响较大。
2) 激励目标。鼓励工作者保持活跃,如果一个工作者每天提交任务,则他的信誉值会高于偶尔提交任务的工作者。
3) 公平目标。通过增加活跃因子来调整工作者信誉,因为接包任务较少的工作者不可能有较高活跃度,所以在基于活跃度的众包工作者信誉模型中不存在历史任务总量较少却工作者信誉值很高的情况。
1.2 工作者活跃度基于活跃度的众包工作者信誉模型的主要设计目的之一就是选择更活跃的工作者来接包,为衡量众包工作者的活跃度,本文定义活跃天数L及活跃因子P。
定义1 活跃天数。在最近30 d内众包工作者参与众包活动的天数,其取值范围为[0,30]。
定义2 活跃因子。根据工作者最近参与众包活动的活跃天数所得的表示该工作者活跃度的系数。本文选择使用归一化的正切函数作为最近活跃天数映射到活跃因子的函数为:
$ P = {\rm{(arctan(}}L-\beta {\rm{)}} + {\rm{arctan}}\beta {\rm{)/(\pi /2 + arctan}}\beta {\rm{)}} $ | (1) |
其中,参数β起着控制活跃因子增长速度的作用,图 1表示式(1) 的曲线。从图 1中得出,当活跃天数L=β时,活跃因子P=0.5,当L值接近β时,活跃因子P变化速率较大;当L值远离β时,活跃因子P变化速率减小;当L>β时,一侧迅速地高于0.9,而在L < β时,活跃因子迅速地低于0.1。由此可知L=β是工作者活跃度高低的一个分界线,活跃工作者和不活跃工作者在活跃因子值上区分明显,众包任务发布者可以通过调整β值的大小,控制对众包活跃天数的平均要求,有效调整整体工作者的活跃因子并激励工作者保持较高的活跃度。
在平均信誉模型中,引入一个历史信誉值的变量Rik,该变量表示了工作者i在第k次完成众包任务之前的信誉值。在工作者i第k次完成任务时,其该次得到的信誉奖励为rik, 若任务结果合格,rik=1;否则rik=0工作者进行第k次任务之后的信誉值计算方式如式(2) 所示:
$ Ri = \frac{{k-1}}{k}{R_{ik}} + \frac{1}{k}{r_{ik}};{r_{ik}} = 0或1 $ | (2) |
当k→∞时,(k-1)/k→1, 1/k→0,这表明在平均信誉模型中,随着任务总量的增大,工作者的信誉值将越来越接近工作者的历史平均信誉值,而当前任务对信誉值的影响将越来越小。而调查研究表明,在实际众包项目中最近一次的众包任务结果更具参考价值[12],对整体的众包结果质量贡献更具加影响力。
所以本节提出历史因子α的概念和新的计算历史信誉值的模型,该模型提高了众包工作者的最近一次任务结果完成质量在总体信誉值中所占的比例。在工作者完成第k次任务之后,其信誉值Ri将根据式(3) 进行更新:
$ {R_i} = \alpha {R_{ik}} + (1-\alpha ){r_{ik}};{r_{ik}} = 0或1 $ | (3) |
其中:参数α称为历史因子,α的取值范围[0,1],当(1-α) < 1/k时,当前任务对总体信誉值影响小于平均信誉模型;当(1-α)>1/k时,当前任务对总体信誉值影响大于平均信誉模型;当(1-α)=1/k时,当前任务对总体信誉值影响等于平均信誉模型。由此可见,历史因子α控制着工作者最近一次提交任务结果所占信誉值比例的影响力度。
1.4 基于活跃度的工作者信誉值基于活跃度的工作者信誉值体现了工作者在历史信誉和活跃度两方面的因素,相比平均信誉模型:引入的活跃因子,使得活跃度低的工作者无法拥有较高的信誉值,避免了由于任务总量少带来较高信誉值的可能;引入的历史因子,提高近一次任务完成结果的影响力,使工作者对完成质量更为重视。
定义3 基于活跃度的工作者信誉值:根据众包工作者活跃因子和历史信誉值,所得到的信誉值表示该工作者接包能力的指标,用Ti表示,如式(4):
$ {T_i} = {P_i}*{R_i} $ | (4) |
设定好基于活跃度的工作者信誉阈值T,就可以决定是否让工作者i进行接包任务,如式(5):
$ \left\{ \begin{array}{l} {T_i} \ge T, \;\;{\rm{Trust}}\\ {T_i} < T, {\rm{Distrust}} \end{array} \right. $ | (5) |
阈值T的大小决定了众包任务完成的时间和完成质量,当阈值T较低时,门槛放低,可以让较多的工作者参与众包任务,但工作者可能质量较差;当阈值较高时,能获得较高的众包质量,但参与的工作者人数不够多,可能会延长众包任务完成的时间。由此看出,众包工作者的数量和质量对最后的众包结果完成的时间和质量有着直接影响。
1.5 基于活跃度的工作者信誉模型参数分析基于活跃度的工作者信誉模型,是根据工作者历史任务的完成情况和近30 d的活跃天数来计算基于活跃度的工作者信誉值,由式(1)、(3) 和(4) 可知,控制活跃因子的参数β和历史因子α间接影响着基于活跃度的工作者信誉值。下面分别取活跃天数[1,30]和信誉值[0.1, 0.9]计算对应基于活跃度的工作者信誉值。
1) 参数β=15时的工作者信誉值曲线如图 2所示。
2) 参数β=10时的工作者信誉值曲线如图 3所示。
3) 参数β=20时的工作者信誉值曲线如图 4所示。
式(1) 中参数β是控制活跃因子增长速度的参数,根据上面三组曲线得知:当活跃天数L>β时,活跃因子迅速提高到0.9,而L < β时,活跃因子迅速降低到低于0.1,因此L=β是区分工作者的活跃度高低的分隔线,活跃因子参数β反映的是众包任务发布者对工作者活跃天数的平均要求。为了选择更活跃的众包工作者来接包众包任务,众包发布者可以根据众包任务数目的大小,设置β的值来选择众包工作者,以达到更好的众包效益。当任务数量较小时,β值可取20~30,选择更优质的工作者;当任务数量较大时,β值取10~15,可以得到更多的工作者参与众包任务;任务量适中时,β=15较为合适。
1.5.2 历史因子α取值分析式(3) 中历史因子α控制着工作者最近一次提交的任务结果在总信誉值中所占的比例,强调距离当前时间近的历史任务完成情况对当前工作者的信誉影响大于距离当前时间远的。根据图 2~4得知,当活跃天数L<9时,众包工作者不论历史信誉值高低,最后得到的基于活跃度的工作者信誉值都小于0.2,并且工作者当前完成任务所得的信誉值对总体的工作者信誉值几乎没有影响。为了突出当前任务完成后所得信誉值的占比,需选择合适的α值。
从图 2知,当β=15时,曲线在L∈[10,20]时,工作者当前完成任务所得的信誉对总体的工作者信誉值影响较大,此时符合基于活跃度的工作者信誉模型完成当前任务对总体信誉值影响大于平均信誉模型的情况,由2.3节可知此时应满足(1-α)>1/L, 所以得出0<α≤0.9;从图 3知,当β=10时,曲线在L∈[5,15]时变化较大,同理可得0<α≤0.8;图 4知当β=20时, 曲线在L∈[15,25]时变化较大,同理可得0<α≤14/15,因此可以得出当L∈[L-β,L+β]时,工作者当前完成任务所得的信誉值对总体的工作者信誉值产生较大影响,此时0<α≤(L-β-1)/(L-β)。
1.5.3 基于活跃度的工作者信誉值阈值T分析在众包工作者选择中,可以通过调整基于活跃度的工作者信誉值阈值T来控制优质工作者的数量。当阈值T设置过高时,所选的工作者较为优质,但人数较少,可能导致完成众包时间延长;而当阈值T设置较低时,虽然提高了参与工作者人数,但所选工作者整体质量偏低。根据图 2~4可以看出,阈值的高低直接决定了所选工作者的历史信誉值高低和活跃度的高低,当阈值T≥0.5时,任务发布者要求所选工作者的活跃天数L≥β,当阈值T高于0.7时,只有历史信誉值高于0.7的工作者可能符合基于活跃度的工作者信誉值标准。众包任务发布者可以根据任务的实际情况,调整阈值的大小来控制所选工作者的质量,获得较好的众包效益。
2 实验结果与分析为验证基于活跃度的众包工作者信誉模型的有效性,在地理信息采集众包平台上开展地理图片核实的众包实验,首先将地图上待验证的兴趣点门脸照片的核实工作设计成众包任务,展示在移动客户端任务显示界面上,然后众包工作者通过移动客户端接受众包任务,到实地去核实地理兴趣点信息,并将核实结果提交到服务器,最终统计并分析众包结果,与使用平均信誉值模型和基于证据理论信任模型在核实结果正确性和核实时间上作对比实验。
2.1 实验数据集从地理信息采集众包平台的众包结果中获取30000幅兴趣点门脸照片作为核实对象,并从众包采集工作者中每次选取500个工作者作为实验工作者。另外,组织50名地理信息采集众包平台的专业审核人员作为人工核实工作者,以他们的结果作为标准参考数据。由于本次实验众包任务量适中,所以取活跃因子曲线参数β=15,历史因子α=0.9,信誉阈值T的取值范围为[0.1, 0.9]。
2.2 实验结果与分析分别根据平均信誉模型、证据理论信任模型和基于活跃度的工作者信誉模型计算500名众包工作者的平均信誉值、证据理论信任值和工作者信誉值。不同信誉阈值产生的核实工作者人数如表 1所示。
分别选择平均信誉阈值、证据理论信任阈值和基于活跃度的工作者信誉阈值范围为[0.1, 0.9]时的众包工作者完成30000幅兴趣点信息图片核实的众包工作,基于平均信誉模型的众包工作结果如表 2所示。
基于活跃度的工作者信誉模型的众包工作结果如表 3所示。
基于证据理论信任模型的众包工作结果如表 4所示。
50名专业审核人员对30000幅兴趣点门脸照片进行了核实,结果为合格数为20200,不合格数为9200。
基于平均信誉模型、基于证据理论信任模型与基于活跃度的工作者信誉模型众包结果对比显示如图 5。
由图 5可以看出,随着阈值T的增加,3种信誉模型的核实结果都越来越接近人工核实的标准结果,且基于活跃度的工作者信誉模型的核实结果的误差率始终低于平均信誉模型。当阈值T < 0.5时,基于活跃度的工作者信誉模型的误差率明显比平均信誉模型和基于证据理论信任模型的误差率小得多,其中基于证据理论信任模型的误差率是三者中最高的。特别地,当阈值T=0.2时,基于活跃度的工作者信誉模型的误差率与平均信誉模型和基于证据理论信任模型的误差率相差最大,分别达到4.95%和6.63%。当阈值T超过0.6以后,3种模型选择的工作者的误差率非常接近,但基于证据理论信任模型的核实结果更接近于标准结果。
平均信誉模型、基于证据理论信任模型与基于活跃度的工作者信誉模型众包工作完成时间对比如图 6所示。
通过图 6可知,基于活跃度的工作者信誉模型阈值在0.5时核实时间(即众包工作完成时间)取得最低,为5.6 d,平均信誉模型阈值在0.6时取得最低,为7.5 d,基于证据理论信任模型阈值在0.5时核实时间取得最低,为7.4 d,最好情况下工作者信誉模型相对于平均信誉模型和基于证据理论信任模型分别提高了25.33%和25.11%。在阈值处于0.1~0.6时,基于活跃度的工作者信誉模型花费的核实时间都比平均信誉模型要少,但在阈值超过0.6以后,基于活跃度的工作者信誉模型的核实时间比平均信誉模型和基于证据理论信誉模型的长。
综合图 5~6可知:在核实结果误差率上,当阈值T < 0.5时,基于活跃度的工作者信誉模型的误差率比平均信誉模型和基于证据理论信任模型低,在阈值T>0.6时,三者的误差率几乎趋于一致。在花费的核实时间上,当阈值T < 0.6时, 工作者信誉模型花费的核实时间要比平均信誉模型和基于证据理论信任模型要少,特别的,当T=0.5时,工作者信誉模型花费的核实时间取得最小值,但当T≥0.6时,工作者信誉模型花费的核实时间迅速增加,其增幅要远大于平均信誉模型和基于证据理论信任模型。其原因在于当阈值T设置较高时,所选的工作者整体质量偏高,完成任务的正确率也高,但在基于活跃度的工作者信誉模型中能够同时满足高活跃度和高信誉值的工作者较少,所以完成任务所花费的时间要多。当信誉阈值T设置在中低范围内,基于活跃度的工作者信誉模型在选择工作者时,既考虑了工作者的活跃度,又提高了工作者最近提交的任务的结果质量占总体信誉值的比例,激励工作者重视当前任务的提交质量,达到既快又高质量地完成任务的效果。众包服务在实际运用场景中门槛较低,基本都将阈值控制在中低范围下,这时候基于活跃度的工作者信誉模型表现尤为出色,尤其是在阈值T为0.5时,既保证了高正确率又在花费时间上达到了最小值。
3 结语本文提出的基于活跃度的工作者信誉模型,对众包工作者重视当前任务的完成质量和维持良好的工作活跃性起着激励作用。通过实验,与平均信誉模型和证据理论信任模型在地理信息图片核实众包任务的正确性以及任务完成的时间作了对比。在选择合理的历史因子α、活跃因子参数β和阈值T的条件下,使用基于活跃度的工作者信誉模型来选取众包工作者相比通过平均信誉模型和基于证据理论信任模型来选取工作者,其众包任务完成的质量更高,并且时间花费更少。
[1] | DOAN A, RAMAKRISHNAN R, HALEVY A Y. Crowdsourcing systems on the world-wide Web[J]. Communications of the ACM, 2011, 54(4): 86-96. DOI:10.1145/1924421 |
[2] |
朱小宁. 支持任务推送的众包系统的研究与实现[D]. 北京: 北京邮电大学, 2015: 53-64. ZHU X N. Research and implementation of crowdsourcing system supporting task push[D]. Beijing:Beijing University of Posts and Telecommunications, 2015:53-64. |
[3] | 王莹洁, 蔡志鹏, 童向荣, 等. 基于声誉的移动众包系统的在线激励机制[J]. 计算机应用, 2016, 36(8): 2121-2127. (WANG Y J, CAI Z P, TONG X R, et al. Reputation based incentive mechanism for mobile crowdsourcing system[J]. Journal of Computer Applications, 2016, 36(8): 2121-2127. DOI:10.11772/j.issn.1001-9081.2016.08.2121) |
[4] | HOWE J. The rise of crowdsourcing[J]. Wired Magazine, 2006, 14(6): 1-5. |
[5] | 冯剑红, 李国良, 冯建华. 众包技术研究综述[J]. 计算机学报, 2015, 38(9): 1713-1726. (FENG J H, LI G L, FENG J H. Summary of crowdsourcing technology[J]. Chinese Journal of Computers, 2015, 38(9): 1713-1726. DOI:10.11897/SP.J.1016.2015.01713) |
[6] | SAXTON G, OH O, KISHORE R. Rules of crowdsourcing:models, issues, and systems of control[J]. Information Systems Management, 2013, 30(1): 2-20. DOI:10.1080/10580530.2013.739883 |
[7] | 芮兰兰, 张攀, 黄豪球, 等. 一种面向众包的基于信誉值的激励机制[J]. 电子与信息学报, 2016, 38(7): 1808-1815. (RUI L L, ZHANG P, HUANG H Q, et al. A reputation based incentive mechanism for crowdsourcing[J]. Journal of Electronics & Information Technology, 2016, 38(7): 1808-1815.) |
[8] |
张晓波. 基于工作者错误率估计的众包质量控制[D]. 杭州: 浙江大学, 2016: 24-36. ZHANG X B. Quality control of crowdsourcing based on worker error rate estimation[D]. Hangzhou:Zhejiang University, 2016:24-36. |
[9] | 张志强, 逄居升, 谢晓芹, 等. 众包质量控制策略及评估算法研究[J]. 计算机学报, 2013, 36(8): 1636-1649. (ZHANG Z Q, PANG J S, XIE X Q, et al. Research on quality control strategy and evaluation algorithm of crowdsourcing[J]. Chinese Journal of Computers, 2013, 36(8): 1636-1649.) |
[10] | JURCA R, FALTINGS B. Towards incentive-compatible reputation management[C]//Proceedings of the 2003 International Conference on Trust, Reputation, and Security:Theories and Practice. Berlin:Springer, 2003:138-147. |
[11] | 阮闪闪, 王小平, 薛小平. 基于证据理论信任模型的众包质量监控[J]. 计算机应用, 2015, 35(8): 2380-2385. (RUAN S S, WANG X P, XUE X P. Crowdsourcing quality monitoring based on evidence theory trust model[J]. Journal of Computer Applications, 2015, 35(8): 2380-2385. DOI:10.11772/j.issn.1001-9081.2015.08.2380) |
[12] | 夏恩君, 赵轩维, 李森. 国外众包研究现状和趋势[J]. 技术经济, 2015, 34(1): 28-36. (XIA E J, ZHAO X W, LI S. Current situation and trend of crowdsourcing research abroad[J]. Technology Economics, 2015, 34(1): 28-36.) |