众包学习

目录 “新一代人工智能创新平台建设及其关键技术丛书” 序前言部分通用符号和约定 第1章众包概述1 1.1众包的起源与发展1 1.1.1从外包到众包1 1.1.2集众人之智慧2 1.1.3众包的形式2 1.2数据众包3 1.2.1数据众包的典型应用3 1.2.2数据众包的工作流程3 1.2.3数据众包面临的挑战性问题4 1.3众包系统5 1.3.1几个典型的众包系统5 1.3.2众包系统分类8 1.3.3众包系统性能评价11 1.3.4众包系统技术概览12 1.4本章小结13 第2章众包技术的研究方向14 2.1引言14 2.2众包质量控制14 2.2.1质量模型14 2.2.2数据质量17 2.2.3任务质量18 2.2.4参与者质量19 2.2.5质量评估21 2.2.6质量保证22 2.3众包任务设计25 2.3.1任务组合25 2.3.2任务分配26 2.3.3激励机制27 2.4成本和时延控制29 2.4.1问题规约29 2.4.2任务抽样29 2.4.3时延控制30 2.5本章小结31 第3章众包遇见机器学习33 3.1引言33 3.2从众包中获利33 3.2.1计算机视觉33 3.2.2信息检索35 3.2.3自然语言处理36 3.2.4机器学习37 3.3数据生产38 3.3.1数据标注38 3.3.2不确定数据40 3.3.3多样性数据41 3.3.4特殊性数据41 3.4混合智能系统42 3.4.1混合调度43 3.4.2混合人机通信44 3.4.3混合聚类45 3.5模型的调试与评估46 3.5.1管道组件调试46 3.5.2评估模型的可解释性47 3.5.3评估无监督模型48 3.5.4按需评价49 3.6本章小结49 第4章众包标注的真值推断50 4.1引言50 4.2真值推断的概念50 4.2.1众包标注50 4.2.2真值推断的定义51 4.2.3通用真值推断研究概览53 4.2.4面临的挑战54 4.3真值推断的概率模型及EM求解57 4.3.1真值推断的求解框架57 4.3.2ZenCrowd模型60 4.3.3Dawid&Skene模型61 4.3.4Raykar&Yu模型63 4.3.5GLAD模型65 4.4复杂标注的真值推断模型67 4.4.1OnlineWP模型68 4.4.2MCMLI模型69 4.4.3MCMLD模型72 4.4.4MCMLI-OC模型和MCMLD-OC模型75 4.5非EM求解的真值推断77 4.5.1CUBAM模型77 4.5.2Minimax熵模型79 4.5.3KOS模型80 4.5.4SFilter时序模型81 4.5.5BCC模型和cBCC模型82 4.6本章小结85 第5章面向众包标注数据的预测模型学习86 5.1引言86 5.2两阶段学习方案和直接学习方案86 5.2.1数据质量和学习模型质量86 5.2.2两阶段学习方案87 5.2.3直接学习方案88 5.3众包监督学习88 5.3.1Raykar&Yu学习模型88 5.3.2个人分类器模型92 5.3.3聚类个人分类器模型93 5.3.4Bi多维度模型96 5.4众包主动学习100 5.4.1主动学习概述100 5.4.2样本选择和工作者选择102 5.4.3成本约束的Proactive学习105 5.4.4STAL学习107 5.4.5Self-taught模型109 5.5其他众包学习范式113 5.5.1众包学习中的知识迁移113 5.5.2众包深度学习117 5.6本章小结119 第6章众包学习数据集与工具121 6.1引言121 6.2众包学习数据集121 6.2.1情感判断122 6.2.2相关性评估123 6.2.3图像分类124 6.2.4自然语言处理125 6.2.5事实评估126 6.3众包学习实验工具127 6.3.1SQUARE127 6.3.2BATC129 6.3.3CEKA132 6.3.4实验工具研发挑战135 6.4性能评价指标137 6.4.1二分类问题的评价指标137 6.4.2ROC*线与AUC139 6.4.3多分类问题的评价指标142 6.4.4回归的性能指标143 6.5本章小结144 第7章面向偏置标注的众包标签真值推断145 7.1引言145 7.2偏置标注问题145 7.2.1二分类偏置标注问题定义146 7.2.2真实数据集中的偏置标注现象146 7.2.3偏置标注对真值推断的影响150 7.3自动阈值估计推断算法153 7.3.1案例研究155 7.3.2正标签频率阈值算法158 7.3.3阈值估计算法159 7.3.4实验设置1617.3.5实验结果与分析161 7.4基于聚类的多分类真值推断163 7.4.1动机164 7.4.2原理和特征生成165 7.4.3GTIC算法169 7.4.4实验数据集与设置170 7.4.5实验结果与分析172 7.5本章小结175 第8章基于机器学习模型的众包标签噪声处理177 8.1引言177 8.2传统机器学习的噪声处理方法178 8.2.1分类过滤算法178 8.2.2标签打磨纠正算法179 8.2.3自训练误标纠正算法180 8.2.4基于聚类的误标纠正算法181 8.2.5众包数据集实验结果与分析182 8.3基于监督预测模型的众包标签噪声处理184 8.3.1总体技术框架185 8.3.2自适应投票噪声纠正算法186 8.3.3模拟众包标注数据集191 8.3.4标签噪声识别的性能191 8.3.5标签噪声纠正的性能193 8.3.6真实众包数据集实验结果与分析198 8.4基于双层聚类分析的众包标签噪声处理200 8.4.1总体技术框架201 8.4.2聚类标签集成算法202 8.4.3双层协同聚类算法203 8.4.4实验数据集与实验设置207 8.4.5实验结果与分析208 8.5本章小结210 第9章众包标签利用方法与集成学习模型212 9.1引言212 9.2基于噪声标签分布的预测模型训练方法213 9.2.1多数投票变体213 9.2.2成对样本模型训练215 x众包学习 9.2.3实验数据集与实验设置216 9.2.4实验结果与分析217 9.3众包集成学习220 9.3.1问题定义221 9.3.2集成学习方法221 9.3.3理论分析224 9.3.4实验对比算法和设置226 9.3.5模拟实验结果与分析227 9.3.6真实众包数据集实验结果与分析231 9.4本章小结233 第10章基于不确定性度量的众包主动学习235 10.1引言235 10.2面向偏置标注的主动学习236 10.2.1主动学习框架236 10.2.2偏置的处理237 10.2.3基于众包标签与偏置程度的不确定性度量239 10.2.4基于学习模型与偏置程度的不确定性度量240 10.2.5混合不确定性度量241 10.2.6实验数据集与实验设置242 10.2.7实验结果与分析243 10.3多标签众包主动学习248 10.3.1问题定义248 10.3.2基于混合模型的真值推断249 10.3.3采样策略与学习算法250 10.3.4实验数据集与实验设置253 10.3.5实验结果与分析254 10.4本章小结256 参考文献258