数据标注实用教程/刘欣亮

第1章 数据标注概述 1
1．1 数据标注发展简史 1
1．1．1 数据标注行业的发展 1
1．1．2 国内数据标注行业的发展现状 5
1．2 数据标注定义及分类 6
1．2．1 数据标注的定义 6
1．2．2 数据标注的工作特点 7
1．2．3 数据标注的基本流程 7
1．2．4 数据标注的分类 8
1．3 数据标注的应用领域 9
1．4 数据标注行业的运行模式 10
1．4．1 数据标注的特点 10
1．4．2 数据标注在人工智能中的地位 11
1．4．3 数据标注的运行模式 11
1．5 数据标注行业未来发展趋势及挑战 12
1．5．1 数据标注行业竞争加剧 12
1．5．2 政策的有力支持 12
1．5．3 面临的问题和挑战 13
1．5．4 数据标注行业的前景与发展 15
习题 15
第2章 数据的来龙去脉 16
2．1 认识数据 16
2．1．1 数和数据的区别 16
2．1．2 通信中数据的分类 16
2．1．3 计算机中数据的编码 17
2．1．4 数据文件 17
2．2 数据采集 17
2．2．1 数据采集渠道 18
2．2．2 数据采集的注意事项 19
2．2．3 标注数据的采集案例 19
2．2．4 数据质量 21
2．3 Python安装与爬虫采集数据案例 21
2．3．1 Python安装与环境配置 21
2．3．2 网络爬虫采集数据案例 25
2．4 数据预处理 28
2．4．1 数据清洗 28
2．4．2 数据集成 35
2．4．3 数据归约 36
2．4．4 数据变换 38
2．4．5 数据预处理案例 38
2．5 标注数据 42
2．5．1 标注数据的用途 42
2．5．2 使用标注数据训练算法的流程 43
2．6 数据分析与应用 47
2．6．1 数据分析方法 47
2．6．2 数据可视化 48
2．6．3 数据分析与可视化案例 51
习题 58
第3章 数据标注基础知识 60
3．1 计算机中数据的存储方式 60
3．1．1 文件名 60
3．1．2 数据标注类型 61
3．1．3 文件的存储方式 63
3．2 数据的编码方式 63
3．2．1 字符编码方式 64
3．2．2 二进制编码方式 68
3．2．3 字符编码方式和二进制编码方式的比较 70
3．3 数据标注必须了解的知识 70
3．3．1 文本标注需要掌握的基础知识 70
3．3．2 文本标注需要注意的问题 74
3．3．3 常用的文本处理工具 75
3．3．4 语音标注需要掌握的基础知识 78
3．3．5 常用的语音处理工具 81
3．3．6 图像标注需要掌握的基础知识 84
3．3．7 常用的图像处理工具 88
3．3．8 视频标注需要掌握的基础知识 90
3．3．9 常用的视频处理工具 94
3．4 常用的数据标注工具 97
3．4．1 labelImg图像标注工具 97
3．4．2 labelme图像标注工具 99
3．4．3 支持多种类型的精灵标注助手 101
3．4．4 其他标注工具介绍 104
3．5 常见的数据标注结果文件格式 106
3．5．1 CSV文件格式 106
3．5．2 XML文件格式 107
3．5．3 JSON文件格式 110
3．5．4 数据标注的辅助工具 111
习题 113
第4章 数据标注员的职业素养 115
4．1 数据标注团队的管理 115
4．1．1 数据标注团队的基础架构 115
4．1．2 数据标注团队的培训体系 117
4．1．3 数据标注团队的管理 119
4．2 数据标注规则的重要性 120
4．2．1 数据标注规则 120
4．2．2 数据标注规则的特点 121
4．2．3 数据标注规则需要双方沟通 125
4．2．4 数据标注规则需要数据标注员不断学习 125
4．3 数据标注的质检 126
4．3．1 数据标注质检的重要性 126
4．3．2 常用的数据标注标准分类 127
4．4 数据标注员需要具备的职业素养 129
4．4．1 数据标注员的职业素养 130
4．4．2 持续的学习力是数据标注工作的基础 131
4．4．3 细心是做好数据标注工作的保障 132
4．4．4 有耐心才能坚持工作在数据标注行业 132
4．4．5 拥有责任心才能换位思考做好数据标注工作 132
4．4．6 较强专注力可提高工作效率 133
4．4．7 团队协作是一个数据标注团队生存的保障 133
4．4．8 良好的沟通表达力能更为有效地进行数据标注工作 133
4．5 数据标注所需职业素养的培养 134
4．5．1 学习力的培养 134
4．5．2 细心的培养 135
4．5．3 耐心的培养 135
4．5．4 责任心的培养 136
4．5．5 专注力的培养 137
4．5．6 团队合作锻炼 138
4．5．7 锻炼沟通表达能力 139
习题 140
第5章 数据标注实战 143
5．1 如何成为合格的数据标注员 143
5．1．1 实战一　团队拓展小游戏 144
5．1．2 实战二　熟悉数据标注规则 145
5．2 文本标注 149
5．2．1 实战三　文本实体标注 150
5．2．2 实战四　文本分类标注 152
5．3 语音标注 153
5．3．1 实战五　语音数据转写标注 154
5．3．2 实战六　语音数据情绪标注 157
5．4 图像标注 159
5．4．1 实战七　人脸拉框图像标注 160
5．4．2 实战八　人体框图像标注 161
5．4．3 实战九　手势图像标注 164
5．4．4 实战十　人脸精确打点标注 167
5．4．5 实战十一　道路场景语义分割标注 171
5．4．6 实战十二　OCR转写标注 174
附录A Python语法简介 176
附录B Anaconda安装 180
附录C labelImg安装 184
附录D labelme安装 187
参考文献 191