图解数据科学

**章 数据科学的支撑技术 - 应对未来需求高涨的必修课 - 1-1 21 世纪的石油 数据、信息 ..........................................................................................002 1-2 数据为何越来越多 信息化社会、物联网、信息社会、传感器 .....................................004 1-3 综合各种知识进行分析 数据科学、数据挖掘..........................................................................006 1-4 从数据中发现价值的职业 数据科学家、数据工程师、数据分析师..........................................008 1-5 数据不能直接拿来使用 结构化数据、非结构化数据..............................................................010 1-6 大量的数据是宝藏 数据、3 个 V........................................................................................012 1-7 人与计算机易于处理的数据不同 杂乱数据、整齐数据..........................................................................014 1-8 把握供数据使用的数据 主数据、元数据..................................................................................016 1-9 将数据整理到一处 数据基础设施、商业智能仪表盘、数据管道 .................................018 1-10 对高效处理流程进行思考 算法、数据结构..................................................................................020 1-11 导出规则的实用化 模型、建模 ..........................................................................................022 1-12 用于处理数据的编程语言 R 语言、Python 语言、Julia 语言 ......................................................024 1-13 任何人都可以免费使用的数据 开放数据、e-Stat、WebAPI ..............................................................026 1-14 一边娱乐，一边学习分析方法 Kaggle、编程比赛、CTF ....................................................................028 1-15 围绕 IT 进行思考 数字化转型、数码化、数字化 ..........................................................030 1-16 已经分析的数据的运用事例 聊天机器人、推荐 ..............................................................................032 1-17 购买了这款商品的顾客还同时购买了这样的商品 购物篮分析、关联分析、RFM 分析 .................................................034 1-18 根据数据进行不同的定价 动态定价、金融科技 ..........................................................................036 1-19 从小规模出发进行尝试 概念验证、小规模启动 ......................................................................038 1-20 持续不断地谋求改善 PDCA 循环、OODA 循环、反馈循环 ...............................................040 1-21 先行确定目标，之后有策略地进行实施 KPI、KGI、KSF  .................................................................................042 1-22 把握与数据相关的人 用例、利益相关者 ..............................................................................044 试一试  尝试一下对使用数据的事例进行调查吧 ........................... 046 第二章 数据的基础 - 表示方法与读取方法 - 2-1 数据的分类 名义尺度、定序尺度、定距尺度、比例尺度、定性变量、 定量变量 ..............................................................................................048 2-2 从范围的角度对数据加以区分 频数分布表、组、频数、组距、直方图..........................................050 2-3 区别使用各种图形 棒状图、折线图..................................................................................052 2-4 表示比例的图形 饼状图、带状图..................................................................................054 2-5 将各种数据展示于一张图中 雷达图、箱形图..................................................................................056 2-6 构成数据基准的数值 代表性数值、平均值、中位数、鲁棒性、众数 .............................058 2-7 掌握数据离散程度 方差、标准偏差..................................................................................060 2-8 用一个标准判断 变异系数、标准化、偏差值..............................................................062 2-9 处理不恰当的数据 异常值、缺失值..................................................................................064 2-10 为什么销售额的八成来自两成的商品 ? 帕累托定律、帕累托分析、帕累托图、长尾效应 .........................066 2-11 对数量实施视觉展示 数据可视化、层级区分图、文字云图..............................................068 2-12 任何人都可以使用的便捷的数据分析工具 BI 工具、OLAP ....................................................................................070 2-13 集中管理数据 数据仓库、数据湖、数据集市 ..........................................................072 2-14 对数据协作进行思考 ETL、EAI、ESB ..................................................................................074 2-15 对数据结构进行可视化 ER 图、DFD 图、CRUD 表、CRUD 图 ............................................076 2-16 设计数据库 正规化、非正规化 ..............................................................................078 2-17 对纸上打印的数据进行提取处理 OCR、OMR ..........................................................................................080 2-18 高精度、高速度地导入数据 条形码、二维码、NFC .......................................................................082 试一试  尝试一下对使用数据的事例进行调查吧 ............................ 084 第三章 数据处理与充分利用 - 对数据进行分类和预测 - 3-1 根据获取时间而变化的数据 时间序列数据、趋势、噪声、周期 ..................................................086 3-2 程序自动输出的数据 日志、转储文件 ..................................................................................088 3-3 捕捉长期变化 移动平均法、移动平均线、加权移动平均法 .................................090 3-4 掌握两个数轴之间的关系 散点图、协方差、相关系数 ..............................................................092 3-5 不被表面的关系所欺骗 相关关系、因果关系、伪相关 ..........................................................094 3-6 立足于多个数轴进行汇总 交叉汇总、联合分析、直交表 ..........................................................096 3-7 通过减少数轴的数量来把握特征 维度、主成分分析 ..............................................................................098 3-8 了解人们对两点之间距离的看法 欧几里得距离、曼哈顿距离 ..............................................................100 3-9 调查相似的角度 余弦相似度、Word2Vec .....................................................................102 3-10 数据分析不只有帅气的一面 预处理、数据准备、数据清洗、数据分析识别 .............................104 3-11 明确多个数轴之间的关系 回归分析、*小二乘法 ......................................................................106 3-12 了解高级回归分析 多重回归分析、逻辑回归分析 ..........................................................108 3-13 对分类进行预测 判别分析、马哈拉诺比斯距离 ..........................................................110 3-14 基于已掌握的知识进行数值推算 费米估算 ..............................................................................................112 3-15 实现对掷骰子结果的操控 随机数、伪随机数、随机种子、蒙特卡罗法 .................................114 3-16 通过反复预测提高精度 德尔菲法、指数平滑法  .....................................................................116 3-17 了解各种分析方法 多变量分析、数量化一类、数量化二类、数量化三类 .................118 试一试  尝试一下统计问卷调查的结果吧 ........................................ 120 第四章 需要了解的统计学知识 - 立足于数据推测答案 - 4-1 统计学的分类 描述统计学、推断统计学..................................................................122 4-2 抽取数据 总体、样本、随机抽样......................................................................124 4-3 用数值表示易发性 统计概率、数学概率、概率、期望值 .............................................126 4-4 针对几个独立事件同时发生的概率进行思考 同时概率、独立性、互斥性、条件概率、概率的乘法定理.........128 4-5 基于结果对原因进行思考 先验概率、后验概率、贝叶斯定理、似然 .....................................130 4-6 把握数据的分布 概率分布、均匀分布、二项分布、正态分布、标准正态分布.....132 4-7 如果收集众多数据，就能接近真实值 中心极限定理、大数定律..................................................................134 4-8 用函数来表示分布 概率密度函数、累积分布函数..........................................................136 4-9 根据抽取的数据推测原始的总体 无偏估计量、点估计、区间估计、置信区间 .................................138 4-10 在不知道方差的情况下进行推算 标准误差、无偏方差、自由度、t 分布 ...........................................140 4-11 从统计学的角度进行验证 检验、原假设、备译假设、拒绝......................................................142 4-12 确定做出正确判断的基准 检验统计量、拒绝域、显著性水平、双侧检验、单侧检验.........144 4-13 对检验结果做出判断 p 值、显著性差异、错误、**类错误、第二类错误 ..................146 4-14 检验平均值 Z 检验、t 检验  ....................................................................................148 4-15 检验方差 χ 2 分布、χ 2 检验、F 检验 ...................................................................150 试一试  尝试检验一下身边的食品吧 ................................................ 152 第五章 需要了解的有关人工智能的知识 - 常用的手法及其机制 - 5-1 打造与人类具有同等智慧的计算机 人工智能、图灵测试  .........................................................................154 5-2 实现人工智能的手法 机器学习、监督学习、无监督学习、强化学习 .............................156 5-3 用于评价人工智能的指标 混淆矩阵、准确率、精确率、召回率、F 值、交叉验证  .............158 5-4 掌握学习的进度 过拟合、欠拟合 ..................................................................................160 5-5 模仿大脑的学习方法 神经网络、损失函数、误差反向传播法..........................................162 5-6 逐渐接近*优解 梯度下降法、局部解、学习率 ..........................................................164 5-7 深入各分层，利用大量数据进行学习 深度学习、CNN、RNN、LSTM.........................................................166 5-8 对误差进行量化 偏差 - 方差分解、折中 ......................................................................168 5-9 提升精度 正则化、拉索回归、岭回归 ..............................................................170 5-10 分成多个组 聚类、k 均值算法 ...............................................................................172 5-11 划分为任意个簇 分层次聚类、Ward 法、*短距离法、*长距离法 ........................174 5-12 在树结构中学习 决策树、不纯度、信息增益 ..............................................................176 5-13 使用多个人工智能进行多数表决 随机森林、集成学习、引导聚集算法、提升方法 .........................178 5-14 评价规则的指标 支持度、置信度、提升度 ..................................................................180 5-15 边界余量的*大化 支持向量机、超平面、硬余量、软余量..........................................182 5-16 进行自动的机器学习 自动化机器学习、可解释性人工智能 ..............................................184 5-17 结合各种方法寻找解决方法 运筹学、数理优化、数理设计法、概率设计法 .............................186 试一试  查找一下*新的论文吧 ........................................................ 188 第六章 有关安全与隐私的问题 - 数据社会将走向何方？ - 6-1 处理数据时必须遵守道德 信息伦理、数据伦理 ..........................................................................190 6-2 数据可靠性堪忧 统计造假、技术人员伦理  .................................................................192 6-3 错误认识导致精度下降 数据偏差、算法偏差 .........................................................................194 6-4 在日本对于个人信息的处理 个人信息保护法、P 认证 ..................................................................196 6-5 在海外对于个人信息的处理 GDPR、CCPA ......................................................................................198 6-6 对个人信息的充分利用进行思考 假名化、匿名化、k- 匿名化 ............................................................200 6-7 对数据的流通、一般使用与充分利用进行思考 数据驱动型社会、超智能社会、信息银行 ....................................202 6-8 制定处理数据时的规则 信息安全政策、隐私政策..................................................................204 6-9 公示收集数据的目的 使用目的、选择加入、选择退出......................................................206 6-10 了解保有数据的权利 知识产权、著作权..............................................................................208 6-11 自动获得外部数据 抓取、爬取 ..........................................................................................210 6-12 对保有数据的读取进行管理 访问控制、备份..................................................................................212 6-13 防止从内部带出数据 审计、数据泄露防护..........................................................................214 6-14 每次都能得到相同结果 幂等性 ..................................................................................................216