基于群体智能优化算法的文本过滤关键技术研究

前言 **章 绪论 1 **节 研究背景及意义 1 一、中国互联网迅速发展 1 二、互联网迅速发展带来的负面影响 1 三、信息过滤研究的意义 3 第二节 文本信息过滤面临的问题 5 一、国外相关研究 5 二、国内研究进展 6 三、相关研究存在的问题 7 第三节 本书主要研究内容及贡献 9 一、研究环境 9 二、研究内容 9 三、本书贡献 11 四、本书组织结构 11 第二章 文本信息过滤关键技术概述 14 **节 文本信息过滤的基本模型 14 第二节 网络数据的获取 15 一、数据包捕获技术 15 二、协议解析技术 16 第三节 文本切词技术 16 一、基于字符串匹配的切词方法 17 二、基于理解的切词方法 17 三、基于统计的切词方法 17 第四节 特征选择算法 18 一、文档频率 18 二、信息增益 19 三、互信息 19 四、统计量 20 第五节 权值计算方法 21 第六节 文本表示模型 21 第七节 文本分类算法 22 一、朴素贝叶斯算法 22 二、KNN算法 23 三、Rocchio分类算法 23 四、支持向量机算法 24 第八节 小结 24 第三章 基于统计与规则的特征项联合权重文本权重计算方法 25 **节 已有权重评估函数总结 25 一、反比文档频数权重 25 二、信噪比 25 三、TF-IDF 26 四、权重计算与特征选择的对比 26 第二节 改进信息增益算法 27 一、信息增益算法分析 27 二、导致信息增益算法精确度下降的原因 28 三、特征项的类间离散度 29 四、特征项的类内离散度 30 五、应用特征项分布信息的信息增益计算方法 30 六、改进的信息增益算法（IG-GDI） 31 七、实验结果分析 31 第三节 VSM中特征项粒度选取存在的不足 34 第四节 VSM固有缺陷分析 36 第五节 当前权重计算方法的缺陷 38 第六节 基于规则的文本表示 39 一、中文组块分析 39 二、短语的选取粒度 40 三、基本短语的识别 41 四、*大信息熵模型 43 五、短语特征的权重计算 44 六、VSM中特征项关系组织方式 44 七、实验结果分析 45 第七节 基于统计的特征权重计算方法 48 一、联合权重计算方法 48 二、实验及分析 51 第八节 基于统计与规则的特征项联合权重实验 55 一、实验步骤 55 二、实验结果分析 56 第九节 小结 58 第四章 融合段落特性的文档权重计算方法 59 **节 引言 59 第二节 预备知识 60 一、常用特征权重计算方法 60 二、基本算法比较 61 第三节 融合段落特征的文本权重计算方法 62 一、文档的形式化表示 62 二、文档权重的计算及其体现 63 三、对文档中部分重要句子的权重计算 63 四、特征项的位置权重 64 五、文档中特征项的权重确定 64 第四节 实验分析 65 一、实验语料 65 二、实验环境 66 三、评价指标 66 四、评价方案 67 五、评价与结果分析 68 第五节 小结 71 第五章 基于自适应惯性权重混沌粒子群的特征子集优化方法 72 **节 粒子群算法概述 72 一、粒子群算法基本原理 72 二、粒子群算法的研究进展 73 三、目前研究中存在的问题 74 第二节 基于自适应惯性权重的混沌粒子群算法 75 一、混沌序列初始化粒子位置 75 二、惯性权重的自适应变化 76 三、早熟判断机制及混沌扰动策略 77 四、算法流程 78 五、实验与分析 79 六、对本节三种改进策略的测试 79 七、与其他算法的比较 80 第三节 应用混沌粒子群算法的特征子集优化模型 83 一、粒子编码及初始种群的生成 84 二、粒子速度及位置的更新 85 三、适应度的评价 86 四、并行计算加速机制 87 五、混沌粒子群算法获得*优特征子集的流程 88 六、实验与分析 89 第四节 小结 91 第六章 基于模糊遗传算法的文本信息过滤模板生成方法 92 **节 引言 92 第二节 遗传算法的起源与历程 93 第三节 遗传算法的特点 94 第四节 遗传算法的基本要素与原理 95 一、遗传算法的基本要素 95 二、基本原理 97 第五节 基本遗传算法 97 一、基本遗传算法的结构与数学模型 97 二、基本遗传算法的实现 99 第六节 基于遗传算法的过滤模板优化方法理论可行性分析 102 一、问题描述 102 二、文本预处理 102 三、问题编码及初始种群生成 103 四、个体适应度衡量 103 五、收敛性分析 104 第七节 基于遗传算法的文本过滤方法实现 106 一、编码 106 二、初始种群 106 三、适应度函数的选取 107 四、遗传操作 109 五、相关参数的设定 109 六、训练集 110 七、测试集 110 八、开发和运行环境 111 九、考查参数 111 十、文本分类实验 111 第八节 模糊遗传算法 114 一、种群规模动态调整 114 二、变异率模糊动态调整 116 三、遗传参数的自适应调整 117 四、实验结果比较分析 117 第九节 小结 118 第七章 基于概念的逻辑段落匹配方法 119 **节 引言 119 第二节 预备知识 119 一、概念 119 二、概念词典 120 三、概念密度 120 四、概念映射 120 第三节 基于概念的逻辑段落划分方法 121 一、文档预处理 121 二、概念变换 122 三、词义消歧 122 四、应用特征词聚类的文本段落划分方法 123 五、文本分类的段落化匹配实现 123 六、逻辑段落概念词语的单一性 124 七、基于概念的概念扩充和关联词语扩充 124 第四节 段落化文本分类实现 126 第五节 实验与分析 127 一、文本分类实验 127 二、信息过滤效果测试实验 129 第六节 小结 130 第八章 基于微粒群的协作过滤模板动态调整 131 **节 引言 131 第二节 基于种群动态迁移的改进微粒群算法 131 一、传统微粒群算法 132 二、基于线性递减惯性权重调整方法（linearly） 133 三、变加速度微粒群算法 133 四、引入迁移思想的微粒群算法 134 五、实验分析 136 六、结论 137 第三节 基于微粒群的模板动态更新 139 一、协作过滤技术 139 二、混合过滤可行性分析 141 三、基本框架 141 四、基于微粒群的动态模板更新信息获取 142 五、基于改进微粒群算法的协作过滤实现 143 第四节 实验与分析 144 一、评价指标 144 二、实验分析 145 第五节 小结 147 第九章 基于反馈增量学习的过滤模板更新机制 148 **节 反馈增量学习 148 第二节 过滤模板更新机制 149 一、本书反馈信息获取方法 149 二、基于示例文档的过滤模板增量学习 149 三、基于文本分类的过滤模板增量学习 150 第三节 基于反馈增量学习的过滤模板更新机制 151 一、GA在过滤模板更新中的应用 151 二、反馈信息中基于种群平均适应度的改进特征选择方法 154 三、基于朴素贝叶斯分类的过滤模板反馈增量学习 156 四、基于示例文档的过滤模板反馈增量学习算法 157 第四节 小结 158 第十章 文本信息过滤原型系统 159 **节 系统设计方案 159 一、设计目标 159 二、系统逻辑结构 160 三、系统设计思路 160 四、系统基本框架 161 第二节 系统模块设计 164 一、文本摘要模块 164 二、分词模块 164 三、特征选择模块 165 四、权值计算 165 五、生成用户模板 165 六、比较过滤模块 165 第三节 系统实现 166 一、系统界面设计 166 二、过滤效果展示 168 第四节 小结 171 第十一章 结论与展望 172 **节 总结 172 第二节 进一步的工作 174 参考文献 175