包邮可控自然语言生成研究

第1章 绪论 1 1.1 自然语言生成任务 1 1.2 基于知识引导的自然语言生成 2 1.3 文本生成的可解释性与可控性 3 本章小结 4 第2章 基于概念网络的文摘生成 5 2.1 序列到序列文本生成技术 5 2.1.1 语言模型 5 2.1.2 循环神经网络及其变体 7 2.1.3 编码-解码框架 10 2.1.4 注意力机制 12 2.1.5 指针网络 13 2.1.6 强化学习 17 2.2 基于概念网络的文摘生成模型 19 2.2.1 概念词生成 20 2.2.2 基于单概念网络的文本摘要算法 21 2.2.3 基于多概念网络的文本摘要算法 24 2.2.4 强化学习训练和远程监督训练 26 2.3 概念网络模型实验 29 2.3.1 数据集和评价方法 29 2.3.2 实验细节 31 2.3.3 基线模型 36 2.3.4 模型表现 37 2.3.5 模型效果对比分析 42 本章小结 47 参考文献 47 第3章 可解释信息抽取 50 3.1 抽取式摘要相关技术 50 3.1.1 Transformer及预训练模型 50 3.1.2 基于无监督学习的抽取式摘要 55 3.1.3 基于有监督学习的抽取式摘要 56 3.2 可解释性信息抽取模型 58 3.2.1 文本特征表示 59 3.2.2 基于可解释特征属性的抽取模型 62 3.2.3 基于可解释概念语义的抽取模型 64 本章小结 68 参考文献 68 第4章 概念语义可控摘要生成 70 4.1 预训练及摘要生成模型 70 4.2 概念语义可控文本摘要生成模型 72 4.2.1 基于混合连接的生成网络 72 4.2.2 生成式可控摘要模型 74 4.2.3 模型融合训练 75 4.3 ESCA模型框架实验 77 4.3.1 相关数据集及评价指标 77 4.3.2 实验配置 78 4.3.3 基线模型 80 4.3.4 模型效果比对分析 81 本章小结 88 参考文献 88 第5章 可控文本生成方法 90 5.1 可控文本生成方法概要 90 5.2 基于特定风格的可控标题生成 92 5.3 即插即用的属性模型 97 5.4 自监督学习的可控文本生成 99 本章小结 103 参考文献 103 第6章 基于提示的文本生成控制 106 6.1 基于提示词的文本生成控制 106 6.2 基于软提示的文本生成控制 108 6.3 基于预训练软提示的摘要生成模型 113 6.3.1 提示调优的探索 114 6.3.2 文本内部提示 116 6.3.3 自监督提示预训练与微调 117 6.4 PSP模型框架实验 119 6.4.1 实验配置 120 6.4.2 模型效果对比 121 本章小结 126 参考文献 127