外国留学生学生手写汉字笔画错误提取的智能方法研究

**章绪论
1.1选题背景
汉字是汉语书写用的文字，狭义指以正楷作为标准写法的汉字。因形状方正，汉字有“方块字”之称。从结构上来看，汉字字体规整，每个字占据几乎同样的空间。由表意象形字根如金、木、水、火、土等，像积木一样组合而成。汉字包括独体字和合体字，独体字不能分割，合体字由部件组合构成，占汉字数量的90%以上。汉字的部件包括独体字、偏旁部首和其他不成字部件。汉字的合体结构有12种，分为：左右、上下、左中右、上中下、左上包、右上包、左三包、左下包、上三包、下三包、全包围和镶嵌结构。
笔画是汉字的*小构成单位，指一次连续写成的线条。笔画分为横、竖、撇、捺、点、提等31个基本种类。书写汉字时，笔画出现的先后顺序，即“笔顺”，是比较固定的，其基本规则是，先横后竖，先撇后捺，从上到下，从左到右，先外后内，先外后内再封口，先中间后两边。笔画的数目、形状、空间组合关系等因素构成了汉字形体区别特征，这是文字形体的一个基本属性。
在汉语国际教育逐步推广的背景下，汉语教学往往把培养留学生的交际能力放在首位，同时使其具备运用汉语进行听说读写的能力，其中的读和写会涉及汉字。从书写元素看，在组成常用汉字的笔画中，横、竖、撇、点、捺、提的使用频率为77.82%，而书写元素的重复率、结构单位的相似度越高,结构方式的一致性越大,汉字形体所提供的区分度就越小，书写的错误率也就会越高。所以，笔画的书写错误将直接导致部件乃至整字的错误。
对于留学生书写汉字*早采用纸笔的传统模式进行采集和记录，授课教师通过课上实时观察进行指导或课后收取纸质作业进行评判教学。然而，在传统的课堂教学中，教师即便积极观察，也很难全面了解到学生在课堂上的学习情况，尤其是汉字书写的具体情况，更难以对每个学生的汉字书写过程进行及时指导。不仅如此，在课后作业的评改中，传统纸笔的记录方式难以让教师直观了解学生汉字书写的动态过程，因而无法全面知晓学生在课后的汉字掌握情况。同时，通过教师在批改中批注给学生的反馈纠正，如汉字书写的示范，学生也无法去准确地了解笔画的书写顺序和特点，只能看到一个完成版的“画像”。
在将学生书写的汉字记录输入计算机的时候，早期研究者将纸版记录通过照相、扫描等方式转为数字图像文件，并保存在计算机中。后来，有学者使用摄像机对学生的书写过程进行实时拍摄，将形成的视频文件保存于计算机中。该方法可以较完整地记录学生的书写过程，但不足之处在于视频文件往往容量较大，不利于保存和传输。
数字墨水的出现，有效地解决了这些不足，它利用手写板、数码笔等笔式输入设备书写文字，书写轨迹通过定时采样输入计算机中。
近些年不少学者在汉字智能教学方面一直在不停探索[7-9]，开发出了一些可以应用于实际的汉字教学软件系统[10-14]。常见的练字系统通常采用的是汉字处理机制，即用户输入一个汉字，软件系统对用户输入的每一笔或对整字进行处理反馈。
随着数据采集设备的升级和大数据量处理的需要，数字墨水数据批量采集和处理分析的处理流程和练字系统有较大不同。因此，本书提出的汉字书写的分析系统总体来说，首先使用数据采集设备批量采集数字墨水数据后输入计算机系统，再对笔画数据进行单字分割和汉字识别提取出书写字，在模板库中检索出对应的模板字，再将书写字与模板字进行笔画匹配，进行人机交互校正后，根据匹配结果进行分析、检测书写错误，如图1所示。
对以西文为母语的留学生来说，尤其是初学者，对于汉字的结构特征和书写习惯不熟悉不了解，把汉字当作符号进行勾画，画出来的字千差万别，这属于系统前阶段的错误。而汉字教学经常是重理据而轻字形，导致一些中高级阶段的留学生仍有很多书写错误，从而影响整体的汉语水平。因此，对于书写错误的研究，尤其是笔画错误的研究很有必要。
1.2研究问题
在对留学生数字墨水汉字书写错误的研究中，虽然前人已经做了大量的工作和尝试，但仍存在一些需要优化和急需解决的问题，在单字分割、汉字识别、笔画匹配、人机交互校正和错误提取等方面都有一些需要优化的地方。本书研究的问题涵盖以下内容。
（1）针对数字墨水汉字的自动分割技术。在数字墨水的计算技术中，墨水的分割技术非常重要，是数字墨水的结构化编辑和识别的基础。它包括自动分割、分割结果的可视化和校正。自动分割指从原始笔迹中快速准确地提取单字、文本行和文本段。在中文数字墨水文本的分割技术中，由于文本行和文本段之间一般有天然的间隔，分割处理中对于行提取和段提取相对容易。本书将研究重点放在单字提取上，重点研究单字提取方法、单字提取结果的可视化方法及针对单字提取结果的交互式校正方法。
（2）存在书写错误的留学生手写汉字的识别。汉字的识别是书写汉字智能分析的基础，虽然中文汉字识别技术已经实现了较高的识别率，但现有的方法从特征提取到分类器的训练，从训练样本到测试数据，大都以中文母语者为研究对象。而留学生所写的汉字和母语者在笔画结构特征和书写习惯上有很多不同[16]，特别是当出现书写的错误的情况时，汉字结构特征的改变会增加识别的难度。因此，需要提出针对留学生书写特点和存在书写错误的手写汉字的识别方法。
（3）面向书写错误提取的笔画匹配方法。笔画匹配是书写错误分析的主流方法和前提条件，基于模板字的笔画匹配本身可看作一种组合优化问题。留学生书写质量的千差万别使得问题的规模和复杂程度增大，尤其是存在书写错误的笔画，无论是整个笔画错误还是笔画局部错误，都使得笔画匹配问题不仅仅是一种组合优化问题，还需要考虑问题所处理数据的级别。因此，需要提出自适应的笔画匹配方法，使得匹配结果对于不同类型的书写错误都有较好的针对性。
（4）针对笔画匹配结果的可视化及人机交互校正方法。由于系统自动方法难以得到完全正确的数据结果，所以作为评价所提方法性能的必要条件，需要进行人机交互校正得到正确的数据进行对比实验。有效的人机交互方法，可以减少时间成本，提高效率。人机交互之前，需要针对笔画匹配结果进行可视化表示，才能使校正者进行视觉感知，完成校正。有效的可视化方法可以减轻认知负担，同时准确表示需要显示的信息。因此，需要设计针对笔画匹配结果的可视化方法并在此基础上进行人机交互校正。
（5）留学生书写笔画错误提取的方法。在汉语教学研究中，针对汉字书写错误研究，前人做出了大量的工作。然而，研究对象多以中文母语者为主，与之相比留学生的书写习惯和特点差异较大；此外，研究对于书写错误的分类大都以专家系统为主的经验规则展开，方法的主观性及书写数据的随意性的矛盾使提取结果难以稳定。因此，需要从书写数据本身出发，通过动态生成的笔画匹配结果提取笔画错误。
1.3本书工作
本书针对上述问题，做了以下的工作。
（1）面向中文数字墨水文本的单字提取技术。从分割算法、可视化方法和交互校正三个方面对数字墨水的单字提取问题进行讨论，针对中文数字墨水文本中单字特点，提出了递归分割方法；针对单字提取结果中的错误类型，提出了面向错误分类的分割方法；针对单字提取结果的重叠问题，提出了自适应可视化方法；为提高校正提取结果的效率，提出了单字提取结果的可信度评价指标和基于可信度的可视化方法；通过分析用户的校正意图并结合可视化的图形，提出了以可视化图形为参考对象和辅助工具，符合用户意图的交互式校正方法。
（2）采用书写层次模型的汉字识别方法及其改进方法。本书针对留学生书写习惯及特点，从笔画、部件结构及整字笔画名称序列等书写元素出发，根据不同层次结构特点进行优化，进而识别汉字。首先以整字中心线为依据将书写字的部件结构按上下、左右及其他进行分类；根据部件分类结果对在候选字库中进行筛选；再通过7900余份手写数据训练了一个基于隐马尔可夫模型的笔画分类器；接着使用这个分类器将书写汉字中每个笔画进行识别，根据书写时序信息组成笔画名称序列；*后在筛选库中根据笔画名称序列进行二次筛选，给出识别备选字。此外，书中还进一步改进了笔画分类器，采用隐条件随机场模型进一步提升了识别率。