汉语口语测试评分员评价研究

目录 第1章绪论……………………………………………001 1.1研究缘起………………………………………………001 1.1.1口语测试的发展……………………………………001 1.1.2评分员评价体系研究现状…………………………002 1.2研究思路………………………………………………004 1.2.1研究目的和内容……………………………………004 1.2.2研究方法……………………………………………005 1.3研究意义………………………………………………007 1.3.1理论意义……………………………………………007 1.3.2实践意义……………………………………………008 第2章口语测试及其评分员…………………………011 2.1引言……………………………………………………011 2.2口语和口语测试………………………………………011 2.2.1口语的定义…………………………………………011 2.2.2口语测试……………………………………………014 2.2.3语言能力……………………………………………016 2.3口语测试实践…………………………………………026 2.3.1国外口语测试发展概况……………………………026 2.3.2国内口语测试发展概况……………………………030 2.4汉语口语测试评分员…………………………………037 2.4.1评分员的分类………………………………………037 2.4.2评分员的特点………………………………………041 2.5评分员培训和评价……………………………………044 2.5.1评分员培训…………………………………………044 2.5.2评分员评价…………………………………………050 2.6本章小结………………………………………………058 第3章理论基础………………………………………061 3.1引言……………………………………………………061 3.2构建评分员评价体系的目的…………………………061 3.3构建评分员评价体系的原则…………………………063 3.3.1人本性原则…………………………………………063 3.3.2科学性原则…………………………………………063 3.3.3系统性原则…………………………………………064 3.3.4操作性原则…………………………………………064 3.3.5激励性原则…………………………………………065 3.3.6导向性原则…………………………………………065 3.4构建评分员评价体系的作用…………………………066 3.4.1选拔…………………………………………………066 3.4.2诊断…………………………………………………067 3.4.3分数调整……………………………………………068 3.4.4研究…………………………………………………069 3.5理论来源………………………………………………070 3.5.1人力资源管理理论…………………………………070 3.5.2系统论………………………………………………072 3.5.3人才测评理论………………………………………074 3.5.4语言测试理论………………………………………076 3.6本章小结………………………………………………078 第4章研究假设………………………………………081 4.1引言……………………………………………………081 4.2评价体系研究的前提…………………………………081 4.2.1评分员的价值可量化………………………………081 4.2.2评分员价值是稳定的………………………………082 4.2.3评分员价值可正常发挥……………………………082 4.3评分员评价体系的构建………………………………082 4.3.1现有评分员评价体系述评…………………………082 4.3.2评分员评价体系框架………………………………086 4.4评分员“绩效”评价体系的构建……………………090 4.4.1现有评分员“绩效”评价方式述评………………091 4.4.2确定评分员“绩效”评价指标……………………095 4.4.3“绩效”评价指标的权重问题……………………098 4.5本章小结………………………………………………099 第5章评分员严厉度研究……………………………101 5.1引言……………………………………………………101 5.2严厉度定义……………………………………………101 5.3关于严厉度的研究……………………………………103 5.3.1国外相关研究………………………………………103 5.3.2国内相关研究………………………………………104 5.4多面Rasch模型…………………………………………109 5.4.1模型介绍……………………………………………109 5.4.2常用软件……………………………………………112 5.4.3模型应用领域………………………………………112 5.5实证研究………………………………………………116 5.5.1研究假设……………………………………………116 5.5.2研究对象……………………………………………117 5.5.3研究方法……………………………………………118 5.5.4研究步骤……………………………………………118 5.5.5结果分析……………………………………………120 5.5.6结论…………………………………………………124 5.6严厉度评价效度检验…………………………………126 5.6.1偏离趋势检验………………………………………126 5.6.2偏离量检验…………………………………………128 5.7本章小结………………………………………………135 第6章评分员一致性研究……………………………137 6.1引言……………………………………………………137 6.2一致性定义……………………………………………137 6.3一致性和信度…………………………………………138 6.3.1信度概念的演变……………………………………138 6.3.2信度的重要性………………………………………147 6.3.3一致性和信度的比较………………………………149 6.4实证研究………………………………………………151 6.4.1研究假设……………………………………………151 6.4.2统计结果分析………………………………………151 6.4.3结论…………………………………………………154 6.5一致性评价的效度检验………………………………155 6.5.1对区间上限的检验…………………………………155 6.5.2对区间下限的检验…………………………………159 6.6本章小结………………………………………………160 第7章评分员内化评分标准研究……………………163 7.1引言……………………………………………………163 7.2内化评分标准的内涵及鉴别…………………………163 7.2.1定义…………………………………………………163 7.2.2研究方法述评………………………………………164 7.3汉语口语测试的相关研究……………………………168 7.3.1普通话水平测试的相关研究………………………168 7.3.2汉语水平考试（高等）口试的相关研究…………171 7.4实证研究………………………………………………173 7.4.1研究假设……………………………………………174 7.4.2研究对象……………………………………………174 7.4.3研究方法……………………………………………175 7.4.4研究步骤……………………………………………176 7.4.5统计结果分析………………………………………177 7.4.6结论…………………………………………………181 7.5本章小结………………………………………………181 第8章结论……………………………………………183 8.1评分员评价体系的确立………………………………183 8.2评分员评价体系的应用………………………………186 8.3创新之处………………………………………………188 8.3.1理论创新……………………………………………188 8.3.2方法创新……………………………………………189 8.4研究展望………………………………………………190 参考文献……………………………………………………191 附录………………………………………………………201 致谢………………………………………………………217 图表目录 表2.1技能——成分说的语言能力…………………………………………………017 表2.2普通话水平测试国测员培训班培训内容……………………………………046 表4.1汉语口语测试评分员“素质”评价指标……………………………………088 表4.2汉语口语测试评分员“能力”评价指标……………………………………089 表5.112名应试人背景信息表………………………………………………………117 表5.2评分员信息数据库（选段）……………………………………………………119 表5.3评分员信息数据库（选段）……………………………………………………119 表5.4HSK（高等）口试等级分数转化表…………………………………………120 表5.5应试人实测成绩名次和能力值名次比较……………………………………121 表5.6评分员评分结果总表（选段）…………………………………………………127 表5.76名评分员评分结果复评情况表………………………………………………130 表6.1异常评分员严厉度、一致性值………………………………………………156 表6.2异常评分员评分情况表………………………………………………………157 表6.312位应试人分组情况表………………………………………………………158 表7.1评分员类型结果（异质程度15）………………………………………………179 表7.2评分员类型结果（异质程度10）………………………………………………180 表7.3内化评分标准异常评分员的评分质量………………………………………180 表8.1汉语口语测试评分员评价指标………………………………………………184 图2.1“语言能力一元化”模型………………………………………………………019 图2.2Bachman的语言能力交际模型………………………………………………021 图2.3Bachman的语言能力结构……………………………………………………022 图4.1人事评价体系框架的改进……………………………………………………085 图4.2汉语口语测试评分员评价体系框架…………………………………………087 图5.15位评分员评分结果折线图……………………………………………………128