医学数据计算机处理与分析

第1章 数据处理与分析基础 目标与知识点 数据处理与分析的基本目标就是从大量杂乱无章的、难以理解的数据中，按照人们的要求进行抽取并推导出有价值、有意义的信息。数据处理与分析一般包括数据采集、数据处理、数据分析、数据显示等步骤。 本章的学习目标是掌握数据处理的基本概念和流程，掌握医学数据中不同数据类型的特点，熟悉数据采集、数据处理、数据分析、数据显示的基本步骤与工具，从整体上了解数据处理与分析的基本概念，以及了解数据处理与分析在医学上的应用。 1.1 数据与信息 一般意义上，数据是对外部世界现象记录下来的基本事实，国际标准组织对数据的定义是“数据是对事实、概念或指令的一种特殊的表达形式，这种特殊的表达形式可以用人工的方式或者用自动化的装置进行通信、翻译转换或者进行加工处理”。而按照人们的需求经过一定数据处理后产生的，对人们有价值的数据，称之为信息。我们根据这一定义，通常意义下的数字、文字、图画、声音、动画、影像等都是数据，如38℃、100米、50斤等都是不同的数据形式，不过他们都负载着有用的信息。例如医生读到红外探热器显示的38℃这个数据后，经过医生的专业知识处理后可得知患者发烧，从而能决定出治疗用药，医生的专业知识处理过程就是类似一种数据处理过程，得出患者发烧和治疗用药就是该数据蕴含的医用信息，能帮助医生做出适当决策。 因此“信息”是现代社会的一个很重要的“要素”，在现代社会中，人们随时随地自觉地或不自觉地都在与信息打交道，随着社会的发展，信息所起的作用也越来越明显，例如医学研究生在开题前需要检索、查询大量的与该医学课题相关的信息，以借鉴别人的经验，避免重复别人的工作；某药厂花费巨资对药品进行临床测试，以统计出该药品有效性和副作用的信息；一条有价值的商业信息可以使商家获得巨额利润；一个正确的临床诊断信息可以拯救一位患者的生命 在这里。我们看到了“信息”在人们的生产实践与社会实践中的重要性，“信息”像传统的“物质”和“能量”一样，已成为组成现代社会的一个很重要的“要素”，它正在改变人们的生存环境和生存方式。 1.2 信息技术与计算机 信息技术包括信息传递过程中的各个方面，即信息的产生、收集、识别、提取、变换、储存、传递、处理、检索、检测、分析、管理和利用等技术，其中计算机技术是其重要的特征之一。 计算机是一种用于高速计算的电子现代化智能设备，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能，是能够按照预定程序运行、自动高速地处理海量数据从而变为人们可利用的信息。英国科学家图灵设计的图灵机被认为是当代计算机的原型，而至今为止，美国的冯 诺依曼设计的“程序储存模式”的计算机模型被绝大多数的计算机所采用。其计算机模型包括运算器、控制器、存储器、输入设备和输出设备，也是现代计算机硬件的主要组成。 计算机内部数据处理主要采用二进制进行表示，因此现实中形态各异的数据在计算机中*终都需要转化为二进制数据进行处理。如数字、文本、符号、图像和声音等。计算机内部处理数据的*小单元是二进制的“位”（bit），数据存储是以“字节”（Byte）为单位的，一个位就代表一个0或1（即二进制），每8个位组成一个字节。在处理字母、文本数据的时候，计算机通常借用一个字符码表来变换为二进制。例如美国信息交换标准代码（American standard code for information interchange，ASCII码）专门将英文字母变为一个8位二进制来处理，因此一个英文字母通常占用1个字节空间；汉字可采用 Unicode码（统一码）进行变换处理，一般占用两个字节空间。 当然，随着信息技术的不断高速发展，计算机软硬件技术也不断更新突破，如生物计算机和量子计算机等新型技术的应用，将来会产生更高速、更智能的硬件模型。这意味着将来的计算机技术在处理海量数据时会更加高效与快速，其数据处理的能力将会不断提高，计算机的智能化应用也会更加普及。 1.3 数据处理基本概念 数据处理的基本目标就是从大量杂乱无章的、难以理解的数据中，按照人们的要求进行抽取并推导出有价值、有意义的信息。数据一般包括数值型和非数值型，数据处理是指对数据进行采集、分析、整理、加工、计算、统计和挖掘等，*终得到有用信息的处理过程。 现代社会生产和社会生活的各个领域基本都需要进行数据处理，随着社会发展的进程，数据处理技术为了满足信息获取的要求，其广度和深度都不断地发展，影响着人们的衣食住行。企业销售营销策略、科研数据统计等领域都应用广泛，可以说，现代社会各种应用领域已无法离开数据处理。医学是一门经验学科，需要不断总结统计数据进行治疗规律的研究，因此在医学上，数据处理与分析的作用更加重要，图1-1表明了数据处理与分析在医学治疗患者上的作用，通常患者数据经过数据采集，再经过一定的数据处理后，进行数据分析，*后通过分析得到针对该病情的治疗方案和用药方法，周而复始，不断循环，从而总结得到治病规律。 图1-1 数据处理与分析在医学上的作用 1.4 医学数据特点 数据在医学中有各种各样的形态，根据其表现形式，可以分为以下几种类型。 （1）描述性数据：如患者主诉、既往史、症状的文字描述等，此类数据一般属于文本型数据，文本型数据属于自然语言类型，计算机在理解此类数据时存在一定困难。 （2）日期数据：包括年、月、日、时、分、秒等时间数据，如患者入院时间、手术时间等。 （3）测量数据：医学客观检查数据，包括整数型、实数型数据，通常会根据不同的检查标准，有其对应的取值范围，如正常血压收缩压范围为90～140mmHg①。计算机对此类数值型数据处理比较容易。 （4）编码数据：医学涉及多种医学标准或编码，如药品编码、医疗仪器编码、国际疾病分类（ICD）编码等数据。这些编码数据一般可作为文本型或数值型数据进行处理。 （5）信号数据：根据不同医疗设备获取的数据，如红外体温检测仪读数、心率读数等数据，此类数据一般以数值型数据进行处理。 （6）图像数据：医疗中大量使用图像诊断设备，如 X线机、计算机体层成像（CT）、磁共振成像（MRI）等仪器读出的图像数据，计算机处理理解此类图像数据存在一定困难。 医学数据除了有不同数据类型的特点以外，还存在数据和变量分布类型的区别，如表1-1所示。 表1-1 医学数据变量的表现形式 1.5 医学数据处理与分析方法 一般情况下，医学数据分析与处理包括明确目标、医学数据的采集、计算机数据处理、计算机数据分析、数据显示与可视化等步骤。 1.5.1 明确目标 数据处理与分析首先就是要明确分析目标。例如某医院某科室的门诊量一直比其他科室少，作为数据处理与分析的目标就要弄懂为什么会产生这样的情况，以及提出如何解决优化科室设置的问题，从而提高客户满意度和医疗质量的目标。目标是数据处理与分析的驱动力，起到了问题导向的动能。明确的处理目标可以明确后续应该采集什么数据，使用什么方法来处理数据，有利于后续数据分析的开展。 1.5.2 医学数据的采集 医学数据，包括各种数字、符号、字母、文本、图像和信号等。广大医务工作者、生物科研人员要正确、高效地进行数据处理分析，必须要正确地采集和录入数据，这是开始科学研究的关键步骤，直接影响后期数据分析所得的医学临床结论可靠性。医学数据的采集方案需要经过科学严谨的设计，采集方式主要有直接采集、采访采集或者委托采集等。直接采集一般通过科室收诊数据的记录，采访采集则是通过有意识地对患者进行一些合理情况的咨询或进行反馈调查，这两种方法往往可结合起来使用。此外，我们也可以委托第三方专业机构采集数据，注意在选择第三方机构时要明确其是否具有专业资质；并在数据采集前和过程中，与其充分沟通，保证数据的真实、准确和可用。 需要注意的是，*后保存所采集的医学数据的结构格式约定与规范性。数据保存的结构格式对于后期数据分析非常重要，一份结构合理、格式明了、可持续更新的数据保存格式一方面可以便于收集者查验、更新，同时也可为后期数据分析打下良好的基础。 1.5.3 计算机数据处理 各种数据，包括数字、符号、字母和各种文字的集合，采集录入以后，就要由计算机对数据进行预处理，为此预先要由用户编制程序并把程序输入到计算机中，计算机是按程序的指示和要求对数据进行处理的。数据处理涉及的加工处理比一般的算术运算要广泛得多。计算机数据处理主要包括7个方面。 （1）数据转换：有些数据类型或形式不适合后面的处理，必须把相关信息转换成计算机能够接收的形式，主要是对数据进行规格化操作。如小数点处理、删除重复值、用函数和映射来转换数据、替换值、重命名、离散化和装箱、检测和过滤异常值、排列和随机采样等数学方法进行相关的转换，目标是令数据更容易进行分析。 （2）数据分组：指定编码，按有关信息进行有效的分组，达到分类的效果。 （3）数据组织：整理数据或用某些方法安排数据，以便进行处理。 （4）数据计算：进行各种算术和逻辑运算，以便得到进一步的信息。 （5）数据存储：将原始数据或计算的结果保存起来，供以后使用。 （6）数据查询检索：数据可以按用户的要求检索出有用的信息。 （7）数据排序：把数据按一定要求排成次序。 数据处理，就是指上述7个方面工作中的一个或若干个的组合内容，*后输出的是各种文字和数字的表格和报表等。 1.5.4 计算机数据分析 数据分析指数据采集和处理阶段后，对数据通过恰当的统计方法或更高级的分析手段，从而发现现存的问题，找到对应的可行的解决方案，得出有效的决策，帮助人们采取更科学的行动，是将复杂混乱的数据转变为对决策有价值的信息的过程。 数据分析一般分为描述性统计分析、探索性数据分析和验证性数据分析。描述性统计分析一般侧重于概括表述事物的关系，探索性数据分析一般侧重于发现数据新特征，验证性数据分析一般对假设进行证实或证伪。 数据分析可以对所在问题完成分析现状、分析原因，从而进行预测的应用效果，等于从数据中推导出预测的答案。例如通过分析医院药品数据历年使用情况，可以推导预测出今年医院应该如何进行药品采购和处理药品库存，从而减低医院的管理成本。 一般分析现状可采用对比分析、平均分析、总量和占有率分析等方法来实现。 分析原因可采用结构分析、漏斗图分析、关联分析、分组分析方法来实现。预测则可使用回归分析、时间进程、决策树，甚至神经网络等方法来实现。这些分析方法都不是一成不变的，要根据数据的情况和特性进行适当的组合，从而达到*佳的分析效果。 计算机数据分析则是结合计算机信息技术与数据分析原理，令数据分析的过程能更快更高效地实现，而且令复杂逻辑计算和海量大数据的处理与分析成为可能。 1.5.5 数据显示与可视化 数据显示与可视化指将单一的数据表达形式转化成图表等更直观的方式，良好的数据显示可以帮助人们感性地从抽象单一的数据中发现规律，用直观有趣的数据形象来催生读者对数据的理解。而我们熟悉的那些饼图、直方图、散点图、柱状图等，是*原始的统计图表，它们是数据可视化的*基础和常见的应用。作为一种统计工具，用于创建一条快速认识数据集的捷径，并成为一种令人信服的沟通手段，传达存在于数据中的基本信息。所以我们可以在大量 PPT、报表、方案以及新闻中见到统计图形。*原始统计图表只能呈现基本的信息，发现数据之中的结构，可视化定量的数据结果。但面对复杂或大规模异型数据集，比如商业分析、财务报表、人口状况分布、媒体效果反馈、用户行为数据等，数据可视化面临处理的状况会复杂得多。 数据可视化就是用图形来表示信息和数据。借助图表