光场成像技术与设备

第1章 光场成像概论 　　1.1 传统光学相机理论与发展 　　人类通过眼睛来观察世界，后来科学研究发现眼睛就是一个成像系统的组成部分。光线通过视网膜和神经来成像并传导到大脑中存储。通过成像的方式来记录世界是人类的本能，人体本身就是一个复杂的成像系统。人的眼睛就是这个复杂成像系统的“镜头”，大脑就是“机身和后背”。不同于语言和文字，影像能够直观形象地记录现实世界。对现实世界中的物理对象进行成像，是人类不断探索和记录现实世界的基础需要。因此，人类也在不断发展能够成像的技术设备。相机是人类*常见的也是*传统的成像设备，其自身在不断地演变和发展。在2000多年前，墨子进行了**次小孔成像的实验。在近代，牛顿又应用光是沿直线传播的这一基本理论，给出了小孔成像模型，但小孔成像模型并没有导致**台光学相机的产生。基于斯涅尔定律逐步发展起来的透镜成像模型，给相机的诞生提供了理论模型的基础。世界上**台光学相机诞生于1839年，法国画家达盖尔以自己发明的底片和显影技术，结合哈谢尔夫发明的定影技术和维丘德发明的印相纸，发明了银版照相机。这台照相机由两个木箱组成，将一个木箱插入另一个木箱中进行调焦，用镜头盖作为快门控制曝光时间，就可以拍摄出清晰的图像（图1-1）。 　　图1-1 达盖尔和他发明的照相机 　　19世纪，光学相机迎来了一个快速发展的时代。1841年，沃哥兰德发明了世界上**台全金属机身的照相机，该照相机还安装了世界上**只*大相对孔径为1/3.4的镜头。1845年，马滕斯发明了世界上**台可以遥控拍摄人眼整个视角的全景照相机。值得说明的是，全景这个词*初指的是能够覆盖整个人眼视角(约150°)的取景范围，但现在由于技术的发展，360°的影像都已经成为一种常见的影像形式。1849年，布鲁斯特发明了立体照相机和双镜头的立体观片镜。1899年，迪奥隆和勒旭额尔发明了世界上**台彩色照相机，至此，拍摄景物进入了彩色时代。 　　普通相机一般是利用透镜光学成像原理形成影像，并使用感光元件记录影像。相机的进步可以从相机和镜头结构两条线来论述。*早的光学相机结构非常简单，仅仅包括暗箱、镜头和感光元件。随着科学技术的快速发展，相机发展成为了一种结合光学、精密机械、电子技术和化学等技术集成的复杂产品，组成结构也变得较为复杂。主要包括镜头、光圈、快门、取景器等重要组件。镜头已经从单一的透镜发展成透镜组，使得所拍摄景观在焦点平面上形成清晰的影像。光圈用于控制光线透过镜头进入机身内感光面的光量，通常在镜头内。光圈控制了汇聚经过镜头的光量，因此，实际的通光孔径随着光圈的有效孔径的改变而改变。快门则控制着光线在感光片上停留时间的长短。取景器用于确定被拍摄景物的范围以便进行拍摄构图，现代照相机的取景器通常还带有测距、对焦等功能。20世纪初，光学相机迎来了外形和体积上的大变革。1905年，美国柯达公司发明了折叠便携式照相机，受到了大众的热烈欢迎。1928年，世界上**台双镜头反光照相机由德国弗兰克和海德克公司推出。与此同时，照相机的性能也在逐步提高和完善，光学取景器和测距器等被广泛应用在照相机上，机械快门的调节范围不断扩大，黑白感光胶片的感光度、分辨度和宽容度不断提高，彩色感光片也开始被广泛应用。但是，感光片是一种不易于使用、不实时、需要时间处理的成像物质。和人眼这个所见即所得的成像系统相比，显然还有较大的差距。随着数字技术的发展，特别是感光元件的出现，相机从模拟相机时代向数码相机时代迈进。 　　感光元件是光学相机的核心组成部分，21世纪前，相机的成像载体一般是感光胶片，尽管制作工艺和材料经历很多进步，但胶片不能实时成像，必须经过后续系列步骤才能得到采集的影像。电荷耦合元件(charge-coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)等感光电子元器件的出现革新了传统光学相机的成像和使用方式，数字、实时、非消耗成为数码成像的主要特点。电子感光元器件的面积大小与像素大小成正比。数码成像的彩色形成和胶片通过感光物质的方式不同，采用的是一种称为Bayer真彩色成像的方式。电子感光元件中的每个像素传感器都是一个探测器，Bayer真彩色成像在整个电子感光元件在覆盖一层颜色滤波阵列(color filter array，CFA)，通过这种滤光设备，每个像素只接受到红、绿、蓝(red，green，blue，RGB)波段中的某一个波段的能量，其排列方式如图1-2所示。所以，覆盖一层Bayer颜色滤波阵列保证了每个像素只保留一个颜色成分。每个像素除自己接收的波段信息外，其他两个波段的信息是通过邻近相关相同波段插值形成。这样每个像素的RGB值其实包括两个来源，一是RGB中的某一个波段是自身接收的；二是RGB中其他的两个波段是通过邻近像元相同波段信息插值而来。 　　图1-2 CCD结构示意 　　1.2 光场理论起源与发展 　　普通相机成像的基本过程就是物方的物体发出(或反射出）的光经过相机的透镜组后聚焦到成像平面上。由于一旦固定各个成像参数后，光线能够聚焦到成像平面上就能成像清晰，否则就模糊。产生这一现象的主要原因是我们记录的成像结果是某一个物体发出的光线聚焦积分的结果。那么，自然就产生一个假设，如果记录的是物体发出的光线，而不是多个光线聚焦积分的结果，那么就可能把这些光线按照需要聚焦到不同的成像平面上，也就是物体的成像清晰程度是由事后需要决定的，而不是成像前的设定决定的。在光场概念范畴中，认为物体反射的光线充满了整个像方空间。记录了这些光场，就是记录了由光线形成的空间。 　　光场(light field)的理论*早于1936年由Gershun提出，Gershun认为光场和其他的物理场具有相似的属性特征（Gershun et al.，1939）。Gershun用空间光线的辐照度的空间分布来描述光场，这是光场的*初理论。Gabor（1948）利用两束相干光线，获得了**张全息图，这张全息图不仅记录光线在二维成像面上的积分，还记录了包含位置和方向信息的光线辐射，一定程度上，这是**张光场图像。Adelson和Bergen（1991）根据人眼对光线视觉感知的特性，提出用七维函数P(x，y，z，θ，φ，t，λ)来表征空间中的几何光线，其中(x，y，z)为光线中任意一点的三维坐标，(θ，φ)为光线的传播方向，λ为光线的波长，t为时间，七维函数又称之为全光函数(plenoptic function)。由于全光函数过于复杂，倘若只考虑光线在空间中的传输，光线的波长和发射时间一般不会发生变化，因此McMillan认为任意时刻的空间光线可以由五维坐标(x，y，z，θ，φ)来表示(McMillan and Bishop，1995)。为了更进一步地对全光函数进行简化，Levoy和Hanrahan（1996）将五维的全光函数降为四维，并且提出光场渲染理论和双平面模型来描述静态的可见光。双平面模型利用两个互相平行的参数化平面表示四维光场。假设光线在没有遮挡物和散射介质的区域，忽略光线在传播过程中波长和时间维度的变化，则任意一个包含位置和方向信息的光线都可以用双平面参数来表示，空间中的光线穿过这两个平面分别相交于点(u，v)和点(s，t)，光线即可用四维光场函数L(u，v，s，t)表示，如图1-3所示。在光场成像设备中，我们可以认为(u，v)表示光线与微透镜阵列的交点坐标，(s，t)表示光线与CCD传感器探测面的交点坐标。在整个四维空间中，一条光线对应整个光场的一个采样点。四维光场理论的出现，为全光相机、相机阵列等光场采集设备提供了理论基础。现行的大部分单体全光相机和相机阵列的光场采集设备大多是基于四维光场理论的。关于光场采集设备，后面的章节将有进一步论述。 　　图1-3 双平面模型 　　1.3 光场采集设备演变 　　传统光学相机的成像方式是所见即所得，光场成像作为一种计算成像方式，与传统成像方式有所不同。光场成像方式所得的光场需要经过相应的数字化处理才能得到图像。因而，光场成像的过程其实包含着光场数据的采集和光场数据的处理两个部分。从结构上可以将光场的采集设备划分为两种，一种是全光相机，全光相机是指在单个相机中加入特殊的光学器件，例如微透镜阵列，形成透镜阵列和CCD(或CMOS)两个参考平面，每一个微透镜捕获光线在主透镜处的所有角度分布。另一种是相机阵列，将数十个甚至几百个普通相机形成阵列，起到了微透镜进行角度采样的作用。但其实还有其他不同的方式，即通过这些方式，采集到不同角度的、或者能够分离出不同角度的影像，经过事后处理，形成四维光场的组织形式，我们可以把这些方式称之为合成光场。 　　在相机阵列出现之前，人们一般将传统单体相机安装到机械移动装置当中，通过调节机械装置来完成对目标场景不同视角图像的采集。较为有代表性的机械装置包括Levoy和Hanrahan（1996）设计的移动机械臂和Isaksen等（2000）设计的可以用计算机控制的二维移动平台。Levoy等将传统单体相机安装到移动机械臂上，通过调节移动机械臂来移动相机，多次曝光来获取目标场景不同视角的图像（图1-4）。 　　图1-4 移动机械臂采集光场方式 　　资料来源：Levoy，1996 　　然而采用移动机械臂或者二维移动平台这些方式采集光场都需要耗费一定的时间，并且仅能够拍摄静态物体，为了弥补这一缺陷，多相机组合法采集光场的方式应运而生。多相机组合法采用多个传统相机组成相机阵列的方式，形成由多个镜头投影中心组成虚拟投影参考平面，以及多个CCD(或CMOS)组成的虚拟成像平面。同时通过采用多个相机的方式来获取目标场景中同一点处不同视角的光线辐射强度，每个相机拍摄的图像可以看作是光场在不同角度的采样图像。比较有代表性的相机阵列是Yang等（2002）和斯坦福大学的Wilburn等（2005）设计的相机阵列。Yang等（2002）设计的相机阵列采用8×8的矩阵结构，包含64个相机可以同时获取目标场景64个视角的图像（图1-5）。 　　图1-5 Yang等设计的相机阵列 　　资料来源：Yang et al.，2002 　　Wilburn等人在对大型相机阵列的光场采集方式进行了系统性的研究之后，针对不同场景设计出了多种不同配置的相机阵列。这些相机阵列严格把控各个相机的时间同步精度和相对位置精度，进而从时间和空间上对光场进行更为精确的处理，以期能够获取更高质量的合成图像（图1-6）。 　　图1-6 斯坦福大学Wilburn等设计的相机阵列 　　资料来源：Wilburn et al.，2005 　　相机阵列各子相机之间的距离不同，整个相机阵列就有不同的用途。当所有