绘制管线

本文摘自《实时计算机图形学（第二版）》

• 给定相机，三维物体，光源，照明模式，以及纹理等条件，绘制生成一幅二维图像。
• 在图像 ，物体的位置与形状由相机位置，几何形状以及环境特性等因素决定。视觉外观则受材质属性，光源，纹理，以及光照模型影响。
• 一条管线包含多个阶段，管线的整体快慢程度是由管线中最慢的那个阶段决定，例如是石油管道中，只有等到石油已经从第1阶段流到第2阶段以后，才能从第3阶段流到第4阶段
• 时实计算机图像学中，也存在这种管线，概念上分为3个阶段 应用阶段----> 几何阶段---->光栅阶段。在绘制管线中，每一个阶段也可能就是一条管线，这就意味着它可以包含几个子阶段。
  
• 绘制速度（吞吐量）：由最慢的管线阶段决定，即更新速度，FPS（每秒绘制的图像数量）或者用HZ，由于涉及到管线结构特点，不能将绘制的所有数据通过整个管线的时间进行简单相加，因为他们可以并行处理，如果能确定瓶颈（就是最慢的管线），同时知道所有数据通过该阶段需要花费的时间，就可以计算出绘制速度。例如：瓶颈阶段20ms来执行，那么绘制速度是1/0.020 = 50 HZ。
• 实例： 输出设备最高更新频率 60Hz 绘制管线的瓶颈位置需要62.5ms。忽视输出设备，最高绘制速度1/0.0625 = 16Hz. 将这个值调整为输出设备的频率。60Hz绘制速度可以是60Hz/2 = 30Hz ，60Hz/4 = 15.这就说明期望的绘制速度可以是15Hz,因为这是小于16Hz时输出设备可以达到的最快速度。

---

• 应用阶段 ： 有应用程序驱动，可以可以通过软件实现，这个阶段可以包括 碰撞检测，加速度算法，动画，以及力反馈等。
  1）通过软件实现的，因此开发者对该阶段完全控制，可以通过改变实现方法来改变实际性能。例如：减少三角形数量来达到此目的
  2）应用阶段末端，将需要绘制的几何体（绘制图元：点，线，面）输入到绘制管线的下一个阶段。最终在屏幕上（具体形式取决于具体的输出设备）显示出来。
  3）应用程序是基于软件方式实现，因此不能像几何和光栅那样可以继续分成若干个子阶段。但是为了提高性能，可以在几个并行的处理中同时执行，在CPU设计上，称为超标量体系结构，他们在同一一个阶段同一时间做不同的几件事。
  4）碰撞检测：当检测到两个物体之间存在碰撞关系时，就会产生一个信号并送回给碰撞物体，如同力反馈那样。此外应用程序阶段也是检查其他的输入信息源的地方：例如 键盘，鼠标，虚拟现实（VR）中的头盔等，根据输入采取相应的不同操作，还包括纹理动画，变换仿真，几何变形，

---

• 几何阶段 ：体现结构，可以硬件或者软件实现，包括变换，投影，光照等处理。此阶段主要是计算绘制的内容，如何绘制，已经在哪里绘制。

1）主要负责大部分多边形和顶点操作，改阶段还进一步细分为几个功能阶段
2）几何阶段的计算量非常高的任务，在只有一个光源的情况下，每个顶点大约需要100此左右精确的浮点运算操作。
I）模型与视点变换

• 屏幕的显示过程中，模型通常需要变换到若干个不同空间或坐标系统中。模型最初处于自身模型空间中里，没有任何变换，每个模型 和一个模型变换相联系，这样就可以定位和定向。同一个模型还可以和几种不同的变换联系一起
• 允许同一个模型有多个副本（实例） 在场景中的不同位置，方向和大小。
• 模型变换对象：模型顶点/法线
• 物体的坐标称为 模型坐标：模型变换应用这些坐标中。那么这个模型就位于世界坐标或世界空间，世界空间是唯一的，所有模型经过变换以后都位于统一空间中了。

---

相机空间 / 观察空间：只对相机（视点）可以看到模型进行绘制。

• 相机在世界空间中有一个位置和方向：作用放置校准相机，为了方便投影和裁剪，就必须对相机和所有的模型进行视点变换，目的相机放在原点，然后进行视点校准，使其z轴负方向，y轴指向上方，x轴指向右边。在视点变换后，实际的位置和方向就依赖于当前的应用程序接口（API）所有的模型变换和视点变换都是用一个4x4的矩阵实现，处于效能考虑，现将所有的矩阵级联起来，相乘，直接从模型空间到视觉空间

---

II）光照和着色

• 为了让模型看起来更加的真实，可以给场景配上光源
• 受光源影响的模型：可以用光照方程来计算模型上每个顶点的颜色，这个方程就是模拟了光子和物体表面之间的实际作用
• 现实世界：光源发出光子，被物体表面反射/吸收，在实时计算机图形学中，没有太多的时间来模拟这种现象，例如，这个方程并没有包含真实的反射和阴影。此外模型在图形上通常以三角形来表示，目前，大部分图形硬件都采样三角形这种几何图元。
• 物体表面的顶点颜色： 由光源以及其特性，顶点的位置和法线，顶点所在的材质属性来计算，当在屏幕上绘制三角形时，可以 通过对三角形顶点的颜色进行插值，这种插值技术成为Gouraud着色。为了模拟更高级的光照效果，在光栅阶段可以用像素着色技术
• 通常光照计算在世界空间中进行，但是也可以对光源进行视点变换，在观察空间中会得到同样的光照效果，这是因为：即使参与光照计算的所有实体都变换到同一个空间（观察空间）中，光源，相机，以及模型之间都是相对位置依然保持不变的。

---

III）投影

• 光照处理后，绘制系统就开始了进行投影。
• 将视体变换为一个单位立方体，这个立方体对应的顶点分别是（-1，-1，-1）和（1,1,1）通常称为单位立方体为规范视体（Cannonical View Volume）
• 正投影（可视体通常是一个矩形盒子）: 正投影可以把这个视体变换为单位立方体，特性：平行线在变换后彼此仍然平行，这种变换是平移和缩放的组合
• 透视投影（进大远小）：物体距离离相机越远，投影之后就会变小，平行线可以在地平线相交，同样也可以将这个椎平截投体同样变换到立方体单位中。
• 以上2中投影都可以通过4X4矩阵来实现。
• 最终任何一种变换之后，都可以认为模型位于归一化处理后的设备坐标系中，这种变换把一个体变换为另外一个体，它是一种投影形式，因为在投影之后产生图像中的z坐标系将不复存在，这种投影形式将模型从三维投影到二维。

---

IIII）裁剪

• 只有在图元完全或部分地存在于视体内的时候，才需要将其发送到光栅阶段，在这个阶段可以把这些图元在屏幕上绘制出来，当图元完全在一个视体内部，直接进入下一个阶段，完全在视体外部的图元，将不会进入下一个阶段，因为没有被绘制，一条直线一部分在视体内一部分在视体外，视体外的那个端点由一个新的端点替代，这个新的端点就是线段和视体（View Volume）的交点。投影变换的图元只针对立方体裁剪

---

IV）屏幕映射

• 只有在视体内部经过裁剪的图元，才可以进入屏幕映射阶段，进入这个阶段的时候，坐标仍然是三维的，每个图元的x和y坐标变换到了屏幕坐标系中，屏幕坐标系连同z坐标一起称为窗口坐标系，假设在窗口里对场景进行绘制，窗口的最小拐角（x1 ，y1）和最大拐角（x2，y2）。x1<x2， y1<y2
• 屏幕映射首先进行平移，随后缩放，映射过程z坐标不受影响，新的x和y坐标称为屏幕坐标系，与z坐标一起（-1 < z < 1）进入光栅阶段

---

• 光栅阶段 ：利用前面阶段产生的数据进行图像绘制。
  1）经过变换和投影之后的顶点，颜色以及纹理坐标（均来自几何阶段），光栅阶段的目的就是给每个片元正确配色，一遍正确绘制整个图像，这个过程称为光栅化或者扫描转换，也就是把屏幕空间的二维顶点转化为屏幕上的像素，屏幕空间有一个z值（深度值），一种或者两种颜色，以及一组或者多组纹理坐标，其中纹理坐标会与顶点或者屏幕上的像素联系在一起，不像几何阶段那样进行的是单多变操作，光栅阶段进行的逐片元操作，每个片元的新词存储在颜色缓冲器里面
  2）颜色缓冲器 是一个矩形的颜色序列（每种颜色包含红，绿，蓝3个分量），光栅化必须在硬件中完成，对于高性能图形系统来说。
  3）为了避免观察这看到对图元进行处理并发送到屏幕的过程，图形系统一般使用双重缓冲机制，这意味着屏幕绘制一个后置缓冲器一离屏进行，一旦屏幕已在后置缓冲器中绘制，后置缓冲器中的内容就不断与已经在屏幕上显示过的前置缓冲器的内容进行交换。注意，只有当电子枪不影响显示的时候，才进行交换
  2）这个阶段还负责可见性问题，当绘制完成整个场景的时候，颜色缓冲器中应该包含从相机视点可以观察到场景图元，对于大多数图形硬件来说，这个过程是通过z缓冲器（深度缓冲器）算法来实现的，
  3）每个像素都存储一个z值，这个值是从相机到最近图元的距离，如果新的z值小于z缓冲器的值，说明将要绘制的图元离的原来的的近，那么像素z值颜色就对当前的进行更新。否则就不更新，这个算法是任意绘制顺序，
  4）透明物体，必须在所有非透明像素之后进行，而且是从后到前，
  5）在三维场景的绘制中，纹理是一种能提高真实感的有效技术，纹理图像可以一维，二维，三维。目标物体可以是一系列连在一起的三角形，也可以是一些线段，四边形，球体，圆柱体，参数曲面等
  颜色缓冲器，用来存储颜色，z缓冲器用来存储每个像素的z值。但是还可以使用其他缓冲器来昌盛一些图像的不同组合，alpha通道和颜色缓冲器联系在一起可以存储一个和每个像素相关的不透明的值，
  5）模板缓冲器：作为OpenGL的一个部分，通常每个像素包含1-8比特，可以通过各种函数将图元绘制到模板缓冲其中，其中的内容可以用来控制颜色缓冲器和Z缓冲器绘制。
  6）帧缓冲器（Frame Buffer）通常包含一个系统所具有的所有缓冲器，但是有时候认为是颜色缓冲器和Z缓冲的组合，
  7）累积缓冲器：是对帧缓冲器的一种补充，可以用一组操作符对图像进行累积，如，运动模糊，可以对一系列表示物体运动图像进行累积和平均。此外 还可以产生的效果包括场深度，反走样和软阴影