Earth Guardian

You are not LATE!You are not EARLY!

0%

Camera 相关名词等

发表于 更新于 分类于

Camera 中相关名词解释，图像视频基础格式等基础知识。

摄像头

摄像头的简单结构：

0109-android-camera-2-baisc-camera-hardware.jpg

感光材质

摄像头传感器将镜头中的光信号转换为电信号，再经过内部 A/D 转换为数字信号，感光材质分为： CCD, CMOS 两种：

  • CCD
    CCD: Charge Coupled Device ，电荷耦合器件传感器：使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成电信号。 CCD 由许多独立的感光单位组成，通常以百万像素为单位。当 CCD 表面受到光照时，每个感光单位都会将电荷反映在组件上，所有的感光单位产生的信号加在一起，就构成了一幅完整的图像。 CCD 传感器以日本厂商为主导，全球市场上有 90% 被日本厂商垄断，索尼、松下、夏普是龙头。
  • CMOS
    CMOS: Complementary Metal-Oxide Semiconductor ，互补性氧化金属半导体：主要是利用硅和锗做成的半导体，使其在 CMOS 上共存着带 N(-) 和 P(+) 级的半导体，这两个互补效应所产生的电流可以被处理芯片记录并解读成影像。 CMOS 传感器主要以美国、韩国和中国台湾为主导，主要生产厂家是美国的 OmnVison, Agilent, Micron ，中国台湾的锐像、原相、泰视等，韩国的三星、现代。

RGB

RGB: Red Green Blue ，指的是红黄蓝三基色。传统的红绿蓝格式有： RGB565, RGB888 等，其 16bit 数据格式为 5bit R + 6bit G + 5bit B ， G 多一位是因为人眼对绿色比较敏感。

YUV

YUV: luma (Y) + chroma (UV) ，指的是亮度和色度表示的像素格式。这样分开的好处就是不但可以避免相互干扰，还可以降低色度的采样率而不会对图像质量影响太大。色度 UV 定义了颜色的两个方面：色调 Cb 与饱和度 Cr；其中 Cr 反映了 RGB 输入信号红色部分与 RGB 信号亮度值之间的差异； Cb 反映的是 RGB 输入信号蓝色部分与 RGB 信号亮度值之间的差异。主要采样格式有 YCbCr 4:2:0, 4:2:2, 4:1:1, 4:4:4 等：
人眼对色度的敏感程度要低于对亮度的敏感程度，人类视网膜上的视网膜杆细胞要多于视网膜锥细胞，说得通俗一些，视网膜杆细胞的作用就是识别亮度，而视网膜锥细胞的作用就是识别色度。所以眼睛对于亮和暗的分辨要比对颜色的分辨精细一些，因此存储时没有必要存储全部颜色信号。不同的采样格式，存储的色度信号不同，比如 YCbCr 4:4:4 即每 4 点 Y 采样，就有相对应的 4 点 Cb 和 4 点 Cr ；换句话说，在这种格式中色度信号的分辨率和亮度信号的分辨率是相同的。每种采样格式对应的图示如下：

0109-android-camera-2-basic-yuv-format.png

YUV 与 RGB 是可以相互转换的，转换公式如下：（ RGB 取值范围均为 0-255 ） 

1
2
3
4
5
6
Y = 0.299R + 0.587G + 0.114B
U = -0.147R - 0.289G + 0.436B
V = 0.615R - 0.515G - 0.100B
R = Y + 1.14V
G = Y - 0.39U - 0.58V
B = Y + 2.03U

Bayer 格式

Bayer 格式图片是柯达公司科学家 Bryce Bayer 发明的，Bayer Array 拜耳阵列被广泛运用数字图像。Bayer 格式是相机内部的原始图片, 一般后缀名为 .raw ，因此也成为 RAW 格式。
对于彩色图像，通常需要采集 RGB 三种颜色，最简单的方法就是用滤镜的方法，红色的滤镜透过红色的波长，绿色的滤镜透过绿色的波长，蓝色的滤镜透过蓝色的波长。如果要采集 RGB 三基色，则需要三块滤镜；但是 Bayer 阵列很好的解决这个问题。Bayer 格式图片在一块滤镜上设置的不同的颜色，通过分析人眼对颜色的感知发现，人眼对绿色比较敏感，所以滤镜的 RGB 通常为 1:2:1 组合。下图中灰色的一层表示感光元件，每个方块代表一个像素块，上面一层彩色的就是 Bayer 滤镜。

0109-android-camera-2-basic-bayer-format.jpg

由于感光元件每个像素只记录一种颜色信息，所以需要使用插值算法将 Bayer 图像恢复会彩色图像。

其他术语

  • Lens SHADING 镜头均匀性
    镜头均匀性指画面中心的明亮度到四周的明亮度比值。 Lens shading 分为两种：亮度阴影 luma shading 和色彩偏差 color shading ； luma shading 产生的原因是镜头的通光量从中心到边角依次较少，导致图像看起来，中间亮度正常，四周偏暗。
  • OIS 光学防抖
    OIS: Optical Stabilization 光学防抖
  • Tone Map 色调映射
    Tonemapping 通常被理解为将颜色值从高动态范围 HDR 映射到低动态范围 LDR 的过程。 Tonemapping 只有在相机启用 HDR 时才能正常工作。建议给光源高于正常强度的亮度，从而让其具有更大的范围。
  • ANTIBANDING 灯源工频干扰模式
    ANTIBANDING 是指照明光源干扰产生的明暗条纹问题。
  • HOT_PIXEL 热点校正
    传感器的热噪声：热点 hot pixel ，是因为芯片温度过高产生的噪点
  • LENS FACING 镜头人头方向
    摄像头镜头成像方向与屏幕预览的关系。
  • APERTURES 光圈
  • FOCAL LENGTH 光学变焦焦距
  • AE 自动曝光
    自动曝光 Auto Exposure ：就是光圈和快门的组合。光圈，快门速度， ISO ； Gamma 即人眼对亮度的响应曲线。
  • AWE 自动白平衡
    自动白平衡 Auto White Balance ：简单来说就是：摄像机对白色物体的还原。相关概念：色温。
    定义：要求在不同色温环境下，照白色的物体，屏幕中的图像应也是白色的。色温表示光谱成份，光的颜色。色温低表示长波光成分多。当色温改变时，光源中三基色(红、绿、蓝)的比例会发生变化，需要调节三基色的比例来达到彩色的平衡，这就是白平衡调节的实际。
  • AF 自动对焦
    自动对焦 Auto Focus 可以分成两大类：一类是基于镜头与被拍摄目标之间距离测量的测距自动对焦，另一类是基于对焦屏上成像清晰的聚焦检测自动对焦(清晰度算法)。变焦就是把远处的物体拉近。对焦是让图像清晰。
  • 3A
    3A 是 AE, AWE, AF 的统称。
  • ISO 感光度
  • Shtter 快门
  • 光学变焦和数码变焦
    通过镜头的调整，拉近拉远所要拍摄的对象，保持像素不变和画质基本不变，却可以拍到自己理想的物像。数码变焦：其实没有什么变焦，只是从原图片中截取出来放大，屏幕上看到变大了，实际上画质并没有本质提高，而像素比相机能拍摄的最大像素降低了。
  • Black level 黑电平
    黑电平 Black Level Correction 也就是黑色的最低点，以 8bit 数据来说，指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。定义图像数据为 0 时对应的信号电平。
    8bit 数据，单个像素的有效值为 0-255，但是实际 AD 芯片（模数转换芯片）的精度可能无法将电压值很小的一部分转换出来。因此 sensor 在出厂的时候，厂家会在 AD 的输入之前加上一个固定的偏移量，比如设置为图像数据输出范围 5-250 等，最低电平不为零。因此我们就需要对图像数据范围进行调整，使其最小值为零，这就是黑电平校正。

ZSL

ZSL:Zero Shutter Lag 直译为零秒延时拍照， Camera 拍照的时候往往会有一些延迟的体验，比如从按下拍照键到照片拍好放到内存里，这有一个时间差； ZSL 就是为了消除这种延迟，提供一种“拍即视”的体验。

  • 普通模式下拍照数据流
    0109-android-camera-2-basic-capture-noraml.png
    0109-android-camera-2-basic-capture-noraml-shutter.png
  • ZSL 拍照数据流
    0109-android-camera-2-basic-capture-zsl.png
    0109-android-camera-2-basic-capture-zsl-shutter.png

ZSL 下的拍照又分为：普通拍照 Single shot 和连拍功能 Brust mode ，它们对应的数据流为：

  • single shot
    预览之后， sensor 和 VFE 会产生快照和预览帧，并且会把最新的一些帧保留在图像 buffer 中。一旦“取图”事件被触发，系统就会在第一时间内从图像 buffer 中把相关的图像找出并返回给用户，这就是 ZSL 零秒延迟。
    0109-android-camera-2-basic-capture-zsl-single-shot.png
  • brust mode
    Burst mode 是 single shot 特征的自然延伸。此功能允许用户捕获的不仅是当前帧，但也有几个帧之前和之后的当前帧的少数几个帧，从而捕捉到一个序列的图像到内存。这将为用户提供不同的快照时间，从中选择一个或多个帧来保存。应用了多少帧的选择自由是多少追溯帧和未来帧在记忆的局限性上，追溯和未来帧是相对于真正的快门时间的。
    0109-android-camera-2-basic-capture-zsl-brust-mode.png

技术指标

图像解析度/分辨率(Resolution)：

规格 宽 x 高 像素点 像素简称
QSIF/QQVGA 160 x 120 19200
QCIF 176 x 144 25344
SIF/QVGA 320 x 240 76800
CIF 352 x 288 101376 10万像素
VGA 640 x 480 307200 30万像素(35万是指648X488)
SVGA 800 x 600 480000 50万像素
XGA 1024 x 768 786438 80万像素
SXGA 1280 x 1024 1310720 130万像素
UXGA 1600 x 1200 1920000 200万像素
QXGA 2048 x 1536 3145728 300万像素(320W)
QSXGA 2592 x 1944 5038848 500万像素
2816 x 2112 2947392 600万像素
3072 x 2304 7077888 700万像素
3200 x 2400 7680000 770万像素
3264 x 2448 7990272 800万像素
3876 x 2584 10015584 1000万像素

彩色深度(色彩位数)：

  • 256 色灰阶：有 256 种灰色（包括黑白）
  • 15 或 16 位彩色（高彩色）： 65536 种颜色
  • 24 位彩色（真彩色）：每种原色都有 256 个层次，它们的组合便有 256*256*256 种颜色
  • 32 位彩色：除了 24 位彩色的颜色外，额外的 8 位是储存重叠图层的图形资料( alpha 频道)

编码格式

图像格式

  • RAW
    RAW 格式：RAW Image Format ，表示未经加工的图片。可以理解为 RAW 图像就是 CMOS 或者 CCD 图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW 文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据（Metadata，如 ISO 的设置、快门速度、光圈值、白平衡等）的文件。RAW 是未经处理、也未经压缩的格式，可以把 RAW 概念化为“原始图像编码数据”或更形象的称为“数字底片”。
  • TIFF
    TIFF: Tagged Image File Format 标签图像文件格式，是一种主要用来存储包括照片和艺术图在内的图像的文件格式，与 JPEG, PNG 一起成为流行的高位彩色图像格式。
  • DNG
    DNG: Digital News Gathering 数字负片，是一种用于数码相机生成的原始数据文件的公共存档格式。DNG 文件格式是一种跨平台文件格式，用于存储来自摄像机传感器的像素数据，并且应用最少的预处理。DNG 文件允许在用户定义的颜色空间中定义像素数据，并且具有允许在后处理期间将该像素数据转换为标准 CIE XYZ 颜色空间的关联元数据。DNG 解决了不同型号相机的原始数据文件之间缺乏开放式标准的问题, 从而有助于确保摄影师们将来能够访问他们的文件。DNG 格式中的图像数据基于 TIFF 格式。
  • JPEG
  • PNG

视频格式

  • YUV
    YUV 存储格式有两大类：
    • planar ：先连续存储所有像素点的 Y ，紧接着存储所有像素点的 U ，随后是所有像素点的 V
    • packed ：每个像素点的 Y, U, V 是连续交替存储的

参考文档