本文介绍数字成像系统概论，主要包括成像系统的应用、成像系统的组成、成像系统的实时控制以及成像系统的评价。
数字成像系统的应用
数字成像系统应用：
- 最广泛的：以数码相机为代表，比如：pc摄像头、监控相机、运动相机、行车记录仪、手机照相机、无人机照相机等等。
- 外延部分：医学成像系统（比如x光扫描）、机器视觉、太空照相、微波成像
成像系统组成
从成像过程来看，成像系统由如下部分组成：
成像就是光照到物体上，反射到成像系统里面，经过镜头（lens）、光圈（iris），ir、快门然后到sensor进行感光，sensor出来的数字信号进入到isp，isp处理之后一般转成yuv，根据不同的场景，输出到不同的组件，比如去显示、去做编解码保存、用ai做图像后处理。
每个部分涉及到的知识点，如下表所示：
| 光源 | 光学 | 机械 | 半导体 | 处理器 |
|---|---|---|---|---|
| 自然光 | 镜头 | 对焦马达 | sensor | ae awb af tuning |
| 人造光 | ir filter | 机械快门 | isp | postprocessing（后处理） |
| 闪光灯 | 电机光圈 | dsp | 存储 | |
| zoom马达 | vpu/encoder |
所以，数字成像系统是一个软硬件结合、光机电结合的复杂系统。
成像系统的两条基本主线
成像系统从信号的维度看有两条主线：
- 图像重建：自然界原始的图形是比较完美的，但经过光学的变换、半导体的转换后就会产生各种缺陷。图像重建的目的是清晰勾画出正确的景物
- 光学缺陷与局限：mtf、像差、场曲、vignetting/luma shading、glare、geometry distortion等等
- 半导体缺陷与局限：smear/blooming、defect pixel、sensitivity、dynamic range、green imbalance noise、temperal noise、fix pattern noise、color noise、spatial noise等等
- 色彩重建：sensor感知到的信号是无颜色的，但我们需要还原出图像原有的色彩，有时候不光颜色要正确，还要符合人的主观趋向。色彩重建的目的是还原出准确丰富的色彩
- 光学缺陷与局限：color shading、chromatic aberration、purple fringe等等
- 半导体缺陷与局限：cross talk、black level、linearity等等
成像系统的实时控制
3a是成像系统中非常重要的一环，因为硬件的部分（如isp、sensor、镜头等）各厂商同样的价格拿到的质量也差不多。如果想要得到更好的用户体验，那么需要在软件、系统调教、3a算法、图像后处理算法方面加入更多的心思。
成像系统实时控制包括如下部分
- 系统静态参数
- 线性化、iso、static white/sensitivity、demosaic、noise profile
- 系统动态参数
- shading、ccm、black level、noise reduction、sharpening
- ae
- sensor analog gain、曝光时间、光圈、digital gain、gamma、tone mapping、闪光灯、nd filter
- af
- 对焦马达、zoom马达
- awb
- 白平衡增益
成像系统评价
比较流行的三家图像质量评价公司，他们都提供了不同的软件协助分析
- https://www.image-engineering.de
- https://www.dxomark.com
- http://www.imatest.com
通常我们从图像质量和性能两个方面对成像系统进行评价
图像质量方面包括：
- exposure
- colour
- contrast
- sharpness
- noise
- dynamic range
- …
性能方面包括：
- shutter lag
- auto focus latency
- camera start up
- shot to shot
- photo gallery
- …