每个像素点的硬件结构
加入知识星球与更多同学交流
每个像素的顶部都有一个微透镜，以增加透射的光量。 镜片存在 CRA 问题。 超过一定角度的光线无法收集，需要与镜头相匹配。
的垂直结构
光线经过电路时会发生反射，造成各个像素之间的干扰。 背照式结构（感光层在电路上方）不会受电路影响。
CFA（颜色阵列）
每个像素都覆盖有滤色片，以感知每种颜色的亮度。
拜耳格式：绿色分量为总像素数的一半，红色和蓝色分量为总像素数的四分之一。
单核细胞增多症
由于滤波会带来亮度的损失，所以有一种MONO。 如果没有滤镜的处理，亮度会大大提高（有的文章说可以提高四倍），但颜色不会被感知，所以也被称为黑白。
光谱响应曲线
下图是红、绿、蓝各滤光片的光谱响应曲线。
这是人眼视锥细胞对光谱的响应曲线。
由于人眼对光谱的敏感度曲线不同，因此同一物体感知到的颜色也不同。 因此颜色需要一种转换关系。 ISP中的CCM（色彩校正矩阵）诞生了，利用3×3的矩阵将感知到的RGB颜色校准为我们看到的RGB颜色。
交通信号灯变色问题
这是监控摄像头遇到的常见问题。 拍摄红光时，常常会变成黄光和白光。 为什么是这样？
由于红光的光谱在780~620nm之间，从光谱响应曲线可以看出，红色像素最敏感，其次是绿色像素，最后是蓝色像素。
当感光度比较低时，红色像素的亮度远大于绿色和蓝色，必然呈现红色。 当感光度比较高时，绿色像素也能有很高的亮度，而红色像素已经饱和，不再增加。 此时呈现的颜色是红+绿=黄。 当灵敏度非常高时，RGB饱和，红、绿、蓝加在一起产生白色。
解决方案：
减少接触
改用蓝玻璃IRCUT：650nm以上的红光和绿光像素的灵敏度也很强。 改用蓝玻璃IR可以有效减少绿色像素的干扰。 同时，它还能完全滤除波长630nm以上的红光，减少曝光过度的问题。
去马赛克
由于每个像素点只能感知一种颜色，所以如果想要得到每个像素点的RGB值，就需要进行插值。 这个过程就是去马赛克()。
红外截止
大家都知道摄像机有IR-CUT，那为什么还要加IR-CUT呢？ IR-CUT是一种红外滤光片，可以滤除红外光。
从光谱灵敏度曲线可以看出，光电转换最高可达1000波长，但人眼只能达到700nm。 也就是说，可以说的“可见光”与人眼的不同，范围比人眼的范围要广得多。 做大一点。
那么它会带来哪些问题呢？ 最大的问题是颜色不同，因为人眼在可见光范围内感受到的响应，但在400-1000范围内感受到的响应。 因此，我们需要添加IR-cut，使感知波段与人眼相同。
还有一个原因是：当光线进入镜头时，由于折射率不同，可见光和红外光会在目标表面的不同位置成像。 IR-CUT 可以减少红外光产生的伪影。
RGB-红外
除此之外，它不使用 IR-CUT。 除了RGB 3个CFA之外，还增加了专门只通过红外光的CFA。 从光谱图中我们可以知道，普通的绿色像素不仅可以感知绿色，还可以感知红外波段的光，实际上就是绿色+IR（红外光）。 RGB-IR中有一个IR像素，仅感应红外光。 两者相减即可得到可见光的绿色。
这用数字滤波取代了 IR-CUT。 我觉得更多的应用场景是，夜景中打开红外灯，不仅可以感知红外，还可以感知颜色。 这是一种需要开发的黑光技术。
黑电平
黑度是黑色的最低点。 就8位数据而言，是指在某种经过校准的显示设备上没有一行光输出的视频信号电平。 定义图像数据为0时对应的信号电平。
黑电平产生的原因：
CMOS传感器采集到的信息经过一系列转换，生成原始的RAW格式数据。 以8位数据为例，单个像素的有效值为0-255。 但实际AD芯片（模数转换芯片）的精度可能无法转换一小部分电压值。 因此，厂家一般在AD输入之前先转换电压值。 添加固定偏移量，使输出像素值在5（非固定）到255之间。目的是完全保留暗部细节。 当然，一些明亮的细节也会同时丢失，因为对于图像来说，我们的注意力更倾向于黑暗区域。 ISP后面会有很多增益模块（LSC、AWB、Gamma等），所以亮区有一点损失是可以接受的。
电路本身会产生暗电流，导致像素单元在无光时有一定的输出电压。 暗电流与曝光时间和增益有关，不同位置的暗电流不同。 因此，当增益增大时，电路的增益增大，暗电流也会增大。 因此，许多ISP会选择在不同的增益下减去不同的黑电平值。
ISP 中的黑电平校正：
取几张不同增益下的全黑图像，计算每个增益下对应的黑电平值。 isp 将在原始图像后减去该黑电平值。 这通常是 ISP 的第一步。
坏像素
传感器芯片由于工艺原因会产生一些缺陷像素。 这些像素可能比相邻像素更暗或更亮。
ISP 中的坏像素校正：
当一个像素被确定为坏像素后，会根据邻近像素的值计算一个值来替换坏像素。
曝光原理
曝光时间和快门时间是同一个概念，都是感光时间。 曝光（快门）时间越长，图像越亮。
当控制好快门时间仍无法达到想要的亮度时，就需要调整感光度（ISO）。 CMOS的灵敏度就是它的增益。 采用模拟或数字方式放大增益，不可避免地会放大噪点，因此拍摄时一般优先考虑快门优先。
当拍摄高速移动的物体或握手时，很容易出现运动模糊，因此需要减少快门时间。
曝光方式有两种，滚动曝光和全局曝光。
卷帘快门曝光 ( )
曝光依次从每一行开始，因此图像中每行的起始曝光时间不一致。 目前大多数都属于这一类。 下图是利用卷帘快门曝光拍摄高速运动物体的现象。
这是曝光和输出图
曝光顺序
黄色区域是曝光时间，蓝色区域是每行数据的输出时间，红色区域是曝光开始的时间。 XHS是执行每个操作的最小时间单位。
从时间角度来看，图像从第一行曝光，经过一次XHS后，从第二行曝光，依此类推。 图像第一行曝光后，进行输出，输出数据所需要的时间是一个XHS，以此类推。
卷帘快门曝光引起的问题
日光灯下有横条纹
荧光灯属于频闪灯，与当地供电频率有关。 如果当地电源是50Hz正弦波（国内），日光灯将以100Hz的频率闪烁。 每行的起始曝光时间不同，导致曝光时每行的亮度不同。因此会出现水平条纹
解决方案：
控制曝光时间为1/100的整数倍，使得每一行的曝光时间为一个周期的整数倍，并且亮度保持一致。
将帧率控制为25/50帧并不能解决水平条纹问题，但可以将图像每一帧中的水平条纹固定在同一位置。 1/25是1/100的整数倍，它允许不同图像中每行曝光的开始时间相差四个周期。 这保证了每幅图像中同一行的亮度是一致的。
拍摄快速移动物体时会出现畸变
由于每行的曝光开始时间不同，当物体快速移动时，每行被捕获物体的位置不同，导致物体变形。
解决方案：
提高图像输出的速度（提高帧率也是可以的，但本质上改变的是输出速度）
调整捕捉的时间和角度。 例如，如果远处的车辆每帧移动的像素较少，您可以捕捉稍微远一点的车辆。
使用全局曝光
全球曝光 ( )
每行的开始曝光和结束曝光时间一致。 目前仅用于电警装备，且价格昂贵。 因为电警装备有频闪灯，所以频闪灯亮的时间很短。 如果您使用滚动快门曝光，则图像仅曝光几行后灯就会熄灭，因此您必须使用全局曝光传感器。