ISP流程

为什么要对图片进行ISP调试：

一．首先我们得到一张RAW图后，这张图片存在哪些问题：

1. 图片边角的亮度低，2.有网格现象（我们称之为棋盘格现象）__demosaic，3图上全是绿色（white balance ） 4.图片比较暗 （gamma）5.图片色彩饱和度很低。6.图片噪点多，清晰度不够

二．BLK和LSC（RAW域）

由于Black Level是所有信号的基础值，在做手机效果调试时，最先做的操作就是黑电平标准（BLC，Black Level Calibration）。

然后针对图片边角亮度低的问题调试Lens Shadings Correction。LSC的原理是将成像的四周进行相应的增益计算，使四周亮度看起来和中央亮度近似。

三．Demosaic处理后的结果以及存在的问题（RAW转RGB域）:

接下来通过demoscia插值计算，将Bayer域数据补充完整，成为了完整的图像数据，消除棋盘格现象消除，图片从之前的棋盘格转为可以呈现红色和蓝色。但是还存在以下问题：：1.图片颜色还是非常绿2. 图片非常暗。3.图片色彩饱和度很低

1. 首先我们解决图片颜色偏绿的问题。

此时图片偏绿的主要原因是人眼对绿色黄色等中频光谱的感受更为敏感。前文提到Sensor正是依据了这一点在贝尔域采用两个G通道记录数据，使数据包含的信息量更大更有效。虽然在完成demosaic之后，每个像素点的RGB信息比例都是1：1：1，但依然由于人眼对G通道数据更为敏感，我们看到的图片还是偏绿的。

如何解决这个问题呢？很简单，我们需要提高R和B在一个像素中的比重。这种操作被我们称为白平衡操作（White Balance）。

白平衡是我们熟知的，它的目的是对各色彩通道进行不同的增益，去除光源色温的影响，最终让传感器在某种特定光源下对白色物体感光后输出的数据显示白色。

此时，通过提高R和B通道的增益，我们解决了图片偏绿的问题。

2.解决图片偏暗问题。

首先，之前ISP进行了BLC操作，让所有像素点的数据向0偏移，这是图片偏暗的其中一个原因，但BLC是去除硬件影响所必要的步骤，因此我们不考虑调整BLC。

此外，还有一个因素，那就是Sensor输出的数据是线性编码的，而人眼对亮度的感受却不是线性的。这是我们看这张图片偏暗的主要原因。换句话说就是若Sensor感应并输出一份由黑到白线性递增的灰阶图时，我们的感观并不认为它由黑到白的变化是均匀的。

这里通过gamma增益处理来提高图片亮度。

至此我们解决了Demosaic后的两大遗留问题，图片偏绿和偏暗。

3.接下来解决图片色彩饱和度低的问题。

要解决饱和度低的问题，就需要对色彩进行矫正，也就是color correction。

对颜色的矫正需求来源于sensor输出的数据和人眼对实物的感受之间存在的色彩差异。而Color correction其本质就是对数据进行人眼真实感受值映射的一种过程。

但无论我们采用什么样的映射方法，首先要确定的是描述颜色的方法。此前我们说过该ISP的CC操作位于RGB域，也就是说当前步骤采用RGB色彩空间来描述颜色。

所以我们的CC就是在RGB域进行的对sensor输出数据向人眼真实感受值的一种映射。

CC原理

为了实现这种映射过程，我们需要获取到数据和感官真实值之间的具体的映射方式。确定映射方式的一种方法是标定法。即利用标定好的某种颜色的标准值和sensor拍摄该值实物图片所输出值做差，来求得CC对该颜色需要做的映射。

我们常见的color checker色卡就是标定好的颜色，我们知道色卡上每个色块在RGB域的真实感受值，所以我们可以在某种色温环境下对该色卡进行拍摄，输出一份未作CC的数据，用这个数据和标定值做差来确定为该色温环境下这个sensor需要做的CC映射。

此后在该色温环境下使用该sensor时，对其输出作CC，就可以还原出人眼真实感受值了。

由于在RGB域有三个通道，我们的这种映射关系可以由矩阵来表示，这就是我们常说的Color Correction Metric(CCM）

四．降噪处理以及提锐（YUV域）

在YUV 色彩空间上进行彩色噪声去除、 边缘增强等更方便，且YUV存储和传输时更省带宽。

高通处理模块名称：CV（Color conversion）色彩空间转换将RGB转换为YUV。

处理原理：YUV是一种基本色彩空间， 人眼对亮度Y改变的敏感性远比对色彩变化大很多， 因此， 对于人眼而言， 亮度分量Y 要比色度分量U、V 重要得多。所以，只有YUV444格式的YUV数据的比例是1:1:1，其他各种格式，如YUV422，YUV420等格式，UV的数据量都小于Y，达到节省存储空间和传输带宽的目的。

接下来对转换后的yuv进行降噪处理，同时为了消除降噪过程中对图像细节的损失，需要对图像进行锐化处理，还原图像的相关细节。因为在YUV色彩空间，这些处理更方便。

在YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强， 然后输出YUV（或者RGB） 格式的数据， 再通过I/O 接口传输到CPU 中处理