通用的数字信号处理器(DSP),例如德州仪器(Texas Instruments)的C66x系列或ADI的Blackfin处理器,是能够处理图像数据的两个例子。然而,需要认识到图像系统对处理硬件有特殊要求,图像信号处理器(ISP)通常比通用DSP更高效地完成任务。
也许最重要的考虑因素是数据的数量之巨。如果以44.1 kHz的采样率和16位的分辨率对音频进行采样,实时的DSP应用每秒将处理88,200字节的音频数据。而一台连续以每秒一帧的速度拍摄的2400万像素数码单反相机则处于完全不同的领域;即使我们假设每个像素占用一个字节,我们每秒也要处理超过2400万字节的数据。某些图像处理算法相当复杂,当涉及这么多数据时,专用硬件模块比由负荷过重的中央处理单元(CPU)执行的自定义代码例程更可取。
这个例子还说明了为什么 ISP 可能需要以并行处理能力或作为芯片上的多核系统来实现。当所有这些图像数据流入时,相机的计算电子设备必须能够支持其他功能——例如焦点跟踪或自动曝光。
什么是图像信号处理器?
这个问题并不像我想的那么简单。首先,让我们考虑一下德州仪器 (TI) 的“成像信号处理器” LM98519 。 在下面的图 1 中,我们可以看到该芯片的功能框图。
图1. 框图取自 LM98519 数据表。 图片由TI 提供
在此示例产品中,此 ISP 只是用于基于电荷耦合器件 (CCD)的成像器的数据转换器。基本上,它在白电平和黑电平反馈系统的帮助下对两个多路复用 CCD 输出波形进行采样和数字化。但是,我发现术语成像信号处理器也用于指代为互补金属氧化物半导体 (CMOS)传感器设计的英特尔硬件和用于高动态范围视频处理的 IP 核。在图 2 中,是标识为“图像信号处理器”(因此不完全是图像信号处理器)的另一部分的框图。
图 2.该图取自 Arm 的 Mali-C55 ISP 的数据表。 图片由Arm 提供
尽管术语几乎相同,但这部分显然属于不同的类别并且具有更广泛的功能。这个 Arm ISP 对图像数据执行各种复杂的数学运算:
德州仪器的达芬奇(DaVinci )处理器 ,如图 3 所示,甚至比 Arm ISP 的集成度更高:
图 3. DMVA3/DMVA4 数据表中的框图。 图片由TI 提供
在这里,您可以看到用于图像处理操作的硬件与微处理器和大量可供选择的数字外围设备相结合。TI 将此设备称为“数字媒体处理器”(digital media processor),尽管它可以被描述为图像信号 处理器( image signal processor)。实际上,TI 使用术语图像信号处理器 来表示达芬奇“成像子系统”中的一个部分。
最后,Socionext 在其Milbeaut 产品线中同时使用了图像信号处理器和成像处理器这两个术语( image signal processor and imaging processor)。Milbeaut 设备是用于照片和视频应用的多处理器 片上系统 (SoC) 解决方案,它们的独特之处在于可以作为尼康 DSLR 和无反光镜相机中功能异常强大的 EXPEED 处理器的基础。 Milbeaut 的能力包括:
镜头畸变校正
总结
图像信号处理器是一种多样化的数字或混合信号 IC,专门用于分析和修改视觉数据。它们针对静态图像和视频应用中涉及的许多资源密集型处理任务进行了优化,并且它们必须达到极高的复杂性和集成度,才能满足尖端成像系统的需求。ISP 启用并增强了许多自动化和用户友好的功能,这些功能彻底改变了摄影和摄像;其中包括自动曝光控制、自动对焦、自动白平衡、物体检测、图像稳定和降噪。