基于FPGA的高分辨率图像DCT域增强

基于FPGA的高分辨率图像DCT域增强

作者：唐 垚 曹剑中 刘 波

来源：《现代电子技术》2010年第04期

摘 要:为了提高高分辨率图像的质量,实现快速的图像增强算法,提出在离散余弦变换(DCT)的对比度测度下,通过DCT矩阵中不同频率的系数关系对DCT系数块进行分类,对不同类型的系数块做不同强度的自适应增强算法,并在FPGA上得到实现。提出的方法在不影响原始图像压缩性能的情况下有效地增强了图像明亮或黑暗区域的细节,同时减少了因图像增强而带来的压缩图像块效应。给出算法原理及在FPGA上的具体实现方法,并给出了实验结果。结果表明,该算法在改善图像主、客观质量方面和运算效率上都能够达到较好的效果。 关键词:图像增强;DCT;FPGA;块效应 中图分类号:TP751.1文献标识码:A 文章编号:1004-373X(2010)04-052-03

High Resolution Image Enhancement in DCT Domain Based on FPGA TANG Yao1,2,CAO Jianzhong1,LIU Bo3

(1.Xi′an Institute of Optics and Precision Mechanics,Chinese Academy of Sciences,Xi′an,710119,China;

2.Graduate University,Chinese Academy of Sciences,Beijing,100039,China; 3.Center for Space Science and Applied Research,Chinese Academy of Sciences,Beijing,100190,China)

Abstract:For improving the quality of high resolution image and realizing the image

enhancement algorithm,an image enhancement algorithms is proposed.It enhances the image adaptive based on a contrast measure defined within the Discrete Cosine Transform (DCT) domain.An improved classified method is proposed to classify the DCT matrix in the image and the image is adaptive enhanced by using different weight in different type DCT matrix.The algorithm is

implemented on FPGA.It enhances the details in the dark and bright areas of image and gets rid of blocking artifacts.The algorithm uses low computations without affecting the compressibility of the original image,and the experiment on FPGA results show the satisfactory visual effect for computer and human vision.

Keywords:image enhancement;DCT;FPGA;block effect 0 引 言

龙源期刊网 http://www.qikan.com.cn

高分辨率数码图像内容丰富,细节多变,但在拍摄过程中常受到气候、环境和大气衰减等影响。为了改善图像的视觉效果,利于后续图像处理,提高图像的清晰度,必须对图像进行增强处理。图像增强算法从衡量的标准上可以被分为直接对比度增强型和间接对比度增强型。对于直接对比度增强算法,关键是要建立一种适合图像特性的对比度测度。DCT域的对比度测度被定义为DCT矩阵子带中高频成份与低频成份的比率。测度还具有类似于人类视觉系统的多尺度形式。

另一方面,高分辨率图像具有数据量大的特点。在飞行过程中,为了保证拍摄区域一定的图像重叠率,就需要在较短的时间内处理大量的图像数据。为了提高存储和传输的效率,常需要对图像进行压缩。JPEG[1](Joint Photographic Expert Group)是一种基于DCT变换的有损压缩算法。与原始图像相比,JPEG压缩图像的影像质量在多数情况下都是可以接受的[2]。本文中的图像压缩处理器采用FPGA,实现了JPEG基线压缩算法。

对于基于FPGA硬件实现复杂图像的高速增强处理,采用运算复杂或是单一不变的处理方式都难以适应要求。所以在基于DCT域对比度测度图像增强算法[3]的基础上,本文采用改进自适应图像增强算法,通过对DCT系数进行计算分类,直接对DCT系数进行操作,对不同类型的DCT矩阵进行不同强度的自适应增强。

基于压缩域实现图像的增强,首先,不会影响图像压缩的性能;其次,不需要对图像进行其他的变换与反变换,降低了算法的复杂度;最后,量化后的DCT系数矩阵中存在很多零值,相对降低了硬件实现时的运算量和存储需求。在不影响原始图像压缩性能的情况下,能有效增强图像明亮或黑暗区域的细节,同时降低因图像增强而带来压缩图像的块效应。

这里的图像增强方法具有较好的效果和较低的复杂度,适合于硬件的实现。在研究改进传统图像增强算法的基础上,在FPGA上实现了可直接嵌入JPEG压缩流程的自适应图像增强处理器。下面对算法的FPGA实现进行了详细的介绍。 1 图像增强原理 1.1 图像增强原理

为了压缩图像的动态范围,增强图像局部对比度,可采用对DCT变换矩阵中系数进行处理的方法。DCT变换可表示为:

dk,l=c(k)c(l)4∑7i=0∑7j=0xi,jcos[(2i+1)kπ/16]• cos[(2j+1)lπ/16](1) 式中:k,l=0,1,2,…,7,且: c(k)=1/2,if k=0

龙源期刊网 http://www.qikan.com.cn

1,otherwise(2)

对于DCT变换矩阵,如下式所示: D=d00d01d02d03d04d05d06d07d08 d10d11d12d13d14d15d16d17d18 d20d21d22d23d24d25d26d27d28 d30d31d32d33d34d35d36d37d38 d40d41d42d43d44d45d46d47d48 d50d51d52d53dd55d56d57d58 d60d61d62d63dd65d66d67d68 d70d71d72d73d74d75d76d77d78

式中:左上角的d0,0代表DC系数,实质上是图像中每个8×8块值的平均,可以看作是照度分量;矩阵中越向右下方的分量越代表递增水平和垂直的空间频率分量。这种空间频率特性为在DCT域定义对比度测度提供了一种途径。已知人类视觉分辨依赖于高频成分与低频成分之比。因此,局部对比度测度可以被定义为DCT矩阵频带中高频分量与低频分量之比。 cn=En/∑n-1t=0Et(3)

式中:En为第n个频带的平均幅度: Et=(∑k+l=t|dk,l|)/N(4) N=t+1, t 14-t+1,t≥8(5)

设原始图像块的对比度为c=(c1,c2,…,c14);cn是对应En频带的对比度;另设增强后DCT矩阵块的对比度为此,根据式(3)有: En

--1t=0Et(6)

。如果是增强所有频带的对比度,则

。由

式(6)可表示为:

龙源期刊网 http://www.qikan.com.cn

式中:Hn=∑n--1t=0Et,n≥1。

通过式(7),可得到增强后的DCT系数为:

Hn(n=1,2,…,14)可以通过递归的方式算出。 1.2 算法的应用与改进

人眼对不同类型区域的细节变化敏感程度不同,所以对不同区域的图像应考虑增强方式的区别。图像中细节非常丰富,对于图像复杂区域会有掩盖效应,块效应不会很明显,因此可以着重加强。边沿区也是人眼能敏锐感知的部分,也需要进行增强。对平坦区,因为细节少,增强后块效应很明显,所以不需要增强,这样可以减少平坦区域块效应的出现。对于整个图像,将DCT系数块分成直流部分、低频部分、中频部分和高频部分。各部分系数绝对值之和的分布可以作为平坦区、边沿区和纹理区的判据。通过改进,算法对不同类型的DCT系数矩阵增强过程中取不同的λ值,以达到对不同区域不同特性图像内容自适应增强的目的。

图1中实线框表示JPEG压缩的流程原理框图。在编码过程中,输入的原始图像被分为多个相互不重叠的8×8子块,JPEG对每个小块进行二维DCT变换,在得到DCT系数后应用指定的量化表对其进行量化,量化是一个有损的过程。之后对DCT系数矩阵进行之字形扫描,并进行熵编码。

图1 嵌入图像增强算法的JPEG压缩原理框图

算法实现方面,DCT系数由第0个频带,即DC系数开始,递增地计算15个频带的增强系数。由于频带的递增与之字形扫描顺序一致,故将算法集成在JPEG压缩步骤的之字形扫描之后。这种设计的好处在于首先通常DCT矩阵中高频部分较小的系数都会被量化为零值,降低了算法的计算量。另外,由于之字形扫描后的顺序无需再做调整,降低了存储空间的需求。如图1所示,虚线框所示为图像增强算法模块。 2 算法的FPGA实现

对于本文中的高分辨率相机,对图像压缩和增强的速度要求较高,设计采用流水线结构。图2是详细的算法在FPGA中实现的原理图。 图2 基于FPGA实现的图像增强算法原理图

在图像增强处理器设计中,计算是基于DCT变换后8×8块进行的,系数矩阵输入图像增强模块的次序与之字形扫描后的次序一致。在每个DCT系数矩阵输入前,先对反馈参数初始化,使H0=1/λ。当输入DC系数

时

。由此得到

龙源期刊网 http://www.qikan.com.cn

以此类推。待计算完系数矩阵中个系数后,进入下一个8×8矩阵的

运算。

在此,采用的FPGA中嵌入了乘法器,方便了算法的实现。由于涉及到除法运算,所以先通过查表法将对除数取倒数,将除法运算转换成乘法进行运算。 3 实验结果

在上述原理图单元的基础上,完成JPEG压缩和图像增强算法的设计。采用一片Altera EP2S30F672I8 FPGA,约27 104个逻辑单元,128个9 b DSP block单元,本设计占用片上资源22%左右,当系统速度为

时,完成一帧8 000×6 000图像压缩与增强需要时间约1 s。图

3(a),(b)分别给出原图及经FPGA增强后的效果图。 图3 原图和经FPGA增强后效果图

可以看出增强后的图像在整体对比度增加的情况下细节表现更为突出。在图像增强的过程中,没有因为对某一部分信息的强调而损失另一部分信息。既满足了人眼主观的要求,又适应了高分辨率数码图像的特点。 4 结 语

在图像增强算法中,采用DCT域的图像增强算法,在不损失图像局部细节的前提下,增强了整幅图像的对比度,改善了图像质量。

在数码相机系统中使用FPGA作为图像压缩与增强处理器,成功地在JPEG压缩流程中实现了本文中提出的图像增强算法。实验表明,因采用流水线结构,算法被嵌入到JPEG压缩流程中后,与单纯实现JPEG压缩对比,拍摄间隔没有受到影响,并且基于DCT系数的分块操作没有因为高分辨率的图像而增加额外的

片外硬件存储资源。基于FPGA硬件处理后图像与原图

对比,图像的细节更加丰富,画面整体效果有了很大提高,达到了增强图像的目的。 参考文献

[1]Digital Compression of Coding of Continuous-Tone Still Images-Part1:Requirements and

Guidelines,ISO/IEC JTC1 CD 10918,1993.

[2]C Chang-Hsin,T Mu-Changsai,H Chun-Lung.A Novel 2-D DCT Realization using Low Cost Residue/Quotient Technique[J].IEEE Trans.,2009,17(8):1 079-1 084.

[3]Tang J,Kim J,Peli E.Image Enhancement in the JPEG Domain for People with Vision impairment[J].IEEE Trans.on Biomedical Engineering,2004,51(2):2 013-2 023.

龙源期刊网 http://www.qikan.com.cn

[4]Fu J,Zeng B.Directional Discrete Cosine Transforms:A Theoretical

Analysis[A].Proc.Int.Acoustics,Speech and Signal Processing Conf.[C].2007:1 105-1 108.

[5]An Kebin,Ni Qiang,Sun Jun.A Contrast Enhancement Method for Compressed Images[J].IEIC Electronics Express,2004,1(18):582-587.

[6]Amir Z Averbuch,Alon Schclar,David L Donoho.Deblocking of Block-transform Compressed Images using Weighted Sums of Symmetrically Aligned Pixels[J].IEEE Trans.on Image Processing,2005,14(2):200-212.

[7]L Yuh-Rueyee,L Chia-Wen.Visual Quality Enhancement in DCT-Domain Spatial Downscaling Transcoding using Genera-lized DCT Decimation[J].IEEE Trans.on Circuits and Systems for Video Technology,2007,17(8):1 079-1 084.

[8]朱剑英.基于DCT 变换的图像编码方法研究[D].南京:南京理工大学,2004. [9]钟文荣,陈建发.二维DCT 算法的高速芯片设计[J].厦门大学学报:自然科学版,2005,44(2):198-201.

[10]Gonzalez R C,Woods R E.Digital Image Processing[M].Prentice Hall,2007.