基于FPGA的實時視頻圖像采集處理系統

隨著社會的不斷發展，視頻圖像采集處理技術在許多行業領域中扮演著非常重要的角色，如軍事、安全監控、工業視覺等領域，而各行各業對于視頻圖像采集和處理技術的要求也越來越高。高速、實時性是主要發展趨勢之一。目前，視頻圖像采集與處理技術的發展主要分為兩類：一是基于PC在相關特定的PCIe采集板卡的基礎上，通過軟件對視頻圖像進行處理；二是利用相關的集成硬件如DSP、MCU、FPGA等對視頻圖像進行采集處理[1]。相對來講后者的處理效果不如前者，但實時性好、體積小、方便使用，更適合于工業的需求。

FPGA現場可編程邏輯門列，采用并行運算模式，且工作頻率較高，可對大量數據進行實時操作與處理，在通信領域、圖像處理等方面上優勢明顯[2]。因此，本設計選用FPGA作為系統的控制和數據處理中心。

1 系統總體概述

基于FPGA的視頻采集處理系統可分為：視頻采集模塊、圖像存儲模塊、數據處理模塊和圖像顯示模塊。工作過程為：首先，FPGA通過IIC總線協議對攝像頭進行初始化配置，攝像頭對焦工作拍攝采集圖像，然后，采集的視頻數據通過FIFO緩存器不斷寫入到DDR2 SD RAM中存儲，再經過FIFO緩存器讀出視頻數據，接著，選擇性對讀出的視頻圖像數據進行處理，最后在VGA上顯示視頻圖像。系統的總體框圖如圖1所示。

2 中央控制單元

2.1 FPGA

從FPGA硬件開發的角度考慮，利用EDA開發軟件和硬件描述語言Verilog編程，對FPGA芯片進行開發，得到其工程要求的硬件功能。對比傳統的硬件設計開發，減少了器件的浪費和多次焊接的工作量，設計過程也更加靈活、方便、高效。

另外，FPGA要實現對每個模塊的控制和處理，除并行數據處理優點外，自身必須擁有較多I/O口，豐富的邏輯單元等。鑒于此，選用了Alter公司研發的Cyclone IV系列的EP4CE617C8。此款FPGA擁有179個I/O接口，62 792個邏輯單元，392個乘法器，且功耗低。

2.2 視頻圖像采集模塊

CMOS OV7670圖像傳感器，其體積小，工作電壓小，640×380像素，可選用自帶的降噪、數模轉換、分頻等功能，是較好的視頻圖像采集選擇。FPGA通過IIC總線協議與CMOS攝像頭進行初始化配置。IIC總線寫入前，CMOS攝像頭的SCLK和SDAT引腳必須帶上拉電阻。IIC總線寫入時，首先寫入設備地址，CMOS的初始地址為0x42，其次寫入寄存器地址，最后寫入數據。其IIC總線數據寫入流程如圖2所示。

IIC總線與CMOS的數據通信后，配置CMOS攝像頭控制寄存器。時鐘配置使用外部時鐘即FPGA的工作時鐘頻率，目的是更好地控制CMOS攝像頭。PLL寄存器配置零分頻、使能內部線性穩壓器 LDO，內部電壓工作穩定。配置的Verilog部分代碼分別依次為：

SET_OV7670+19 ： LUT_DATA=16'h1180；

SET_OV7670：5 ： LUT_DATA=16'h6b00；

其他相關控制寄存器中，配置了水平鏡像、關閉彩條、視頻格式RGB565等功能。保證其能在系統高速運行下采集到可靠度大、信息性強的視頻圖像數據。

2.3 系統存儲模塊

2.3.1 DDR2 SDRAM

DDR2 SDRAM作為系統存儲器，選用采用1 GB內存的DDR2 800系列 SDRAM作為存儲器。DDR2工作時鐘頻率為200 MHz[2]，具有讀寫速度快、集成度高、存儲容量大以及成本低等特點。其操作速率是普通SDRAM的4倍，能夠較好地達到系統實時性的要求。

DDR2不僅能在系統時鐘控制下工作，也可以獨立的進行操作，如自刷新、自預充電凈化等，其控制復雜[3]。因此，利用Quartus II自帶的IP核構建DDR2 SDRAM控制器。同時也生成了Altera數字PHY。PHY是連接DDR2 內核控制器和外部DDR2器件的橋梁。PHY擁有四層接口，分別為帶local_*類的用戶邏輯接口、帶mem_*類的外部DDR2芯片接口、帶ctl_*和ctl_mem_*的PHY與IP控制器相互連接的接口。其功能框圖如圖3所示。

IP內核控制器的使用將DDR2復雜的控制操作轉變成用戶簡單的讀寫時序操作，因此，DDR2存儲模塊可設計分為時鐘、復位、初始化、控制、數據通道和仲裁等子模塊。其中數據通道子模塊建立了DDR2連接FIFO緩存器的通道。

2.3.2 FIFO

FIFO是一種先入先出的存儲器，沒有地址定義，使用簡單。FIFO只能順序讀寫數據，確保了數據的安全性。由此，在多數情況下作為系統數據緩沖器使用[5]。

在Quartus II的內核中，建立異步FIFO的控制器。異步FIFO，即讀寫操作時鐘信號不一致，有利于圖像數據的緩沖。wrusedw信號控制著數據的讀寫請求。當wrusedwd等于FIFO深度值4時(為方便說明，仿真的FIFO深度為4)，表示FIFO已空，Write_Req信號有效，只能寫入數據。wrusedw為0，表示FIFO已滿，Read_Req信號有效，只能讀出數據。wrusedwd為其余值，則讀、寫數據請求都可執行。如圖4所示。

3 視頻圖像處理模塊

本文通過Sobel邊緣檢測對圖像數據進行處理。邊緣檢測意義在于能夠獲取目標物體的邊緣信息，有利于目標識別和追蹤[6]。Sobel邊緣檢測算法具有計算量小、檢測精度高等優點，也是最常用的圖像邊緣處理方法之一。

Sobel邊緣檢測算法過程：首先，確立Sobel算子模板，它包含了橫縱向兩組3×3運算算子矩陣模板。如下式：

其次，利用水平和垂直方向的矩陣算子與原始圖像像素點進行平面卷積分運算，算出X、Y兩個方向上的一階導數梯度值[7]，如下式：

然后，把計算出的X、Y方向梯度值做平方求和后再開方，得到中心點的梯度值。如下式：

最后，中心點梯度值與設定的閾值互相比較，大于閾值的為邊緣點，輸出為黑色，小于閾值的為普通點，輸出為白色[8-9]。

Sobel邊緣檢測的實現包括緩沖模塊、計算卷積模塊和門級處理模塊。其中，緩沖模塊使用基于RAM的移位寄存器altshift_taps，卷積計算模塊使用6個可編程乘加器aitmult_add和2個并行加法器parallel_add計算出水平和垂直的梯度值，再通過浮點平方根altfr_sqrt得到中心點值。門級處理模塊即閾值的比較[10]。原理過程如圖5所示。