Visconti™車用圖像識別處理器系列
Visconti™系列是一款用於攝像機視覺系統中的圖像識別處理器LSI(大型積體電路)。Visconti™系列可以檢測和識別行人、面部、手部和車輛等目標物體，這些動作/行動是通過對相機逐幀輸入圖像進行處理(一旦檢測到動作/行動，將包括上一幀)，再輸出識別結果，將相機的圖像資料標記結果顯示在LCD控制板中, 用聲音或嗶嘩聲發出信號，或通過通訊 I/F向其他設備單元彙報結果。
Visconti™系列的目標產品是使用圖像識別技術的系統。這些是高級的駕駛員輔助系統(ADAS)，可用以檢測行人、車輛、交通標誌等，廣泛應用於汽車市場、監控攝像機和安保設備等需要使用人體檢測或面部識別進行確認的工業市場，以及需要使用手勢或捕捉動作的遊戲機消費品市場。
下面是有關高級駕駛員輔助系統(ADAS)的應用實例。Visconti™系列可以實現多種高級的駕駛員輔助應用，比如車道偏離警告(LDW)、向前/向後碰撞警告 (FCW/BCW), 向前/向後行人檢測 (NV/BOP), 交通標誌識別(TSR)以及諸如此類應用，可以使用從1至4組攝像機獲得的圖像資料對自己車輛周圍的即時交通線，車輛、行人、交通標誌等進行識別。
路線圖
產品介紹: Visconti™系列
基本系統結構
特徵
- 適合嵌入式圖像識別系統的異構多核結構
Visconti™系列具有以下不同類型且可同時運行的引擎。所以Visconti™系列實現了在低功耗條件下的多種即時圖像識別應用。- i. 圖像處理加速器
Visconti™系列具有圖像處理加速器， 原本在每一步圖像識別流中需要耗費很多時間進行圖像處理，現可以在低功耗條件下以很高的速度進行。Visconti™ 具有仿射變換加速器，其用於糾正魚眼或廣角境的透鏡變形，也用於改變視角。 Visconti™2系列不僅具有仿射變換加速器，也具有過濾加速器，可以減少噪音、檢測邊界、 轉換彩色空間等，還具有一個可以形成柱狀圖的直方圖加速器，以及一個配對加速器，可以通過使用立體圖像資料計算視差並檢測物體的運動。Visconti™2系列的TMPV7506XBG也具有一個適用於人體檢測的 HOG (方向梯度直方圖) 加速器，其可用於即時檢測靜立的路人。 - ii. 使用多粒度平行結構的媒體處理引擎(MPE)
MPE 包含東芝獨創的低功率 32-位 RISC 內核 MeP (媒體嵌入式處理器)， MeP 處理器適合於進行像圖像加工等多媒體處理。MPE 是使用 VLIW(超長指令字)技術的媒體處理引擎，可以同時執行包括 SIMD (單指令多資料流程) 在內的多條指令，可在一個指令中同時運行多條資料。多核MPE ( Visconti™具有 3 組 MPE。Visconti™2具有4組MPE。)可以在以上所述的圖像處理加速器協助下同時執行多條應用，並可提供用於實施多種圖像處理演算法的軟體解決方案。 - iii. 控制CPU
Visconti™2系列具有多種片上週邊設備，比如PCI 圖形匯流排界面，串列介面(UART，SPI，I2C) 等。所以將一個 32-位 RISC內核“MeP(媒體嵌入式處理器)”添加到Visconti™2系列中，作為一個控制CPU進行使用， 通過該CPU對這些片上週邊設備進行控制，從而緩解了上述MPE的壓力。
- i. 圖像處理加速器
- 可提供一個軟體發展工具包(SDK)， 使用C語言支援應用程式的開發
SDK 含有多種圖像處理程式庫，可使用以上所述的圖像處理加速器、片上週邊設備的設備驅動器以及諸如 C 編譯器、Visconti™系列主要模組用模擬器等工具。 - 連接多攝像機的視頻輸入介面和可以進行多層合成的視頻輸出介面
Visconti™系列可以與 3 組 8 位灰度攝像機相連。所以Visconti™ 系列使用左/右側攝像機實現了緊急變線協助(LCA)的應用，使用前/後攝像機實現了前後碰撞警告(FCW 或 BCW)的監控應用。Visconti™2系列可以與 4 組 (TMPV7506XBG)/2 組 (TMPV7504XBG) 8-至12-位灰度攝像機或高解析度(達 1.3M圖元)彩色攝像機相連。所以Visconti™2列改進了識別速率，實現了交通信號或信號識別(TSR)應用方面所要求的彩色檢測。Visconti™2系列的TMPV7506XBG 以其4個攝像機圖像資料合成技術， 適合用於鳥眼停車輔助的應用場合。
方框圖
Visconti™2 (TMPV7506XBG)
Visconti™2 (TMPV7504XBG)
Visconti™ (T5BG3XBG)
一般規格
| 產品系列 | Visconti™ | Visconti™2 | ||
|---|---|---|---|---|
| 產品名稱 | T5BG3XBG | TMPV7504XBG | TMPV7506XBG | |
| CPU | - | 東芝獨創的32位 “MeP (媒體嵌入式處理器)” | ||
| 圖像加工處理器 | 媒體加工引擎 | 東芝獨創的媒體加工引擎“MPE”3組 | 東芝獨創的媒體加工引擎“MPE” 4組 | |
| 圖像處理加速器 | 仿射變換 | 1ch | 1ch | |
| 篩檢程式 | - | 2ch | ||
| 直方圖 | - | 1ch | ||
| 方向梯度直方圖(HOG) | - | - | 1ch | |
| 配對 | - | 1ch | ||
| 片上記憶體 | ROM | - | 帶掩膜的唯讀記憶體: 64KBytes | |
| RAM | - | SRAM(靜態記憶體): 2080KBytes | ||
| 片上週邊設備 | 視頻輸入介面 | 具有3通道(灰度攝像機) | 具有2通道(彩色/灰度攝像機) | 具有4 通道(彩色/灰度攝像機) |
| 視頻輸出介面 | 1ch (VGA尺寸, RGB888) | 1ch (WVGA尺寸, RGB888) | ||
| 主記憶體控制器 | SDRAM控制器 | DDR2 SDRAM控制器 | ||
| NOR快閃記憶體/SRAM 控制器 | ||||
| 外部MCU介面 | 1ch (8-位雙向平行I/O) | |||
| PCI圖形匯流排界面 | - | - | 1 lane | |
| CAN控制器 | - | 3ch | ||
| I2C介面 | - | 4ch | ||
| UART介面 | 1ch | 5ch | ||
| SPI介面 | - | 4ch | ||
| PCM介面 | - | 2ch | ||
| 計時器/計數器 | 4ch | 11ch | ||
| 工作頻率 | 150MHz | 266MHz max. | ||
| 封裝 | BGA 456管腳, 27mm×27mm | BGA 516管腳, 27mm×27mm | ||
* Bluetooth®是藍牙SIG公司的商標，授權給東芝公司。
* 本文中涉及到的系統和產品名稱可能是相關公司或組織的商標或注冊商標。