英飛凌是歐洲一家芯片廠商,成立于1999年,在汽車半導(dǎo)體領(lǐng)域有著豐富的經(jīng)驗。在其發(fā)布的2018年業(yè)務(wù)報告中,自動駕駛業(yè)務(wù)已經(jīng)占公司總業(yè)務(wù)的42%。其對于2017年自動駕駛半導(dǎo)體業(yè)務(wù)市場占有率的排名為,NXP、英飛凌、瑞薩、TI、意法半導(dǎo)體、博世、安森美、羅姆集團(tuán)、東芝、ADI。
那么為什么自認(rèn)為是業(yè)內(nèi)排行老二,還有收購老五呢?除了半導(dǎo)體領(lǐng)域要不斷通過保持壟斷地位才能持續(xù)有競爭力以外,還有沒有別的原因?
英飛凌在自動駕駛領(lǐng)域的業(yè)務(wù),已經(jīng)遠(yuǎn)遠(yuǎn)大于其它IPC、PMM、CCS業(yè)務(wù),在自動駕駛領(lǐng)域其主要的業(yè)務(wù)是雷達(dá)、微處理器、數(shù)據(jù)傳輸以及電源管理等部分,基于機(jī)器視覺的ADAS芯片還沒有。
意法半導(dǎo)體在芯片領(lǐng)域也是巨頭,在汽車領(lǐng)域有鼎鼎大名的STM系列微處理器,邏輯IC,以及信息娛樂處理單元。在自動駕駛時代,更是聯(lián)合Mobileye研發(fā)生產(chǎn)了EyeQ系列ADAS芯片。
英飛凌跟意法半導(dǎo)體之間有很多重合的業(yè)務(wù),而在自動駕駛領(lǐng)域,其欠缺的就是ADAS視覺處理芯片的能力,此次傳出英飛凌有意向收購意法半導(dǎo)體,會否是想要彌補(bǔ)視覺處理芯片方面的短板?
視覺處理芯片是自動駕駛芯片陣列中重要的一環(huán),由于可以同雷達(dá)等傳感器形成互補(bǔ),基于深度學(xué)習(xí)的視覺識別處理,在道路、交通標(biāo)志、障礙物、行人等識別中重要性愈發(fā)凸顯。
因此各大廠商也都在爭相占領(lǐng)高地,NVIDIA和Mobileye目前是市場翹楚,占據(jù)了較大的份額,二者在汽車芯片領(lǐng)域,都是新生。其它傳統(tǒng)汽車芯片廠商,正在迎頭趕上。
而在即將到來的ADAS普及浪潮中,視覺ADAS方案由于價格低廉,技術(shù)成熟,產(chǎn)業(yè)鏈完善,必然會成為OEM首先選擇的對象。那么方案商有哪些ADAS主處理芯片的選擇呢?OEM又意下如何呢?
高處不勝寒
Mobileye聯(lián)合意法半導(dǎo)體推出的EyeQ系列的視覺處理芯片,在自動駕駛CV領(lǐng)域,聲名卓著,其中EyeQ4于2016年發(fā)布,在其官網(wǎng)上這樣顯示,EyeQ 4是目前市場上最先進(jìn)的專用視覺計算SoC。
除了能夠應(yīng)付雷達(dá)和LIDAR的數(shù)據(jù)外,還可支持8個攝像頭傳感器,每秒處理2.5萬億次操作,而功耗僅為3-5瓦。EyeQ4有一組工作在1GHZ的工業(yè)級四核MIPS處理器,多個專用的向量微碼處理器(VMP),用來應(yīng)對ADAS相關(guān)的圖像處理任務(wù)。
EyeQ系列的芯片是由Mobileye和ST意法半導(dǎo)體聯(lián)合生產(chǎn)的,在意法半導(dǎo)體的2017年報中,也提到了雙方將繼續(xù)聯(lián)合協(xié)作,研制2020年將要推出的EyeQ5。
英偉達(dá)2016年推出DRIVE PX2(Autocruise和Autochauffeur,Autochauffeur相當(dāng)于前者性能X2+ Pascal 架構(gòu)的獨立 GPU),Autochauffeur配置兩個SoCs(片上系統(tǒng))Tegra Parker (Cpu Cores是4個Denver和8個Cortex A57)和兩個分離式的Pascal GPU(單精度計算能力達(dá)到8TFlops),支持12路200萬像素攝像頭每秒60幀的拍攝圖像的攝像頭數(shù)據(jù)。
這種可擴(kuò)展的構(gòu)架可以配置從運(yùn)行10瓦特的被動冷卻的移動處理器,到用兩個移動處理器,以及兩個分離式GPU可達(dá)到每秒24萬億次深度學(xué)習(xí)的操作。多個Drive PX 2 平臺的并行使用可以實現(xiàn)完全的自主駕駛。
2016年NVIDIA發(fā)布Xavier,它是一款完整的片上系統(tǒng) (SoC),集成了被稱為 Volta 的全新 GPU 架構(gòu)、定制 8 核 CPU 架構(gòu)以及新的計算機(jī)視覺加速器,采用 16nm FinFET 加工技術(shù)進(jìn)行制造。
該處理器提供 20 TOPS(萬億次運(yùn)算/秒)的高性能,而功耗僅為 20 瓦。充當(dāng)自動駕駛汽車大腦的 Xavier 在設(shè)計上符合 ISO 26262 道路車輛功能安全規(guī)定等嚴(yán)格的汽車標(biāo)準(zhǔn)。
NVIDIA和mobileye在ADAS視覺處理中,無疑是最有話語權(quán)的,前者代表著算力,后者代表著量產(chǎn)經(jīng)驗,但市場可能暫時不會選擇二者。
原因也很簡單,前者算力雖高,但價格和功耗都不低,在ADAS領(lǐng)域綜合的性價比并沒有優(yōu)勢,在消費者市場還屬于教育階段的時候,以一個高價智能駕駛配置入局,結(jié)局不會太好。
而Mobileye則相對封閉,且有成熟的從芯片到解決方案的完整鏈條,價格也不低,對于OEM和Tier1占主導(dǎo)地位的汽車市場,需要在供應(yīng)鏈上有充足的可選項,因此Mobileye不會是唯一選項,OEM和Tier1樂見更多的選項出現(xiàn)。
此時,傳統(tǒng)汽車電子芯片領(lǐng)域的玩家,就出現(xiàn)了。
既得利益者
NXP(恩智浦)推出的第二代視覺處理器系列S32V234,旨在支持圖像處理的計算密集型應(yīng)用,并提供了一個ISP、強(qiáng)大的3D GPU、雙APEX-2視覺加速器和安全性,以及支持SafeAssure 。
有運(yùn)行頻率高達(dá)1GHz的64位Arm Cortex -A53四核,以及頻率高達(dá)133 MHz的M4內(nèi)核。S32V234帶兩個MIPI CSI2接口,4個通道用于攝像機(jī)輸入(支持1080像素@ 30 fps),支持2x1或1x2百萬像素@ 30 fps和4x2百萬像素圖像輸入。
S32V234具有S32 Design Studio IDE for Vision支持的完整支持平臺,包括編譯器、調(diào)試器、Vision SDK、Linux BSP和圖形工具,還有MATLAB的恩智浦視覺工具箱是面向S32V234處理器附送的集成開發(fā)環(huán)境。
S32V234適用于ADAS、NCAP前視攝像頭、異物檢測和識別、環(huán)視、機(jī)器學(xué)習(xí)和傳感器融合應(yīng)用。S32V234專為汽車級可靠性、功能安全和安全措施而設(shè)計,以支持汽車和工業(yè)自動化。可支持前視攝像頭、智能后視攝像頭、環(huán)視等的一些自動駕駛應(yīng)用。符合ISO26262以及ASIL的相關(guān)標(biāo)準(zhǔn)。
瑞薩(Renesas)2017年4月11日宣布推出針對NCAP前置攝像頭的R-Car V3M SoC ,配有雙核800MHz的ARM CA53 (ARMv8),以及單顆ARM CR7 (ARMv7),串口可輸入單通道4路視頻,單路視頻傳輸速度可達(dá)1.5Gbps。
V3M的硬件加速器使CNN能夠以超低功耗水平執(zhí)行,該加速器可實現(xiàn)越來越多的道路檢測或?qū)ο蠓诸惖裙δ茉谄囎詣玉{駛應(yīng)用中。V3M SoC以及包括瑞薩開源e2工作室IDE集成開發(fā)環(huán)境(IDE)在內(nèi)的支持軟件和工具。
2018年2月28日推出全新的R-Car V3H片上系統(tǒng)(SoC),其計算機(jī)視覺性能比其前身R-Car V3M SoC高出五倍,使用了雙圖像信號處理器(ISP),四顆1.0-GHz的Cortex -A53 MPCore的 內(nèi)核,雙鎖步800 MHz的Cortex -R7核心,同時CNN的專用IP加速了深度學(xué)習(xí)。
該SoC將會用于批量生產(chǎn)的L3級和L4級自動駕駛汽車,V3H SoC樣品將于Q4上市,量產(chǎn)計劃于2019年第三季度開始。
瑞薩的V3M和V3H使用不同的加速器實現(xiàn)了一流的性能計算機(jī)視覺異構(gòu)平臺:多功能管道引擎(IMP)和計算機(jī)視覺引擎(CVE),輔以DMA來控制內(nèi)存?zhèn)鬏敗4送猓瑑蓚€SoC都帶有卷積神經(jīng)網(wǎng)絡(luò)(CNN)的集成IP。
這使得R-Car V3M和V3H適用于計算機(jī)視覺算法,如物體檢測和分類,深度神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。此外,對于上述硬件加速器,V3H具有用于密集光流,密集立體視差和對象分類的專用IP。
德州儀器(TI)針對ADAS前視視覺識別推出的是TDAx SOC系列芯片,包括TDA3x、TDA2x、TDA2Px,這些處理器都包含有雙核Arm Cortex-A15MPU,以及雙核Arm Cortex M4,C66x DSP。
TDA系列芯片分不同型號,可支持1-3路攝像頭,像素也從1.3-2.5MP,存儲帶寬從4.0-10.7 GB/s。芯片可達(dá)到從 ASIL-B 到 ASIL-D 安全級別。
德州儀器(TI) 提供針對 Arm,DSP 和 EVE 協(xié)處理器的完整開發(fā)工具集,其中包括 C 語言編譯器、一個可簡化編程和調(diào)度的 DSP 匯編優(yōu)化器和一個針對源代碼執(zhí)行可視性的調(diào)試接口。
亞德諾(ADI)推出的ADSP-BF60x系列芯片,是專門針對ADAS視覺處理的,可以囊括LDW、FCW、TSR、HBA、PD函數(shù)五項功能,且系統(tǒng)的總體成本降低了30%。
BF60x是基于雙核Blackfin,單核的工作頻率最高可達(dá)500 MHz,采用ADI公司/Intel微信號架構(gòu)(MSA)。每個內(nèi)核包含2個16位乘法器、2個40位累加器、2個40位ALU、4個視頻ALU和1個40位移位器。計算單元處理來自寄存器文件的8位、16位或32位數(shù)據(jù)。
流水線視覺處理器(PVP)提供硬件來處理信號和圖像算法,從而預(yù)處理和協(xié)處理先進(jìn)汽車輔助駕駛(ADAS)或其它視頻處理應(yīng)用 中的視頻幀。其中BF608的PVP可支持VGA, VGA為每幀640 x 480像素,每秒30幀。
BF609可支持HD,HD為每幀1280 x 960像素,每秒30幀。ADSP-BF60x在105°C環(huán)境溫度下的功耗不足1.3 W,具有同級產(chǎn)品的最低功耗。
以上,是傳統(tǒng)汽車芯片領(lǐng)域的玩家,他們都有著在傳統(tǒng)視覺處理領(lǐng)域的解決方案,在自動駕駛浪潮席卷而來的時候,他們并沒有著急跟風(fēng)。而是基于原有的芯片基礎(chǔ),進(jìn)行功能上的適配,滿足ADAS的需求。
這些芯片解決方案,基本可以覆蓋汽車前視的預(yù)警功能需求,且在價格、功耗、量產(chǎn)經(jīng)驗上,都占優(yōu)勢。因此,在未來汽車普及ADAS功能的過程中,他們可能才是真正的食利者。
這些廠商,對于推出符合更高級別自動駕駛算力要求的視覺處理芯片的時間點,都更為保守。甚少談L4、L5自動駕駛,更多的集中在L3以下的需求,芯片性能也在滿足百萬像素級圖像、視頻處理,主頻多是1GHz左右的Arm Cortex -A53,輔以完整的開發(fā)工具,方便用戶上手。
傳統(tǒng)廠商在自動駕駛浪潮中的集體低調(diào)甚至緘默,是源于對市場以及OEM需求的熟稔于心。沒有誰,比他們更清楚氣候冷暖了。
蛋糕覬覦者
高通(Qualcomm)推出的面向汽車的處理器820,配備有定制 64 位 Kryo 四核處理器,Qualcomm Adreno 530 GPU,Qualcomm Hexagon 680 DSP,可支持多達(dá) 8 個攝像頭傳感器同時輸入。
由于擁有多個異構(gòu)計算引擎,Zeroth 機(jī)器智能平臺使驍龍 820 車用處理器可提供設(shè)備認(rèn)知技術(shù)和神經(jīng)網(wǎng)絡(luò)處理能力。
820定位于車用處理器,因此包含了汽車通訊、信息娛樂、顯示、感知等多種能力,由于在消費市場擁有大量的出貨,820一經(jīng)推出,就得到了眾多主機(jī)廠的青睞。
賽靈思(Xilinx)推出的Zynq-7000 / Zynq UltraScale+ MPSoC可用于前視攝像頭數(shù)據(jù)的處理,ARM A9 或 A53 用于目標(biāo)分類和連接車輛網(wǎng)絡(luò),PL 用于連接傳感器、預(yù)處理圖像/數(shù)據(jù)和軟件算法的硬件加速。
(XA) Zynq -7000 SoC 非常適合高級駕駛員輔助系統(tǒng) (ADAS) 的高計算要求,采用了28nm 工藝,使用了ARM 雙核 Cortex-A9 MPCore,頻率超過667MHz,可在可編程邏輯 (PL) 中實現(xiàn)額外的硬件加速器。
XA Zynq UltraScale+ MPSoC 系列完全通過 ISO26262 ASIL-C 級認(rèn)證,符合 AEC-Q100 測試規(guī)范。該產(chǎn)品在單個器件中高度集成一個特性豐富的、基于 64 位四核 ARM Cortex -A53 及雙核 Cortex-R5 的處理系統(tǒng) (PS) 和 Xilinx 可編程邏輯 (PL) UltraScale 架構(gòu)。與 Zynq-7000 SoC 相比,系統(tǒng)級性能功耗比提升 5 倍。
安霸(Ambarella)在2018年的ces展上,發(fā)布了計算機(jī)視覺芯片CV1,芯片是基于CVflow架構(gòu),CV1能夠?qū)Ψ直媛矢哌_(dá)4K的視頻進(jìn)行計算機(jī)視覺處理,其重要的應(yīng)用領(lǐng)域之一就是ADAS。為了造出這款芯片,VisLab和安霸通力合作,結(jié)合了雙方在深度學(xué)習(xí)和高清圖像處理、低功耗方面的經(jīng)驗。
2018年3月28日,安霸公布了升級版的CV2視覺芯片,CVflow的優(yōu)勢在于可以提高每個處理單元的性能。CV2的深度神經(jīng)網(wǎng)絡(luò)性能是CV1的20倍。它能夠提供深度神經(jīng)網(wǎng)絡(luò)和立體視覺處理,瞄向的是ADAS和自動駕駛汽車市場。二者都是4K級的立體視覺處理器。
與通用CPU和GPU相比,CVflow 采用了一種根本不同的方法,包括使用高級算法描述編程的靈活CV硬件引擎。這使得芯片的架構(gòu)能夠以非常低的功耗和不限制的靈活性將性能擴(kuò)展到每秒數(shù)萬億次操作,公司同時提供了行業(yè)標(biāo)準(zhǔn)工具(如Caffe和TensorFlow)對其CNN網(wǎng)絡(luò)進(jìn)行有效映射,以在基于CVflow 的芯片上運(yùn)行。
Altera作為排名第二的FPGA廠商,被英特爾收購,英特爾 FPGA 可提供理想的解決方案,滿足系統(tǒng)對靈活 IO 和高數(shù)據(jù)速率的要求。FPGA 可收集多個傳感器(接口類型、數(shù)據(jù)速率等各不相同)的數(shù)據(jù),并將它們轉(zhuǎn)化成統(tǒng)一格式(例如 MIPI CSI-2)以輸出至計算要素,并進(jìn)一步傳輸至 AD 系統(tǒng)。
被英特爾納入麾下以后,針對自動駕駛的FPGA解決方案,并沒有大力的推廣,這可能是收購了Mobileye后,在汽車芯片領(lǐng)域的發(fā)展步伐有所放緩。但作為一項被業(yè)內(nèi)廣泛使用的技術(shù),F(xiàn)PGA未來在自動駕駛中還會充當(dāng)重要的角色。因此英特爾的FPGA,也是一支不能忽視的力量。
以上這些廠商,在汽車芯片領(lǐng)域,算是新來者。賽靈思在加大投入,開始重視汽車市場,安霸借著原有汽車市場的一些經(jīng)驗,也在意圖更多CV市場份額。高通從傳統(tǒng)消費者市場闖進(jìn)來,自知閱歷不足,意圖收購NXP來一統(tǒng)江湖。但臨煮熟的鴨子,飛了,往后的路還要靠自己走。
自動駕駛視覺處理芯片的賽跑,才剛剛開始,領(lǐng)頭羊、傳統(tǒng)勢力、新入局者各自的節(jié)奏都不一樣的,但市場一致——我們目力所及的汽車,ADAS還遠(yuǎn)未普及。誰能掌握真正的話語權(quán),在于占領(lǐng)足夠大的市場,而這些故事,將會在接下來的5-10年完成。