2019年,手機(jī)廠商進(jìn)入諸神混戰(zhàn)時(shí)期,5G、AI、拍照、水滴屏……各大廠商都使出了渾身解數(shù)來(lái)爭(zhēng)奪用戶。從年初MWC大會(huì)的折疊屏、水滴屏、5G等大熱話題,再到近期的號(hào)稱能拍到銀河系的華為P30系列新品,以及OPPO即將發(fā)布的Reno系列以十倍景深為核心賣(mài)點(diǎn)……5G黎明前,用戶爭(zhēng)奪戰(zhàn),手機(jī)廠商又將如何尋求破局?
5G時(shí)代,遙不可及
如果要用三個(gè)字來(lái)描述5G時(shí)代,小編會(huì)選擇:“快”、“廣”、“永”。
“快”即快速,極速的連接;“廣”即廣泛、全面、海量的連接;“永”,即永遠(yuǎn)、一直,始終連接。
這三點(diǎn),可以說(shuō)是5G的基本屬性,5G時(shí)代的各種關(guān)鍵技術(shù)和應(yīng)用場(chǎng)景,都基于此而成為可能。就像一幅工筆重彩的鴻幅畫(huà)作,無(wú)論多么精致細(xì)密的錦繡乾坤,都依托于畫(huà)布,但是再好的畫(huà)布也需要筆精妙墨的畫(huà)布來(lái)彰顯其價(jià)值,最終帶給觀賞者以愉悅,兩者互為依托。而5G的最終目的,也正是給消費(fèi)者帶來(lái)前所未有的體驗(yàn)。
5G誠(chéng)然可以作為征服消費(fèi)者的利器,但目前5G還屬于商用時(shí)代,離大規(guī)模普及還有很長(zhǎng)一段時(shí)間,手機(jī)廠商可以借用5G進(jìn)行行業(yè)卡位,拉升品牌,不過(guò),想要在4G后半場(chǎng)搶奪市場(chǎng),未必可行。
AI +用戶痛點(diǎn),或成4G下半場(chǎng)的核心
AI,是目前各行各業(yè)都在緊密關(guān)注的技術(shù)。根據(jù)中國(guó)通信院的報(bào)告,2020年人工智能核心產(chǎn)業(yè)規(guī)模會(huì)超過(guò)1500億元,帶動(dòng)相關(guān)產(chǎn)業(yè)規(guī)模將超過(guò)1萬(wàn)億元,而到2030年,人工智能核心產(chǎn)業(yè)規(guī)模將超過(guò)1萬(wàn)億元,帶動(dòng)相關(guān)產(chǎn)業(yè)規(guī)模超過(guò)10萬(wàn)億元。而眼下,正是5G黎明時(shí)期,人工智能技術(shù)已經(jīng)提前在各行各業(yè)開(kāi)始應(yīng)用,根據(jù)易觀數(shù)據(jù)做的調(diào)查,2017年-2018年,國(guó)內(nèi)人工智能應(yīng)用領(lǐng)域最廣泛的是金融,其次依次是制造業(yè)、電商、健康醫(yī)療、社交媒體、交通物流等。
而具體到終端側(cè),目前主要是智能手機(jī)。在智能手機(jī)的AI應(yīng)用方面,國(guó)內(nèi)艾瑞咨詢做過(guò)調(diào)查,統(tǒng)計(jì)了2018年中國(guó)AI手機(jī)用戶認(rèn)為最有價(jià)值的AI功能(前10名)、體驗(yàn)最好的AI功能(前10名)以及最熟知的AI手機(jī)功能(前15名)中,除了語(yǔ)音助手和隨行翻譯,其他功能基本上都離不開(kāi)一個(gè)關(guān)鍵組件:相機(jī)。事實(shí)上,這背后正是基于AI智慧視覺(jué)能力廣闊的應(yīng)用前景。
在這里,IT之家小編想提一提智能手機(jī)芯片主要供應(yīng)商之一的聯(lián)發(fā)科。他們抓住的,正是現(xiàn)階段和未來(lái)AI在終端側(cè)最廣泛的應(yīng)用:AI相機(jī)。
在談AI相機(jī)的具體應(yīng)用前,我們首先需要了解一下,AI在相機(jī)中是怎樣工作的。用上面這張圖來(lái)表示,光線首先透過(guò)鏡組和光圈來(lái)到CMOS圖像傳感器,CMOS的作用是將光信號(hào)轉(zhuǎn)換為電信號(hào),這時(shí)候的信號(hào)還是模擬信號(hào),所以需要ADC模數(shù)轉(zhuǎn)換器將模擬電信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。接著,數(shù)字信號(hào)會(huì)來(lái)到ISP,ISP的主要任務(wù)是通過(guò)一系列先進(jìn)的數(shù)字信號(hào)圖像處理算法對(duì)傳輸過(guò)來(lái)的信號(hào)進(jìn)行效果處理,例如壞點(diǎn)校正、去除噪點(diǎn)、高光抑制和暗光補(bǔ)償、色彩增強(qiáng)、鏡頭矯正等等,這是讓圖像成片質(zhì)量更高的關(guān)鍵一步。ISP處理過(guò)信息后,再通過(guò)IO接口傳輸?shù)紺PU中進(jìn)行比較、存儲(chǔ)、分析等處理,最后通過(guò)顯示屏就可以看到圖像了。
而AI作用于相機(jī),通常來(lái)說(shuō)主要就是作用于ISP及向后的數(shù)字信息處理的過(guò)程,通過(guò)強(qiáng)大的AI算法,來(lái)提升數(shù)字信息處理的效果。圖像視頻信息處理計(jì)算復(fù)雜度極高,但卷積神經(jīng)網(wǎng)絡(luò)恰恰擅長(zhǎng)這樣的信息處理。隨著這些年ImageNet挑戰(zhàn)賽的興起,AI逐漸被應(yīng)用于智能終端的圖像和視頻處理,包括人臉解鎖、拍照?qǐng)鼍皟?yōu)化、智慧美顏、拍照翻譯、拍照背景虛化、AR視頻等等,而未來(lái),AI相機(jī)必將會(huì)有更深的應(yīng)用。
不過(guò)問(wèn)題來(lái)了,既然AI相機(jī)的應(yīng)用未來(lái)會(huì)越來(lái)越廣泛,越來(lái)越深入,那么是不是大家都在相機(jī)的基礎(chǔ)上引入一套AI算法就行了?小編認(rèn)為顯然不是。那什么是“真AI相機(jī)”?IT之家小編認(rèn)為首先相機(jī)本身要有良好的素質(zhì),其次相機(jī)和系統(tǒng)AI處理單元必須結(jié)合更緊密,形成更強(qiáng)勁的AI算力。
AI相機(jī)對(duì)相機(jī)本身需要較高的素質(zhì)要求,這一點(diǎn)很好理解。AI對(duì)終端設(shè)備相機(jī)能力的提升,更多是在軟件層面盡可能達(dá)到優(yōu)化的極致,但這有一個(gè)前提:硬件不能太差。那怎樣才算“硬件不差”?這里有一個(gè)方向,我們知道當(dāng)前智能手機(jī)的拍照競(jìng)賽早已過(guò)了拼像素的時(shí)代,圖像傳感器對(duì)拍照素質(zhì)的影響更為重要,所以未來(lái)的AI相機(jī)相信會(huì)對(duì)這一方面有所要求。
第二點(diǎn),也是IT之家小編覺(jué)得比較關(guān)鍵的,就是終端系統(tǒng)的AI處理單元有能夠針對(duì)性的AI算力支撐,其實(shí)這里所說(shuō)的就是對(duì)整體AI算力性能的需求,因?yàn)橹挥挟?dāng)AI算力達(dá)到一定高度,很多新鮮應(yīng)用背后的復(fù)雜的算力需求才能被滿足。在這一點(diǎn),我們不妨就以聯(lián)發(fā)科在Helio P90中搭載的APU 2.0為例。
APU是聯(lián)發(fā)科自研的AI專核,即專門(mén)用來(lái)處理AI運(yùn)算的芯片核心,它采用全新的AI運(yùn)算架構(gòu),擁有1127 GMACs的千兆級(jí)算力,是APU 1.0的四倍,相對(duì)于GPU更是數(shù)十倍效率的提升,同時(shí)支持INT8深度學(xué)習(xí)運(yùn)算和FP16浮點(diǎn)運(yùn)算,減輕GPU的負(fù)載,可以處理各種卷積網(wǎng)絡(luò),從而能夠多方位提供由APU2.0驅(qū)動(dòng)的圖像優(yōu)化服務(wù)。另外,APU 2.0相較于APU 1.0還有50%的功耗降低,對(duì)帶寬的需求也可以降低50%。
那么APU 2.0的AI算力究竟怎么樣?在行業(yè)內(nèi)比較認(rèn)同的AI算力標(biāo)準(zhǔn)來(lái)自蘇黎世聯(lián)邦理工學(xué)院(ETHZ)的AI-Benchmark榜單,即蘇黎世跑分,Helio P90的跑分為25654,其實(shí)也就是APU 2.0的成績(jī),從榜單上看,APU 2.0的跑分?jǐn)?shù)據(jù)排名前列,十分強(qiáng)悍。
特別值得一提的是,APU跟聯(lián)發(fā)科芯片里面的照相模塊,有自己獨(dú)特的連接方式,從而讓AI算力能夠和相機(jī)模塊更加緊密地互動(dòng),這樣就可以在強(qiáng)悍規(guī)格的基礎(chǔ)上著力解決體驗(yàn)問(wèn)題。
AI超強(qiáng)算力,歸根結(jié)底是為了提升體驗(yàn)
剛才我們說(shuō)到體驗(yàn),其實(shí)APU 2.0在規(guī)格上擁有強(qiáng)悍的AI算力,能看出目標(biāo)很明確,就是讓AI相機(jī)能夠真真切切地提升用戶體驗(yàn)。拋開(kāi)整體性能談AI的體驗(yàn)是不切實(shí)際的,當(dāng)然,性能也不是唯一,最終都要回歸到用戶體驗(yàn)層面。然而到底怎樣提升用戶體驗(yàn)?這個(gè)問(wèn)題的關(guān)鍵是:抓住痛點(diǎn)。就現(xiàn)階段而言,手機(jī)拍照的痛點(diǎn)主要是夜拍素質(zhì)、抓拍能力,如何讓普通消費(fèi)者隨時(shí)隨地隨手一拍,不用復(fù)雜的調(diào)整光線、亮度、穩(wěn)定度,都可以留下清晰無(wú)噪的感動(dòng)瞬間,這將成為AI相機(jī)主要的貢獻(xiàn)。
我們?nèi)匀灰月?lián)發(fā)科最新的Helio P90為例,首先是夜拍方面。通常而言,手機(jī)提升夜間拍照效果無(wú)非兩個(gè)路徑:提高ISO值,延長(zhǎng)曝光時(shí)間。當(dāng)然,如果有多個(gè)攝像頭還可以通過(guò)不同的光圈來(lái)提高夜拍效果,但手機(jī)上單個(gè)鏡頭光圈其實(shí)是固定的。這確實(shí)是提升夜拍效果的不二法門(mén),但其實(shí)也是最基礎(chǔ)的。Helio P90想到的是利用AI一步到位,不僅提高夜拍的基本素質(zhì),還可以直接優(yōu)化被攝主體的細(xì)節(jié)和色彩,甚至是黑暗環(huán)境中的細(xì)節(jié)。它采用基于多幀降噪,結(jié)合14-bit高動(dòng)態(tài)范圍ISP的運(yùn)算能力,利用AI實(shí)現(xiàn)更強(qiáng)的降噪算法及智能合成,最終直接生成用戶滿意的、擁有更好色彩和細(xì)節(jié)的夜拍照片。
除了夜拍,急速抓拍效果不佳也是很多手機(jī)拍照的痛點(diǎn)。其實(shí)抓拍能力和曝光時(shí)間直接相關(guān),優(yōu)秀的抓拍需要盡可能短的曝光時(shí)間,但是短的曝光時(shí)間會(huì)令照片曝光不足,從而影響照片質(zhì)量,特別是在弱光環(huán)境下的抓拍。在多方因素平衡下,抓拍反而會(huì)出現(xiàn)拖影、噪點(diǎn)明顯等多種問(wèn)題都存在的情況。而Helio P90能夠優(yōu)先將曝光時(shí)間縮短到3毫秒的水平,然后基于AI噪點(diǎn)訓(xùn)練、14-bit高動(dòng)態(tài)范圍ISP和AI多幀降噪處理的能力,保證畫(huà)面擁有足夠的亮度和純凈度。當(dāng)然,這背后需要非常復(fù)雜的運(yùn)算,并且要快速完成。人臉的快速識(shí)別與偵測(cè)同樣也是依托于AI算法。Helio P90擁有首創(chuàng)的AI人臉偵測(cè)引擎,能夠在弱光和運(yùn)動(dòng)條件下實(shí)時(shí)準(zhǔn)確地檢測(cè)人臉和場(chǎng)景。
視頻景深則是基于AI人像分割技術(shù),采用主流的物件主動(dòng)偵測(cè)和分割架構(gòu),利用最先進(jìn)的目標(biāo)檢測(cè)算法Mask R-CNN,并基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架Caffe2來(lái)實(shí)現(xiàn),這是一個(gè)非常復(fù)雜的過(guò)程,也需要極強(qiáng)的算力支持。聯(lián)發(fā)科P90憑借的是APU2.0高達(dá)1127 GMACs(每秒可操作11270億次定點(diǎn)乘累加次數(shù))的強(qiáng)大算力,因此能夠?qū)崿F(xiàn)這樣的人像分割。
除了這幾點(diǎn)核心功能,Helio P90還有焦點(diǎn)直播、AI實(shí)時(shí)美體、人體姿態(tài)追蹤識(shí)別、AI識(shí)物等諸多細(xì)分的應(yīng)用。
由此可見(jiàn),手機(jī)芯片應(yīng)該在AI硬件規(guī)格高標(biāo)準(zhǔn)的基礎(chǔ)上,追求用戶的出色體驗(yàn),硬件規(guī)格本身是空洞的,只有落實(shí)到體驗(yàn)層面才有意義。同時(shí)不能忽略AI生態(tài)開(kāi)放的重要性,讓第三方應(yīng)用開(kāi)發(fā)者更好地調(diào)用APU以及CPU、GPU的運(yùn)算能力,豐富AI生態(tài)。
5G黎明,AI破曉
眼下正是5G時(shí)代的黎明期,MWC2019上熱熱鬧鬧的5G浪潮猶在耳畔,包括一加、華為、小米等廠商都拿出了5G手機(jī),只待面向市場(chǎng)發(fā)售。而伴隨著5G手機(jī)的,有很多名詞:折疊屏、異形屏、云計(jì)算、AI等等。小編認(rèn)為,只有類(lèi)似AI、云計(jì)算等這樣的技術(shù),才是5G時(shí)代真正的趨勢(shì)5G的真正成熟還需要相當(dāng)一段時(shí)間,并且未來(lái)5G不會(huì)成為終端的賣(mài)點(diǎn),就像如今“支持4G”不會(huì)成為特別值得說(shuō)的賣(mài)點(diǎn)一樣,更重要的是:基于5G的應(yīng)用怎么樣。5G黎明到來(lái),固然重要,但是以怎樣的姿態(tài)破曉,更關(guān)鍵,盲目追逐5G本身是沒(méi)有意義的。
很顯然,AI是一個(gè)很好的方向,聯(lián)發(fā)科提前看到這一點(diǎn),并提前布局,也為他們贏得了先機(jī),至于未來(lái),其實(shí)無(wú)需思考太多。無(wú)論如何,把基于硬件規(guī)格的用戶體驗(yàn)做好,才是最本分的事情。