近年來直播行業(yè)風(fēng)生水起，各大互聯(lián)網(wǎng)巨頭都紛紛推出自家直播產(chǎn)品進(jìn)行市場(chǎng)份額爭(zhēng)奪，導(dǎo)致移動(dòng)直播也成為火熱的垂直領(lǐng)域。不過由于直播產(chǎn)品的特性：高時(shí)長(zhǎng)使用、網(wǎng)絡(luò)高度依賴、資源不匹配差等，成為了制約用戶體驗(yàn)的難題，雖然直播平臺(tái)雖推出了一系列解決方案，但是效果并不明顯，本質(zhì)上仍需要直播平臺(tái)、移動(dòng)平臺(tái)、算法平臺(tái)等多方協(xié)作。

　　對(duì)于直播來說，用戶體驗(yàn)顯然是最重要的。例如不少用戶都會(huì)遇到視頻卡頓、幀數(shù)過低，甚至是畫面大面積模糊這類情況，這當(dāng)中除了網(wǎng)絡(luò)環(huán)境會(huì)帶來相關(guān)差異以外，直播所使用的移動(dòng)終端對(duì)高清圖像解碼能力的差異也會(huì)帶來巨大影響，也因此導(dǎo)致了上游IC芯片廠商強(qiáng)化了直播的用戶體驗(yàn)。我們注意到近期發(fā)布的聯(lián)發(fā)科Helio P90將時(shí)下最前沿的移動(dòng)AI技術(shù)結(jié)合直播，獨(dú)特的AI焦點(diǎn)直播確實(shí)給用戶體驗(yàn)帶來很大的提升。

　　聚焦面部特征展現(xiàn)，AI焦點(diǎn)直播大幅提升用戶體驗(yàn)

　　首先我們來解釋下AI焦點(diǎn)直播的意思，實(shí)際上這是聯(lián)發(fā)科Helio P90芯片上的一項(xiàng)全新AI應(yīng)用。簡(jiǎn)單來說，就是當(dāng)用戶使用搭載聯(lián)發(fā)科Helio P90平臺(tái)的智能設(shè)備進(jìn)行直播時(shí)，直播平臺(tái)會(huì)啟用P90的AI編碼框架，配合APU 2。0的算力， 找出直播過程中被認(rèn)定為重點(diǎn)的區(qū)塊進(jìn)行高碼率編碼，而不重要的區(qū)塊則減低碼率。

聯(lián)發(fā)科Helio P90平臺(tái)(左)展示的焦點(diǎn)直播特性，有效優(yōu)化面部特征。(圖/網(wǎng)絡(luò))

　　如此一來，可以讓有限的網(wǎng)絡(luò)頻寬保留給重要的物件，例如人臉、玩偶等焦點(diǎn)，實(shí)現(xiàn)在正常光線下對(duì)直播主的美顏美肌、暗光環(huán)境下優(yōu)化直播主核心的面部特征的技術(shù)特征，讓直播主這個(gè)實(shí)時(shí)焦點(diǎn)顯得更加突出。很有意思的是，聯(lián)發(fā)科這項(xiàng)技術(shù)在發(fā)布之后就受到了大量直播用戶的關(guān)注。

　　其實(shí)在聯(lián)發(fā)科P90的AI焦點(diǎn)直播推出前，就已經(jīng)有不少的第三方直播美顏軟件，但這些軟件更多意義是讓整個(gè)直播畫面變的明亮，或者是簡(jiǎn)單的提升直播主的膚色等，不僅存在畫面失真的情況，而且能使用的平臺(tái)單一，無法跨直播平臺(tái)使用。換句話說，直播美顏更多是直播平臺(tái)自家的后臺(tái)算法針對(duì)人臉偵測(cè)，既無法實(shí)時(shí)實(shí)現(xiàn)畫面焦點(diǎn)的優(yōu)化，也無法做到非人臉的局部焦點(diǎn)編碼，體驗(yàn)相當(dāng)?shù)木窒蕖?/p>

傳統(tǒng)的直播基本上只是針對(duì)畫面做微幅處理，算法比較簡(jiǎn)單。(圖/網(wǎng)絡(luò))

　　聯(lián)發(fā)科P90的AI焦點(diǎn)直播顯然就是針對(duì)這一體驗(yàn)做出的特殊優(yōu)化，它與普通直播美顏軟件的區(qū)別就是調(diào)動(dòng)了底層硬件，并配合AI邊緣計(jì)算、特殊編碼來實(shí)現(xiàn)三方協(xié)作，得益于每秒高達(dá)11270億次的定點(diǎn)乘累加能力，可以通過人臉偵測(cè)引擎使(AI+ISP)來進(jìn)行高強(qiáng)度的運(yùn)算，這個(gè)過程中可以熟記和鎖定畫面焦點(diǎn)的細(xì)節(jié)特征，在弱光和運(yùn)動(dòng)條件下實(shí)時(shí)準(zhǔn)確地檢測(cè)人臉和場(chǎng)景。值得一提的是，目前除了聯(lián)發(fā)科P90外，還沒有其他的SoC具有這種功能。

　　既然聯(lián)發(fā)科P90具備AI焦點(diǎn)直播功能，具體能帶來怎樣的效果？簡(jiǎn)單來說通過AI焦點(diǎn)直播不只做到傳統(tǒng)的美顏美肌美白瘦臉，還不只做到傳統(tǒng)的美顏美肌美白瘦臉，還可以讓直播主的面部更清晰，有效降低人物面部MPEG編碼所造成的馬賽克效應(yīng)，目前用戶通過聯(lián)發(fā)科Helio P70、P90的手機(jī)都可以享受到AI焦點(diǎn)直播的魅力，下一步虎牙直播、斗魚直播、YY直播、抖音等都有希望會(huì)接入到聯(lián)發(fā)科P90的解決方案中，甚至未來微信視頻、QQ視頻，乃至廠商自家開發(fā)的在線視頻串流功能都同樣可以實(shí)現(xiàn)AI焦點(diǎn)直播的效果。

　　AI焦點(diǎn)直播的背后，強(qiáng)大的APU 2。0提供算力支持

　　很多用戶持疑，其他芯片不能實(shí)現(xiàn)AI焦點(diǎn)直播功能嗎？其實(shí)AI焦點(diǎn)直播的背后是強(qiáng)大的AI算力需求，傳統(tǒng)的CPU運(yùn)算能力和GPU圖形編碼能力不足以支撐這種新型的視頻直播方案。

　　傳統(tǒng)移動(dòng)終端負(fù)責(zé)視頻解碼的硬件主要由CPU+GPU+DSP這三大部分來完成，其中DSP負(fù)責(zé)的稱之為硬解碼，而CPU則作為輔助軟解碼運(yùn)算。但是他們的缺點(diǎn)都十分明顯，DSP作為硬解碼方案，算法已經(jīng)完全固定下來(部分可以通過固件更新)，所以只能解碼它所支持的，如果對(duì)編碼處理不同有可能就無法解碼成功，進(jìn)而導(dǎo)致直播過程中產(chǎn)生花屏卡頓甚至綠屏的情況出現(xiàn)。 而CPU軟解碼對(duì)于算法的擴(kuò)展能力雖然比DSP強(qiáng)，但是其本本身就是耗電大戶，隨著直播清晰度的提升，做高強(qiáng)度的軟解將大量的消耗終就不寬裕的電力資源，這對(duì)于移動(dòng)終端來說是致命的缺陷。

　　目前聯(lián)發(fā)科技P90的焦點(diǎn)直播技術(shù)則是基于APU 2。0模塊提供的強(qiáng)勁AI算力(根據(jù)跑分顯示，P90的AI算力已經(jīng)超越高通855)，通過攝像頭捕捉到的人物頭面部畫面，APU將該區(qū)域在系統(tǒng)內(nèi)做特殊標(biāo)注，分析影片中的紋理、邊緣鋸齒、顏色等信息，主動(dòng)定義可能含有面部特征的ROI區(qū)域(Region Of Interest， 感興趣區(qū)域)，針對(duì)這些區(qū)域每秒可實(shí)現(xiàn)上億次運(yùn)算，最終能帶來精準(zhǔn)的焦點(diǎn)鎖定與優(yōu)化，實(shí)現(xiàn)碼率與視頻壓縮質(zhì)量的提升。

　　借助于AI算力，聯(lián)發(fā)科P90對(duì)噪點(diǎn)的控制會(huì)比傳統(tǒng)的CPU和DSP方案有更好的效果。而更重要的一點(diǎn)在于AI引擎的運(yùn)作大大降低了CPU和DSP運(yùn)作的強(qiáng)度，對(duì)于電力敏感的移動(dòng)終端來說，極大的提升的續(xù)航能力，進(jìn)一步提升直播中的用戶體驗(yàn)。

　　整體來看，聯(lián)發(fā)科P90的AI焦點(diǎn)直播確實(shí)是切中了直播業(yè)平臺(tái)和用戶的痛點(diǎn)。在全民直播的時(shí)代，高清畫質(zhì)輸出意味著平臺(tái)方需要不斷加大帶寬成本的投入，對(duì)于不少中小型平臺(tái)來說是相當(dāng)難以承受的開支，而Helio P90將原先只能在B端(平臺(tái)方)尋求解決方案的問題，轉(zhuǎn)而通過C端(用戶方)設(shè)備進(jìn)行強(qiáng)力的輔助和優(yōu)化，對(duì)于促進(jìn)直播產(chǎn)業(yè)的發(fā)展和效率提升也有著相當(dāng)大的幫助作用。

　　據(jù)悉搭載聯(lián)發(fā)科P90的智能手機(jī)將在2019年第一季度上市，屆時(shí)將刷新智能手機(jī)在直播上的體驗(yàn)。得益于幾代產(chǎn)品在AI上的鋪墊，聯(lián)發(fā)科已經(jīng)把智能的觸角應(yīng)用到分類管理、物體識(shí)別、拍照相機(jī)、語音文字識(shí)別和SR高清分辨率領(lǐng)域，并串聯(lián)起包括智能手機(jī)、智能電視、物聯(lián)網(wǎng)設(shè)備等在內(nèi)的終端產(chǎn)品，不僅提高了用戶體檢，也定義了新高端的品牌定位，更提高了品牌價(jià)值，走出了不一樣的AI之路。