商湯科技李星冶：元宇宙的AI引擎如何構(gòu)建新應(yīng)用

企服點(diǎn)評(píng)官方

+ 關(guān)注

2022-12-05 18:46

699次閱讀

元宇宙的火熱引發(fā)了各個(gè)行業(yè)的關(guān)注與探討，在WISE 2022 企服展評(píng)節(jié)暨數(shù)字增長(zhǎng)大會(huì)上，來(lái)自商湯科技高級(jí)商務(wù)總監(jiān)李星冶介紹了AI 技術(shù)與元宇宙結(jié)合帶來(lái)的應(yīng)用與實(shí)踐。

李星冶認(rèn)為，AI有著它自己的產(chǎn)業(yè)革命，在元宇宙領(lǐng)域，在遵循摩爾定律通行原則的基礎(chǔ)上，會(huì)開(kāi)啟了媒介的變革，通過(guò)技術(shù)驅(qū)動(dòng)升級(jí)。隨著更新型的人機(jī)互動(dòng)技術(shù)的來(lái)臨，人們也會(huì)有更加深度的元宇宙互動(dòng)沉浸式體驗(yàn)。

在整個(gè)元宇宙的分層當(dāng)中，商湯科技專注于AI引擎層，即專注于人物的生成引擎和專注于場(chǎng)景生成的數(shù)據(jù)重建平臺(tái)。

李星冶表示，基于強(qiáng)大的AI能力，商湯科技打造了數(shù)字人的生成平臺(tái)，并在金融、商超、等線下的場(chǎng)景使用。同時(shí)，結(jié)合了商湯原創(chuàng)的AI技術(shù)，在數(shù)字資產(chǎn)方面通過(guò)線上線下實(shí)體產(chǎn)品產(chǎn)生結(jié)合和互動(dòng)，打造出更新的衍生效果和生動(dòng)的游玩體驗(yàn)。

商湯科技

0條點(diǎn)評(píng)

咨詢產(chǎn)品

免費(fèi)試用

計(jì)算機(jī)視覺(jué)技術(shù)研發(fā)商

客戶案例

合作品牌

以下為李星冶演講全文：

這次活動(dòng)的主題非常有意義，商湯科技本身是一家做人工智能的相關(guān)企業(yè)，我們時(shí)刻關(guān)注著在數(shù)字化經(jīng)濟(jì)的轉(zhuǎn)型和升級(jí)之下有哪些行業(yè)和業(yè)態(tài)能跟AI產(chǎn)生深度的結(jié)合和綁定，今天我?guī)?lái)的主題在商湯內(nèi)部也是全新賽道的嘗試，是關(guān)于元宇宙相關(guān)賽道發(fā)展和建設(shè)的意見(jiàn)。

從AI的發(fā)展階段來(lái)看會(huì)分成幾個(gè)階段，在有一些特定的行業(yè)，AI可以讓人們從一些繁重、危險(xiǎn)的工作中解放出來(lái)，我們也期待著AI能在將來(lái)某個(gè)時(shí)間段內(nèi)超越專家，產(chǎn)生出更好地現(xiàn)實(shí)生活中的替代效應(yīng)。

AI從產(chǎn)業(yè)落地的角度分成四個(gè)大方向：首先是算法，其核心是算法模型被行業(yè)更多的使用。其次是有大量的數(shù)據(jù)。目前看，通過(guò)大量的數(shù)據(jù)學(xué)習(xí)和訓(xùn)練，AI在很多領(lǐng)域能產(chǎn)生越來(lái)越多的效果。再次是算力，為了大規(guī)模的去生產(chǎn)訓(xùn)練模型，要匹配到我們能夠去進(jìn)行多任務(wù)、大規(guī)模的訓(xùn)練，提升有效算力，算力的集群對(duì)于整個(gè)算法訓(xùn)練來(lái)講是事半功倍的事情。同時(shí)要找到有效的落地場(chǎng)景，這應(yīng)該是業(yè)內(nèi)的共識(shí)。

從國(guó)家的發(fā)展角度去看的話，我們?cè)谝粋€(gè)大的戰(zhàn)略布局發(fā)展當(dāng)中，對(duì)于數(shù)據(jù)的使用和效率的提升提出了很多迫切的要求。

我們認(rèn)為AI隨著它自己的產(chǎn)業(yè)革命，在元宇宙相關(guān)的領(lǐng)域，它從大的方向上遵循摩爾定律通行的原則，它開(kāi)啟了媒介的變革，通過(guò)技術(shù)驅(qū)動(dòng)升級(jí)。

PC互聯(lián)網(wǎng)時(shí)代更多的是以媒體為中心進(jìn)行新聞的發(fā)布和傳播，到了后來(lái)的移動(dòng)互聯(lián)網(wǎng)時(shí)代，隨著3G、4G的網(wǎng)絡(luò)有了創(chuàng)新型的應(yīng)用，比如說(shuō)移動(dòng)支付、共享單車；5G建設(shè)時(shí)代初步來(lái)臨的時(shí)候，隨著智算中心、邊緣計(jì)算等普及，進(jìn)入了新的所謂的元宇宙時(shí)代，這是我們今天暢想的主要方向。也有一些權(quán)威報(bào)告指出元宇宙的入口，比如說(shuō)預(yù)計(jì)在2025年，整個(gè)低成本優(yōu)質(zhì)的硬件市場(chǎng)覆蓋會(huì)達(dá)到7500萬(wàn)或7600萬(wàn)件，有了大量的元宇宙入口，才有了元宇宙進(jìn)一步的想象空間。

隨著更新型的人機(jī)互動(dòng)技術(shù)的來(lái)臨，我們會(huì)有更加深度的元宇宙互動(dòng)沉浸式的體驗(yàn)，我們今天是站在元宇宙的入口跟大家進(jìn)行早期的討論。

在整個(gè)元宇宙的分層當(dāng)中，最底層是基礎(chǔ)設(shè)施；向上是顯示硬件，比如說(shuō)傳統(tǒng)的手機(jī)電腦、VR、AR、XR的設(shè)備；向上是操作層，基于移動(dòng)端的IOS、安卓，還有基于PC端、服務(wù)器端的操作系統(tǒng)；再向上有3D引擎，最大的是應(yīng)用層，現(xiàn)在可以看到早期元宇宙雛形應(yīng)用，比如說(shuō)用于社交運(yùn)用、辦公協(xié)作、商業(yè)服務(wù)娛樂(lè)等。

商湯專注于AI引擎層，這里面主要是兩個(gè)部分，一個(gè)是專注于人物的生成引擎，一個(gè)是專注于場(chǎng)景生成的數(shù)據(jù)重建平臺(tái)，這是今天分享的重點(diǎn)。

在大的元宇宙展示空間里，會(huì)把它分成人、物、場(chǎng)三個(gè)部分。人主要是基于快速算法的建模完成數(shù)字人的生成、驅(qū)動(dòng)和智能化的交付。物指的是物體跟人相似的建模算法，同時(shí)會(huì)有數(shù)字文創(chuàng)等產(chǎn)品的應(yīng)用。在空間的場(chǎng)景里有很多空間建模的算法，可以結(jié)合線下的賽事活動(dòng)、展覽展存去做一些深度的體驗(yàn)。

數(shù)字人可以分成好多不同的數(shù)據(jù)類型，商湯自己打造的數(shù)字人生成平臺(tái)也是依托于底層的能力，可以匯聚成各種各樣的風(fēng)格，滿足不同行業(yè)的需要。在大的數(shù)字人生成平臺(tái)當(dāng)中，包含了底層簡(jiǎn)單的AI引擎，傳統(tǒng)意義上大家理解成視覺(jué)引擎，比如說(shuō)對(duì)人的肢體語(yǔ)言、表情、動(dòng)作識(shí)別、；也包含了語(yǔ)音的能力和引擎，比如說(shuō)ASR、TTS，就是語(yǔ)音轉(zhuǎn)動(dòng)作和反饋，從文字轉(zhuǎn)成語(yǔ)音交互、再到STA驅(qū)動(dòng)，就是語(yǔ)音驅(qū)動(dòng)數(shù)字人動(dòng)起來(lái)的能力；還包括語(yǔ)義引擎，如NLP技術(shù)，我們?nèi)ダ斫馊藱C(jī)互動(dòng)，理解人類傳輸語(yǔ)言的意義，也包括對(duì)話引擎，他對(duì)上下文進(jìn)行連接。

基于強(qiáng)大的AI能力，向上可以做很多上層應(yīng)用，比如說(shuō)生成平臺(tái)，它可以包括數(shù)字人的生成平臺(tái)，快速去生成一套數(shù)字人，除了人之外還可以對(duì)它進(jìn)行換裝，可以對(duì)燈光進(jìn)行材質(zhì)的渲染，同時(shí)還可以在運(yùn)營(yíng)管理的平臺(tái)上，對(duì)數(shù)字人進(jìn)行簡(jiǎn)單的管理和制作。在數(shù)字人的視頻平臺(tái)，我們可以讓數(shù)字人生成播報(bào)、動(dòng)作匹配、轉(zhuǎn)場(chǎng)特效等?；诖耍覀兛梢詰?yīng)用線上的APP、H5和小程序，用數(shù)字人替代人工完成一些播報(bào)和互動(dòng)，同時(shí)可以在線上場(chǎng)景結(jié)合各種各樣大屏小屏等智能設(shè)備，去完成在現(xiàn)實(shí)生活中對(duì)人群的觸達(dá)。同時(shí)，在應(yīng)用場(chǎng)景里會(huì)有很多具體的載體，比如說(shuō)虛擬偶像、數(shù)字人主播等，有一些大家在生產(chǎn)生活當(dāng)中可以看得見(jiàn)的應(yīng)用。

數(shù)字人解決方案的組成模塊包括生成部分、驅(qū)動(dòng)部分、智能交互部分，更多行業(yè)內(nèi)的伙伴或相關(guān)的廠商把更多的精力放到了生成上，把人物變得更精細(xì)漂亮，這是非常有意義的事情。但同時(shí)，我們覺(jué)得更重要的是怎么樣讓數(shù)字人有效的驅(qū)動(dòng)起來(lái)，以及最難的是智能化的交互，這些可以讓數(shù)字人真正的擁有智能。

現(xiàn)在對(duì)于制作數(shù)字人來(lái)講，通過(guò)AI的能力已經(jīng)把它的門(mén)檻降得越來(lái)越低，圍繞著真人進(jìn)行簡(jiǎn)單的環(huán)拍，環(huán)拍之后可以生成出真人模型，其實(shí)是比較栩栩如生的，創(chuàng)建完之后可以對(duì)臉部和服裝進(jìn)行簡(jiǎn)單的調(diào)整，除了做人物也可以做動(dòng)物、卡通畫(huà)等。

同時(shí)，我們可以通過(guò)語(yǔ)音和其他的方式完成對(duì)數(shù)字人的驅(qū)動(dòng)，比如我跟大家說(shuō)你好，只要錄入文字，我們的數(shù)字人就會(huì)打一個(gè)你好，這個(gè)時(shí)候我們就并不需要真人在后面扮演，可以最大程度的釋放生產(chǎn)力，讓數(shù)字人變得更加高效智能。

這是首創(chuàng)的一套空氣動(dòng)捕，傳統(tǒng)的驅(qū)動(dòng)數(shù)字人還得有一套動(dòng)捕的設(shè)備，這套設(shè)備比較繁重，同時(shí)提高了制作成本和使用難度。這個(gè)時(shí)候商湯主要使用的是基于RGB攝像頭完成對(duì)于數(shù)字人的驅(qū)動(dòng)，看起來(lái)會(huì)變得非常簡(jiǎn)單，降低了使用的門(mén)檻，在線上直播的應(yīng)用里已經(jīng)慢慢看得見(jiàn)了。

這里面主要講了商湯自己數(shù)字人的典型應(yīng)用，在金融、商超、活動(dòng)里會(huì)有很多線下的場(chǎng)景去使用，未來(lái)我們和合作伙伴、友商會(huì)把越來(lái)越多的數(shù)字人推在更多生產(chǎn)、生活的角落，今天參會(huì)的朋友應(yīng)該都有過(guò)接觸。

這是數(shù)字貓比較新的產(chǎn)品和玩法，除了對(duì)于人的打造，我們自己對(duì)于數(shù)字資產(chǎn)和物品有很多的想法，結(jié)合了商湯自己原創(chuàng)的AI技術(shù)，和線上線下實(shí)體產(chǎn)品產(chǎn)生結(jié)合和互動(dòng)，就能產(chǎn)生出更新的衍生效果和很生動(dòng)的游玩體驗(yàn)。

基于數(shù)字貓這個(gè)APP可以看出，這里面展示了兩個(gè)，一個(gè)是《鹿王本生圖》的九色鹿故事，在現(xiàn)實(shí)場(chǎng)景當(dāng)中掃描實(shí)物之后出現(xiàn)小貓頭的形狀，拿著手機(jī)走進(jìn)去之后進(jìn)入敦煌的壁窟，現(xiàn)在敦煌的壁窟經(jīng)歷千年已經(jīng)斑駁了，用商湯這套AR算法可以看到九色鹿的場(chǎng)景被很好的展現(xiàn)了，栩栩如生的講述了鹿王之前的故事。它是基于物體的識(shí)別完成了沉浸式、交互式的數(shù)字藏品。

這里展示的是徐悲鴻的《奔馬圖》，這匹馬就是一幅水墨畫(huà)，掃碼進(jìn)入之后，可以圍繞著這匹馬360度旋轉(zhuǎn)，可以栩栩如生的看到這匹馬。

這是《溪山行旅圖》，宋畫(huà)三絕里面很有代表性的一幅畫(huà)，掃完進(jìn)來(lái)之后可以看到這幅畫(huà)卷生動(dòng)地展現(xiàn)在了我們面前，它有聲音，沉浸式的體驗(yàn)到人、物體和場(chǎng)景有機(jī)融合。

這是我們跟水立方、冬奧會(huì)線下沉浸式的互動(dòng)，可以更多的在商場(chǎng)、景區(qū)基于現(xiàn)實(shí)場(chǎng)景完成AR導(dǎo)航或簡(jiǎn)單的小游戲互動(dòng)。

我們?nèi)匀皇且獜?qiáng)調(diào)“科技向善”，對(duì)于AI可持續(xù)發(fā)展上，商湯一直立足于此方面的建設(shè)和工作，我們覺(jué)得作為一家AI企業(yè)，有責(zé)任把這件事情承擔(dān)好。

商湯本身是一家賦能的企業(yè)，迎合今天36氪的主題，作為乙方企業(yè)，希望跟更多的合作伙伴探討，大家共同在新的數(shù)字經(jīng)濟(jì)環(huán)境之下探討怎么樣有效的完成新一輪的增長(zhǎng)，不管是在傳統(tǒng)的場(chǎng)景里還是在新型的元宇宙空間里，期待跟大家更多的交流學(xué)習(xí)，感興趣可以掃描屏幕當(dāng)中的二維碼期待更多的討論。

封面來(lái)源 | 視覺(jué)中國(guó)