近日，疊境數(shù)字與上海科技大學(xué)合作在自由視點技術(shù)研究方面取得了重要成果，相關(guān)內(nèi)容以“Editable Free-Viewpoint Video using a Layered Neural Representation”為題，被國際頂級圖形圖像會議SIGGRAPH 2021接收，并將在2021年8月份在會議上進行正式的介紹和展示。

項目團隊成員

    生成自由視點的視頻對于提高傳統(tǒng)視頻尤其是體育賽事直播觀看體驗有著至關(guān)重要的作用。在最近2020年東京奧運會上，自由視點技術(shù)，包括“時間凝結(jié)”技術(shù)，也多次應(yīng)用在籃球、藝術(shù)體操、跆拳道、摔跤和柔道等體育項目中，極大的提高了賽事直播畫面的精彩程度。而如何用更少的硬件設(shè)備實現(xiàn)高質(zhì)量的自由視點視頻一直是業(yè)內(nèi)的研究方向。

    隨著新興的神經(jīng)網(wǎng)絡(luò)渲染技術(shù)發(fā)展，基于AI的低成本且高質(zhì)量的自由視點視頻生成成為可能。相比于傳統(tǒng)方法，神經(jīng)網(wǎng)絡(luò)渲染可以生成更加逼真的新視角圖片與視頻。然而，目前存在的基于神經(jīng)網(wǎng)絡(luò)渲染的相關(guān)方法只適用于靜態(tài)場景或者小視角范圍的動態(tài)場景，也不支持對于場景的編輯。本項研究結(jié)合了新興的神經(jīng)網(wǎng)絡(luò)渲染技術(shù)和傳統(tǒng)的視頻分層渲染策略，從渲染質(zhì)量和可編輯性上體現(xiàn)出了各自的優(yōu)勢。利用了較為稀疏的16個相機視角，可以渲染出大視角范圍的支持編輯的自由視點視頻。

算法框架：主要分為場景感知、分層ST-NeRF和神經(jīng)網(wǎng)絡(luò)編輯

    疊境數(shù)字自由視點產(chǎn)品是一套能夠同時提供“時間凝結(jié)”特效以及自由視點特效直播、點播服務(wù)的一體化解決方案，而基于神經(jīng)網(wǎng)絡(luò)渲染的自由視點視頻生成技術(shù)的成功研發(fā)，也將應(yīng)用在了疊境數(shù)字自由視點產(chǎn)品中，從而打破更多的視角采集傳感器等于更高的視覺效果的原有認(rèn)知，實現(xiàn)稀疏的視角也可以帶來高質(zhì)量視覺效果的新局面，降低了系統(tǒng)應(yīng)用推廣的成本。