AI修圖到底有多強(qiáng)?
前幾日，Adobe Max 大會(huì)剛剛結(jié)束，Photoshop 2021版便登上了國(guó)外各大媒體版面。
其原因是，新版Ps工具中內(nèi)置了AI驅(qū)動(dòng)工具，諸如“天空置換”等高難度修圖問題，現(xiàn)在點(diǎn)點(diǎn)鼠標(biāo)就可以輕松實(shí)現(xiàn)，而且效果遠(yuǎn)超手動(dòng)操作。
無論是拍人拍景或是其他，“天空”都可以說是攝像中的關(guān)鍵元素。比如，一張平平無奇的景色圖加上落日余暉的天空色調(diào)，是不是有內(nèi)味了?
對(duì)于短視頻愛好者來說，如果也能達(dá)到如此處理效果豈不是更佳?
沒錯(cuò)，今天小編就是要給大家介紹一款基于原生視頻的AI處理方法，不僅可以一鍵切置換天空背景，還可以打造任意“天空之城”。
AI視頻修復(fù)新玩法
這項(xiàng)AI處理方法來自密歇根大學(xué)的一位華人博士后的最新研究。該方法基于視覺技術(shù)可一鍵調(diào)整視頻中的天空背景和天氣轉(zhuǎn)換。
比如，《星際迷航》等科幻電影中經(jīng)常出現(xiàn)的浩瀚星空、宇宙飛船，也可以利用這項(xiàng)技術(shù)融入隨手拍的視頻中。
公路片秒變科幻片，畫面毫無違和感。
視頻中的藍(lán)色的天空背景也隨飛船變成了灰蒙蒙的色調(diào)，一種世界末日的即視感有木有?
當(dāng)然它的玩法還不止如此。
動(dòng)漫迷也可以創(chuàng)建自己的移動(dòng)城堡。喜歡《天空之城》《哈爾的移動(dòng)城堡》的朋友應(yīng)該對(duì)這一幕應(yīng)該非常熟悉。
又或者在視頻中掛一個(gè)超級(jí)月亮，又是另一番景象。
好像只要腦洞夠大，利用這項(xiàng)AI技術(shù)，視頻創(chuàng)作就有無限種玩法。
另外，它還具備天氣轉(zhuǎn)換的功能，比如晴空萬里、陰雨綿綿、雷雨交加等各種天氣都可以在視頻中隨意切換。
喜歡玩Vlog的朋友聽著是不是非常心動(dòng)了?研究人員表示，現(xiàn)在已經(jīng)在考慮將其制作成插件/腳本的形式，方便相關(guān)從業(yè)者或行業(yè)使用。
在此之前，這項(xiàng)技術(shù)的AI代碼已經(jīng)在Github開源，懂技術(shù)的朋友可以優(yōu)先安裝體驗(yàn)了~
Github地址：https://github.com/jiupinjia/SkyAR
技術(shù)原理
不同于傳統(tǒng)研究，研究人員提出了一種完全基于視覺的解決方案。它的好處就是可以處理非靜態(tài)圖像，同時(shí)不受拍攝設(shè)備的限制，也不需要用戶交互，可以處理在線或離線視頻。
上述實(shí)驗(yàn)視頻，均是通過手持智能手機(jī)和行車記錄儀在野外拍攝的。經(jīng)過該方法處理后，其在視頻質(zhì)量、運(yùn)動(dòng)動(dòng)態(tài)、照明轉(zhuǎn)換方面都達(dá)到了較高的保真度。比如在浮動(dòng)城堡，超級(jí)月亮樣例中，使用單個(gè)NVIDIA Titan XP GPU卡，該方法可以在輸出分辨率為640 x 320時(shí)達(dá)到24 fps的實(shí)時(shí)處理速度，在854 x 480時(shí)達(dá)到接近15 fps的實(shí)時(shí)處理速度。
具體來說，該方法分為三個(gè)核心模塊：
天空遮罩框架(Sky Matting Network)：用于檢測(cè)視頻幀中天空區(qū)域的視頻框架。該框架是采用了基于深度學(xué)習(xí)的預(yù)測(cè)管道，能夠產(chǎn)生更精確的檢測(cè)結(jié)果和更具視覺效果的天空蒙版。
運(yùn)動(dòng)估計(jì)(Motion Estimation)：用于恢復(fù)天空運(yùn)動(dòng)的運(yùn)動(dòng)估計(jì)器。天空視頻需要在真實(shí)攝像機(jī)的運(yùn)動(dòng)下進(jìn)行渲染和同步。
圖像融合(Image Blending)：用于將用戶指定的天空模板混合到視頻幀中的Skybox。除此之外，還用于重置和著色，使混合結(jié)果在其顏色和動(dòng)態(tài)范圍內(nèi)更具視覺逼真感。
完整框架如下圖：
天空遮罩框架：利用深卷積神經(jīng)網(wǎng)絡(luò)(CNN)的優(yōu)勢(shì)，在一個(gè)像素級(jí)回歸框架下對(duì)天空冰雹進(jìn)行預(yù)測(cè)，該框架可以產(chǎn)生粗尺度和細(xì)尺度的天空蒙版。
天空遮罩框架由一個(gè)分段編碼器( Segmentation Encoder )、一個(gè)掩模預(yù)測(cè)解碼器(Mask Prediction Decoder)和一個(gè)軟細(xì)化模塊(Soft Refinement Module)組成。
其中，編碼器的目的是學(xué)習(xí)下采樣輸入圖像的中間特征表示。解碼器被用來訓(xùn)練和預(yù)測(cè)粗糙的天空。優(yōu)化模塊同時(shí)接收粗糙的天空蒙版和高分辨率輸入，并生成一個(gè)高精度的天空蒙版。
運(yùn)動(dòng)估計(jì)：研究人員直接估計(jì)了目標(biāo)在無窮遠(yuǎn)處的運(yùn)動(dòng)，并創(chuàng)建了一個(gè)用于圖像混合的天空盒(Skybox)，通過將360°天空盒模板圖像混合到透視窗口來渲染虛擬天空背景。
假設(shè)天空模式的運(yùn)動(dòng)是由一個(gè)矩陣M2R33來模擬的。 由于天空中的物體(如云、太陽(yáng)或月亮)應(yīng)該位于同一個(gè)位置，假設(shè)它們的透視變換參數(shù)是固定值，并且已經(jīng)包含在天空盒背景圖像中，然后使用迭代Lucas-Kanade和金字塔方法計(jì)算光學(xué)流，從而可以逐幀跟蹤一組稀疏特征點(diǎn)。對(duì)于每對(duì)相鄰幀，給定兩組2D特征點(diǎn)，使用基于RANSAC的魯棒模糊估計(jì)來計(jì)算具有四個(gè)自由度(僅限于平移、旋轉(zhuǎn)和均勻縮放)的最佳2D變換。
圖像融合：在預(yù)測(cè)天空蒙版時(shí)，輸出像素值越高，表示像素屬于天空背景的概率越高。在常規(guī)方法中，通常利用圖像遮罩方程，將新合成的視頻幀與背景進(jìn)行線性組合，以作為它們的像素級(jí)組合權(quán)重。
但由于前景色和背景色可能具有不同的色調(diào)和強(qiáng)度，因此直接進(jìn)行上述方法可能會(huì)導(dǎo)致不切實(shí)際的結(jié)果。 因此，研究人員應(yīng)用重新著色和重新照明技術(shù)將顏色和強(qiáng)度從背景轉(zhuǎn)移到前景。
實(shí)驗(yàn)結(jié)果
研究人員采用了天空電視臺(tái)上的一個(gè)數(shù)據(jù)集。 該數(shù)據(jù)集基于AED20K數(shù)據(jù)集構(gòu)建而成，包括多個(gè)子集，其中每個(gè)子集對(duì)應(yīng)于使用不同方法創(chuàng)建真實(shí)的填空遮罩。
本次試驗(yàn)使用“ADE20K+DE+GF”子集進(jìn)行了培訓(xùn)和評(píng)估，該訓(xùn)練集中有9187張圖像，驗(yàn)證集中有885張圖像。以下為基于該方法的視頻天空增強(qiáng)效果：
最左邊是輸入視頻的起始幀，右邊的圖像序列是不同時(shí)間段下的輸出效果
天氣轉(zhuǎn)換的效果，分別為晴到多云，晴到小雨，多云到晴天以及多云到多雨。
需要強(qiáng)調(diào)的是，在合成雨天圖像時(shí)，研究人員通過屏幕混合在結(jié)果的頂部添加動(dòng)態(tài)雨層(視頻源)和霧層。 結(jié)果顯示，只需對(duì)skybox模板和重新照明因子稍作修改，就可以實(shí)現(xiàn)視覺逼真的天氣轉(zhuǎn)換。
與CycleGAN的比較結(jié)果。CycleGAN是一種基于條件生成對(duì)抗網(wǎng)絡(luò)的非成對(duì)圖像到圖像轉(zhuǎn)換方法。在定性方面，該方法表現(xiàn)出更高的保真度。
第一行為兩個(gè)原始的輸入幀;第三行為CycleGAN結(jié)果
在定性比較上，PI和NIQE的得分值越低越好。
可以看出，該方法在定量指標(biāo)和視覺質(zhì)量方面都優(yōu)于CycleGAN。
更多論文詳細(xì)內(nèi)容，可參見：https://arxiv.org/abs/2010.11800
相關(guān)作者
Zhengxia Zou，是該項(xiàng)研究的第一作者，目前是密歇根大學(xué)安娜堡分校的博士后研究員 。
他于2013年和2018年獲得北京航空航天大學(xué)的學(xué)士學(xué)位和博士學(xué)位，后加入密歇根大學(xué)，其研究興趣包括計(jì)算機(jī)視覺在遙感、自動(dòng)駕駛以及視頻游戲中的相關(guān)應(yīng)用。
近幾年，其發(fā)表的多篇相關(guān)論文被ACM、CVPR以及AAAI頂會(huì)收錄。
對(duì)于該項(xiàng)研究，Zhengxia Zou認(rèn)為，除了視頻領(lǐng)域的應(yīng)用外，還有一個(gè)潛在應(yīng)用空間—數(shù)據(jù)擴(kuò)充。 他說，
數(shù)據(jù)集的規(guī)模和質(zhì)量是計(jì)算機(jī)視覺技術(shù)的基礎(chǔ)，在現(xiàn)實(shí)場(chǎng)景中，即使ImageNet、MS-COCO等大規(guī)模數(shù)據(jù)集，在應(yīng)用中也存在采樣偏差帶來的局限，而該方法對(duì)于提高深度學(xué)習(xí)模型在檢測(cè)、分割、跟蹤等各種視覺任務(wù)中的泛化能力具有很大的潛力。
不過，目前研究也存在一定的局限性，主要體現(xiàn)在兩個(gè)方面，
一是天空遮罩網(wǎng)絡(luò)無法檢測(cè)到夜間視頻中的天空區(qū)域。
二是當(dāng)視頻中某段時(shí)間內(nèi)沒有天空像素，或者沒有紋理時(shí)，天空背景的運(yùn)動(dòng)就無法精確建模。
其原因是用于運(yùn)動(dòng)估計(jì)的特征點(diǎn)被假定為位于同一位置，并且使用距離第二遠(yuǎn)的特征點(diǎn)來估計(jì)運(yùn)動(dòng)會(huì)不可避免地引入誤差。
因此，在未來的工作中，研究會(huì)著重于三個(gè)方向進(jìn)行優(yōu)化：第一是自適應(yīng)天空光照;第二是魯棒背景運(yùn)動(dòng)估計(jì);第三是探索基于天空渲染的數(shù)據(jù)增強(qiáng)對(duì)目標(biāo)檢測(cè)和分割的有效性。
關(guān)鍵詞：
