近日，抖音與火山引擎超清修復(fù)了“Beyond1991生命接觸演唱會精選”“別了家駒十五演唱會精選”兩場演唱會。修復(fù)后的效果立竿見影，無論是在畫面還是音質(zhì)上都有了質(zhì)的提升，讓人眼前一亮，不少網(wǎng)友看后歡呼“爺青回”。這究竟是如何做到的，以后老舊音像資料都可一鍵翻新嗎？
超清修復(fù)，幾代人的青春記憶被喚醒
據(jù)了解，為了提升觀看和聽感體驗，再現(xiàn)Beyond經(jīng)典之作，火山引擎對其從畫質(zhì)和音質(zhì)兩個方面進行了修復(fù)。“我們的目標是從畫面整體清晰度、人像五官復(fù)原度、色彩亮度、流暢度、美觀度等方面對畫質(zhì)進行提升。”火山引擎相關(guān)負責人介紹。
修復(fù)后，人物面部的胡須、毛孔清晰可見，給觀眾帶來更佳視覺感受。正如有網(wǎng)友觀后感稱，“超清修復(fù)后，看到了黃家駒細微的表情和眼中的光。”在畫質(zhì)上，視頻分辨率從不足540p提升到接近4K水平，幀率從25fps提升到60fps。
在音質(zhì)修復(fù)方面，火山引擎音頻技術(shù)團隊通過音頻降噪、音頻超分和響度算法，消除噪聲提升音質(zhì)，解決響度、噪聲干擾、帶寬不足等問題。修復(fù)后在保留音樂和人聲的前提下，抑制了周圍噪聲，原始音頻的高頻部分還得到了拓展和增強。
實際上，超清修復(fù)不只是提升了音畫清晰度，修復(fù)的還是影像背后的記憶，幾代歌迷因為Beyond隔空產(chǎn)生的共鳴和火花。例如，這次參與畫質(zhì)修復(fù)技術(shù)團隊都是90年后出生的，他們?yōu)榇烁械脚d奮和驕傲。
北京大學法學院副教授江溯也是資深Beyond歌迷，他表示，Beyond的歌伴隨自己走過漫長歲月——到城里讀大學，考上研究生以及讀博士、出國學習，最終成為法學學者，甚至記不清自己打開多少次這場熟悉的演唱會視頻。
在7月3日的“Beyond超清修復(fù)演唱會官宣”直播中，無數(shù)網(wǎng)友在屏幕上打出，“看哭了。”“在漫長的黑夜，beyond無數(shù)次給我力量。”“當年陪我看DVD的朋友，你現(xiàn)在在哪里。”“80后報到、90后報到、00后報到……”這場直播最終以1.4億人次觀看的成績落幕。
如何做到的，背后用了哪些“黑科技”？
一般來說，老舊音像作品畫面模糊不清、受損嚴重；受限于原來的拍攝設(shè)備和環(huán)境，底噪較大，影片存在大量的過曝與死黑場景；上個時代的視頻編碼器壓縮效率低，會導(dǎo)致壓縮噪聲和紋理丟失，等等。
所以說對這種老舊作品的修復(fù)，難度可想而知。那么火山引擎究竟怎樣做到的呢？尤其市面上做老舊音像作品修復(fù)的企業(yè)也不少，火山引擎有什么不一樣嗎？一個顯著區(qū)別是，一些企業(yè)普通的畫質(zhì)修復(fù)算法對人臉處理不夠精細，可能是一個“模板”處理所有視角，而火山引擎自研了自適應(yīng)人像增強算法。
據(jù)介紹，本次Beyond演唱會人臉有不同大小(近景/中景/遠景)、不同姿態(tài)(側(cè)臉/俯視/仰視)的場景，如何調(diào)節(jié)不同大小、姿態(tài)的人像修復(fù)效果而且跟背景不會造成明顯差異，成了本次修復(fù)的一個難點。
“針對演唱會場景中多角度的人臉，包括正臉，側(cè)臉，俯視，仰視，還有一些被樂器/話筒遮擋的人臉，火山引擎自研的自適應(yīng)人像增強算法在各種極端場景下都有較好的修復(fù)效果，穩(wěn)定性強。”火山引擎多媒體實驗室研究員趙世杰表示。
趙世杰進一步表示，基于深度學習模型，自適應(yīng)人像增強算法在消除人臉整體的模糊和壓縮損傷的同時，進一步對人臉關(guān)鍵的五官重建，對眼睛、嘴巴、耳朵、皮膚甚至發(fā)絲都進行了細節(jié)重建和紋理添加，使得人臉清晰度更高更真實。
火山引擎音頻技術(shù)團隊研究員舒曉峰表示，火山引擎音頻降噪算法針對音樂場景和人聲場景實現(xiàn)了一個兼容的AI降噪算法，可以保留人說話/唱歌/音樂的同時，抑制其他的噪聲。
除了算法上的優(yōu)勢，在應(yīng)用場景上，火山引擎也具備得天獨厚的條件。抖音、西瓜視頻等業(yè)務(wù)每天都會收到用戶海量的投稿，這里面既有 UGC，也有PUGC的，有專業(yè)的視頻，也有業(yè)余的拍攝，質(zhì)量參差不齊，這些投稿都會經(jīng)過火山引擎的自動優(yōu)化處理，對清晰度、色彩、瑕疵、失真等做自動的修復(fù)。“總結(jié)來說，我們擁有一個非常豐富的應(yīng)用場景去優(yōu)化迭代算法。”火山引擎相關(guān)負責人介紹。
AI修復(fù)，會成為老舊音像作品修復(fù)“救星”？
據(jù)介紹，本次抖音直播超清修復(fù)的Beyond演唱會中，還應(yīng)用了火山引擎畫質(zhì)全鏈路端到端解決方案。該解決方案主要包括服務(wù)端分析系統(tǒng)、服務(wù)端視頻處理系統(tǒng)，客戶端解碼后處理系統(tǒng)。
一個完整的視頻消費鏈路包括了上傳、轉(zhuǎn)碼、傳輸、消費等，火山引擎在其中的多個環(huán)節(jié)中對視頻內(nèi)容進行畫質(zhì)、碼率、體驗的優(yōu)化。
以服務(wù)端視頻處理系統(tǒng)為例，它可根據(jù)上一環(huán)節(jié)輸出的最優(yōu)策略進行處理，組合多種算法模塊包括超分、降噪、HDR、編碼前處理、采樣等，該過程先獲取視頻畫質(zhì)的上限，然后從碼率出發(fā)進行編碼預(yù)處理。
值得注意的是，這樣的技術(shù)除了應(yīng)用在抖音中，也會對外開放。“修復(fù)經(jīng)驗以及相關(guān)技術(shù)能力可以便捷地應(yīng)用到其他的場景或者行業(yè)中。”趙世杰指出，目前這些技術(shù)能力均已通過火山引擎視頻云、音頻技術(shù)產(chǎn)品開放給外部。
修復(fù)不僅僅應(yīng)用在演唱會、短視頻等領(lǐng)域，2021年10月，西瓜視頻及火山引擎推出“經(jīng)典視頻4K修復(fù)計劃”，計劃通過技術(shù)手段，一年內(nèi)修復(fù)百部經(jīng)典動畫片，目前已完成71部。
修復(fù)經(jīng)典是傳承，也是用數(shù)字技術(shù)最大化還原作品，帶來視聽新感受。“未來，我們會聯(lián)合火山引擎修復(fù)更多經(jīng)典影像，讓經(jīng)典煥發(fā)新生。”抖音相關(guān)負責人表示。