Wave Surround震撼預警：國內首個IAB 沉浸音處理系統試驗成功，部分代碼將開源！

　　自 IAB 標準(SMPTE 2098系列)發布以后，Dolby、DTS 等公司相繼發布了其對于 IAB 格式 DCP/IMP 的支持和方案，Atmos、DTS:X、Auro 3D 等多種基于對象的沉浸式音頻技術，正在逐步轉向統一的互操作格式-IAB 。使得同一個 DCP 可以應用到不同的沉浸式音頻系統上，目前該技術標準已經在多個國家投入使用，中國大陸目前尚未開始 IAB 的普及，我們經過多年對 IAB音頻系統的研究，結合 Wave D-Cinema Server 可實現完整的 IAB 沉浸式音頻系統的部署和使用，該 IAB 音頻處理器不同于(yu)傳統的(de)(de) FPGA 方案(an)，使用通(tong)用計(ji)算(suan)架(jia)構，可實現遠超 FPGA 的(de)(de)音頻(pin)處理性(xing)能，同時，我們關注到從 Atmos 及其他空間音頻(pin)技術(shu)向 IAB 轉換的(de)(de)電影音頻(pin)工作(zuo)流(liu)程需(xu)求，提供(gong)對應的(de)(de)沉浸式音頻(pin)制作(zuo)工具，實現端(duan)到端(duan)的(de)(de)沉浸式音頻(pin)解決方案(an)。

　　IAB (沉浸(jin)式音頻(pin)比特流)是一(yi)種由一(yi)組 SMPTE 標(biao)(biao)準定(ding)義的(de)(de)技(ji)術(shu)，所(suo)有符合沉浸(jin)式音頻(pin)標(biao)(biao)準的(de)(de)媒(mei)體(ti)(ti)播放器都遵循(xun)該標(biao)(biao)準。這包(bao)括投影儀內的(de)(de)集成媒(mei)體(ti)(ti)塊(kuai) (IMB) 和單獨的(de)(de)外部系統 (SMS)。

　　IAB 的 SMPTE ST 2098 標準最初于 2018 年發布，現在終于被電影行業采用。因此，內容所有者和內容服務提供商將開始發行帶有 IAB 標簽的電影，這(zhe)意味(wei)著：

　　所有(you)使(shi)用(yong)(yong)IAB沉浸式音頻標準的(de)電影(ying)都(dou)將使(shi)用(yong)(yong)“IAB 兼容”

　　符(fu)合 IAB 標(biao)準的音頻將在其內容(rong)播放列表(biao) (CPL) 中以及通過(guo) DCP 命名約定標(biao)記(ji)為“IAB”

　　電影(ying)院的(de)媒(mei)體(ti)播(bo)放器、影(ying)院管理系(xi)統 (TMS) 或 SMS將開始(shi)顯示標簽“IAB”，而不是(shi) Atmos

　　影院經營(ying)者(zhe)可能更熟悉在電影中(zhong)看到(dao) Atmos。未(wei)來將只(zhi)使用 IAB

　　這不會改變 DCP 中的內容——杜比多年來一直在推出符合 SMPTE 標準的“IAB ”DCP

　　很快，您的 TMS 和 SMS 將只顯示“IAB ”。不會顯示“Atmos”字樣。

　　這什么時候會發生？

　　目前好萊塢影片Atmos版(ban)(ban)本已按照IAB格(ge)式(shi)提供，國產影片尚未開始(shi)轉向IAB格(ge)式(shi)，相信在不久的將(jiang)來，ATMOS和(he)DTS都將(jiang)使用IAB格(ge)式(shi)的DCP版(ban)(ban)本，影城需要確(que)保設備(bei)準備(bei)就(jiu)緒(xu)，需要確(que)保其(qi)軟件得到更新。

　　(附(fu)圖(tu)為 ISDCF-DCNC 對 IAB 格式的命名(ming)規范)

　　關于 IAB ：IAB 代表I mmersive A udioB itstream 。比特流是一個計算機術語，簡而言之，在標準音頻系統中，音頻從媒體服務器(IMB)開始，進入音頻處理器(qi)，然后直(zhi)接(jie)在音響系(xi)統中播放。

　　SMPTE ST 2098-1：沉浸式音頻 比特流 (IAB Bitstream)： 定義了用(yong)于(yu)傳(chuan)輸沉(chen)浸(jin)式(shi)音(yin)頻(pin)數(shu)據的(de)(de)(de)比特流格(ge)式(shi)。它支持基于(yu)聲道 (Channel-based)、基于(yu)對象 (Object-based) 的(de)(de)(de)音(yin)頻(pin)表(biao)示(shi)方法，以及它們的(de)(de)(de)混(hun)合(he)使用(yong)。注意：標(biao)準的(de)(de)(de)IAB 規(gui)范里沒有關于(yu)基于(yu)場景音(yin)頻(pin)的(de)(de)(de)約束，任(ren)何關于(yu) HOA 在 IAB 中的(de)(de)(de)應(ying)用(yong)都(dou)是非標(biao)準的(de)(de)(de)做法，我們不建議(yi)使用(yong) HOA 在電影院環境中。

　　基于聲道 (Channel-based)： 類似于(yu)傳統的環繞聲，使用預定(ding)義的揚聲器位(wei)置來錄(lu)制和播放音頻。例如 5.1、7.1 聲道等。

　　基于對象 (Object-based)： 將(jiang)音頻元素(例(li)如對話、音效)作為獨立的(de)(de)“對象”進行錄制和處(chu)理，并包(bao)含其(qi)在(zai)三維空間中的(de)(de)位置(zhi)信息。播放(fang)時，渲染(ran)器(qi)會根(gen)據揚聲器(qi)的(de)(de)實際(ji)位置(zhi)來渲染(ran)這些對象。

　　Dolby Atmos 是(shi)目前世界上(shang)(shang)使(shi)用最(zui)廣泛(fan)的 IAB 音頻(pin)品牌，Atmos 使(shi)用 VBAP(矢(shi)量(liang)幅度平移)算法(fa)進行 IAB 渲染，目前 Dolby Atmos 已經在商業影(ying)院部署超過 7000 影(ying)廳以(yi)上(shang)(shang)。空間音頻(pin)已經快速進入了大家(jia)的生活(huo)中，手(shou)機、汽車、電(dian)視等(deng)終(zhong)端(duan)已經支持對象(xiang)聲的渲染，受(shou)限于其(qi)計算能(neng)力，專業影(ying)院的同(tong)時播放對象(xiang)數量(liang)高(gao)達 118 個，而手(shou)機、汽車、電(dian)視這(zhe)些終(zhong)端(duan)的對象(xiang)可(ke)能(neng)減少為十余個。

　　Atmos 增加了什么？

　　杜(du)比全景聲系(xi)統為(wei)(wei)影廳(ting)引(yin)入了一個(ge)新概念。這(zhe)個(ge)新發展(zhan)被稱(cheng)為(wei)(wei)“對象”。

　　Atmos 系統仍然(ran)包含 5.1 或 7.1 聲(sheng)道。它將這些(xie)稱為 Bed Channels。

　　“Bed” 這個詞在音頻界有著悠久的傳統。例如，如果你和(he)樂隊混在一起，你會聽(ting)到(dao)他們(men)說，“讓我(wo)們(men)放一些(xie)(xie)  Bed track 吧”。這些(xie)(xie)是歌曲中節奏和(he)與(yu)主要(yao)旋律元素和(he)聲的基本音軌。因此(ci)，DCP 中的 Bed Tracks 是電(dian)影(ying)音頻的基本 5.1 或 7.1 聲道(dao)。

　　而對象則不同(tong)。它是一種聲音，但(dan)沒有特定(ding)的播放通道，也沒有特定(ding)的電纜供其傳(chuan)輸(shu)。

　　物體(ti)(ti)在空(kong)間(jian)中有(you)一(yi)個(ge)位置。它需要(yao)一(yi)個(ge) IAB 系統來告訴聲音(yin)物體(ti)(ti)“去往前方(fang)四(si)米(mi)處，距(ju)離(li)左側三米(mi)、距(ju)離(li)天(tian)花板一(yi)米(mi)，要(yao)非(fei)常窄，但聲音(yin)要(yao)非(fei)常大。然后花 5 ms移動(dong)到 3D 空(kong)間(jian)中的(de)其他(ta)地方(fang)，并且要(yao)非(fei)常寬”。但是(shi)這(zhe)些位置可能沒有(you)揚(yang)(yang)聲器，對吧?因為如(ru)果有(you)的(de)話，揚(yang)(yang)聲器會遮擋(dang)屏(ping)幕(mu)上的(de)畫面。

　　事實上，Atmos 和(he)其(qi)他系統(AuroMax和(he)DTS:X)都有(you)很多額外(wai)的(de)揚(yang)(yang)聲(sheng)器(qi)。問題是，較小的(de)影(ying)廳(ting)可(ke)(ke)(ke)能只有(you) 8 個(ge)額外(wai)的(de)揚(yang)(yang)聲(sheng)器(qi)加(jia)上床聲(sheng)道，但另一個(ge)影(ying)廳(ting)可(ke)(ke)(ke)能有(you) 20 個(ge)額外(wai)的(de)揚(yang)(yang)聲(sheng)器(qi)——而(er)且它們(men)被放置在禮堂(tang)的(de)不(bu)同位置。事實上，揚(yang)(yang)聲(sheng)器(qi)的(de)總組合(he)可(ke)(ke)(ke)以是 64 個(ge)。所以，也(ye)許(xu)那個(ge)位置有(you)一個(ge)揚(yang)(yang)聲(sheng)器(qi)，……但可(ke)(ke)(ke)能沒有(you)。

　　要(yao)做到這一點需要(yao)大量的計算機算力來支(zhi)撐(cheng)。

　　IAB 基于對象的音頻是如何記錄音頻位置的？

　　IAB 最大可以 118 個對(dui)(dui)象(xiang)同時(shi)渲染，這(zhe)(zhe)些對(dui)(dui)象(xiang)是(shi)聲(sheng)(sheng)音(yin)在物理環境中(zhong)的(de)(de)某個發聲(sheng)(sheng)單元，比如(ru)人在說話的(de)(de)時(shi)候，人是(shi)對(dui)(dui)象(xiang)，馬路上(shang)行走汽車的(de)(de)噪音(yin)，天(tian)空(kong)中(zhong)的(de)(de)飛(fei)機飛(fei)過的(de)(de)聲(sheng)(sheng)音(yin)，這(zhe)(zhe)都是(shi)一個個音(yin)頻對(dui)(dui)象(xiang)。音(yin)頻對(dui)(dui)象(xiang)位置(zhi)元數據(ju)使用笛卡(ka)爾坐標(biao)系(xi)指(zhi)示(shi)音(yin)頻對(dui)(dui)象(xiang)的(de)(de)位置(zhi)。使用三個正交軸(x、y、z)來定位空(kong)間中(zhong)相對(dui)(dui)于(yu)所(suo)選原點的(de)(de)點。x 坐標(biao)應(ying)表(biao)(biao)示(shi)左右維(wei)(wei)(wei)度，y 坐標(biao)應(ying)表(biao)(biao)示(shi)前后維(wei)(wei)(wei)度，z 坐標(biao)應(ying)表(biao)(biao)示(shi)上(shang)下(xia)維(wei)(wei)(wei)度，如(ru)圖 1 所(suo)示(shi)。

　　對象在空間中(zhong)(zhong)的(de)(de)(de)位(wei)置(zhi)(zhi)是用(yong)笛卡爾坐標(biao)系(xi)來描述的(de)(de)(de)，對于空間中(zhong)(zhong)的(de)(de)(de)某個位(wei)置(zhi)(zhi)以及對象本(ben)身的(de)(de)(de)大小，ST2098-1 中(zhong)(zhong)均有(you)相(xiang)關定義，渲(xuan)染(ran)時需(xu)要按照 IAB 中(zhong)(zhong)描述的(de)(de)(de)要求進(jin)行渲(xuan)染(ran)，以保證達(da)到制作人的(de)(de)(de)目的(de)(de)(de)。

　　IAB 渲染-最重要的部分：

　　(IAB 音頻(pin)播放架構(gou))

　　SMPTE ST 2098?2 沉(chen)浸式音(yin)頻(pin)(pin)比特流(liu) (IAB) 定義了一種(zhong)用于承(cheng)載沉(chen)浸式音(yin)頻(pin)(pin)的(de)比特流(liu)。它設計了許多前瞻(zhan)性功(gong)(gong)能(neng)， 其中一些功(gong)(gong)能(neng)目前不(bu)受影院(yuan)IAB渲(xuan)(xuan)(xuan)染(ran)器的(de)支持(chi)。為(wei)了有(you)效地開始向(xiang)行(xing)(xing)業推出 IAB DCP，需要為(wei) IAB 制定一套約定的(de)約束。“IAB Application Profile#1” 將這些要求和支持(chi)的(de)功(gong)(gong)能(neng)編(bian)入標(biao)準。配置(zhi)文(wen)件(jian) 1 基于截至(zhi) 2020 年 2 月 影院(yuan)中沉(chen)浸式音(yin)頻(pin)(pin)渲(xuan)(xuan)(xuan)染(ran)器所實施的(de)功(gong)(gong)能(neng)。我們通常認(ren)為(wei)：杜(du)比ATMOS遵循的(de)渲(xuan)(xuan)(xuan)染(ran)器約束就是“IAB Profile 1”，杜(du)比公司提供了從ATMOS向(xiang)IAB的(de)轉換(huan)工具，影片制作(zuo)工作(zuo)室可無損的(de)將ATMOS數字(zi)資產轉換(huan)為(wei)IAB資產。IAB 配置(zhi)文(wen)件(jian)1規定了對最大10個床聲道(dao)、118個對象同(tong)時進行(xing)(xing)渲(xuan)(xuan)(xuan)染(ran)的(de)詳細約束。

　　如何將IAB沉浸音中記錄的聲音對象位置準確的在有限的影廳揚聲器布局中渲染出來是非常有挑戰的工作，比較推薦的做法是使用VBAP(矢量幅度平移)方法，聲音的對象從一個點到下一個點的移動速率約為5ms，每個對象的定位最少需要3只揚聲器來實現定位，渲染器的工作就是不斷的將聲音對象通過影廳空間最適合的三個揚聲器來重新計算每個揚聲器或者揚聲器組需要播出的音頻數據，同時，渲染器需要考慮人類聽覺的特性，進行實時的解相關運算，通過調節音頻的相位達到更佳的體驗，與傳統的音頻處理應用不同，渲染器相當于將音頻工作站由(you)工作室搬(ban)到了影廳的機房，根據(ju)不同的影廳尺寸進行密集的實時計算，單是FIR處(chu)理一(yi)項(xiang)，傳統(tong)的DSP芯(xin)片就難以勝任，影院音頻處(chu)理呈(cheng)現高帶(dai)寬、高算力要求。

　　Dolby的(de)IAB處理(li)方(fang)案采用(yong)FPGA計算平(ping)(ping)臺(tai)，與傳統的(de)DSP哈佛架構芯片(pian)不同，我們的(de)音頻(pin)(pin)處理(li)方(fang)案創新的(de)使用(yong)通用(yong)計算平(ping)(ping)臺(tai)，結合CPU與GPU的(de)強大(da)(da)計算能(neng)力，可提供超(chao)越FPGA架構十倍的(de)處理(li)能(neng)力，除(chu)了音頻(pin)(pin)渲(xuan)染、音頻(pin)(pin)處理(li)外(wai)，Wave Surround解決方(fang)案支持實時(shi)進行(xing)房間混響計算，這將為較(jiao)小(xiao)的(de)空(kong)間實現“大(da)(da)劇院”、“演唱會”、“大(da)(da)禮堂”、“巨幕廳”的(de)聲音效果(guo)成為可能(neng)。

　　Wave Surround 支持更靈活的音響布局，支持7.1.4、5.1.4、9.1OH、11.1HT、13.1HT、9.1.6、11.1.4等靈活布局，得益于強大的計算架構，該音頻解決方案Filter部分使用FIR高階濾波(大于1024Taps)進行音頻濾波處理，可以做到非常好的相位響應，在類似LED電影屏的B環還音應用中，可以靈活應對。Wave Surround 已就相關技術申請專利保護。

　　我們的方案-Wave Surround 沉浸式終極音頻解決方案

　　從 2019 年開(kai)始(shi)，我(wo)們(men)(men)就在(zai)關(guan)注 IAB 音頻相(xiang)關(guan)技術的發(fa)展(zhan)，在(zai)Pierre-Anthony Lemieux等(deng)人的幫助與(yu)指(zhi)導下，我(wo)們(men)(men)于 2024 年完(wan)成(cheng)了(le)IAB 沉浸式音頻的產品研究和開(kai)發(fa)工作，與(yu)我(wo)們(men)(men)的 Wave D-Cinema 媒體(ti)服(fu)務器一樣，我(wo)們(men)(men)的 IAB 音頻處理器同樣采用通用計算架構，而不是 Dolby 的 FPGA 架構。計算性能遠遠超過(guo) FPGA。

　　Wave IAB Processor Features：

 　　符合ST 430-10 標準(zhun)的 IMB 通信要求，支持由 IMB 控(kong)制的 IAB 音(yin)頻播放管(guan)理功(gong)能

　　友好(hao)易用的 Web UI 設(she)計(ji)，提供 Restful API 供集成

　　靈活的 DAC 布局，使用(yong) AES67 協議，支(zhi)持(chi)外置 DAC

　　符(fu)合 ST2098 系列 IAB 標準，支持多(duo)達十余種揚聲器布(bu)局

　　全 LCD 觸控屏操作，無物理實體(ti)按鍵

　　支(zhi)持 OTA，可通過軟件(jian)更新提升硬件(jian)價值(zhi)

　　支持低音陣列(lie)及低音管理

　　可(ke)(ke)靈活使用 IIR/FIR 分頻和濾(lv)波(bo)，FIR 可(ke)(ke)支持更高(gao) Taps 濾(lv)波(bo)，超越專業級(ji)音頻設備的品質

　　徹底解決 LED 電影(ying)屏透聲問題，使用 高階FIR提供(gong)極好(hao)的相位響應。

　　支持自(zi)動 EQ 校準(zhun)

　　最大可支(zhi)持輸出(chu) 128 路數字音頻

　　最后：

　　使用通用架構進行IAB音頻處理是一項充滿挑戰的工作，在麥克盧漢卓越研究開發團隊的不懈努力下，該IAB音頻解決方案得以成功通過試驗，我們歡迎國際、國內音頻產業的相關公司參與共創合作，Wave Surround 計劃將IAB的(de)制作、渲染、音(yin)頻(pin)處理等(deng)核心(xin)代碼開源，如有對空(kong)間音(yin)頻(pin)、數(shu)字影院音(yin)頻(pin)處理感興趣的(de)團隊(dui)，可通過(guo)公眾號與我們聯(lian)系(xi)，共同打造極致的(de)媒體娛樂(le)體驗(yan)。