易科 |中國傳媒大學課程回顧-沉浸聲系統在節目制作中的應用

　　音頻技術(shu)的(de)發展在過去幾十年的(de)時間里(li)，讓人們的(de)聽覺體(ti)驗從單聲道擴展到立體(ti)聲和(he)環繞聲，并且(qie)向帶有(you)高度信息的(de)沉(chen)浸聲系統快速(su)進化。為(wei)(wei)了讓年輕的(de)音頻行(xing)業(ye)從業(ye)者能(neng)夠緊跟技術(shu)的(de)快速(su)更迭，易科國際(ji)的(de)沉(chen)浸聲技術(shu)團隊(dui)于2022年5月26日，為(wei)(wei)中國傳媒大學的(de)學生們進行(xing)了一次(ci)題(ti)為(wei)(wei)《沉(chen)浸聲系統在節目制作中的(de)應用》的(de)主題(ti)講座。

　　講座開始(shi)，中國(guo)傳媒大學(xue)音(yin)樂與錄音(yin)藝術學(xue)院教師賁小(xiao)龍老師做了開場白，易(yi)科國(guo)際市場營銷中心高級總(zong)監(jian)冀(ji)翔則介紹了易(yi)科國(guo)際的(de)沉浸聲技術團隊(dui)成員(yuan)以及其位于深(shen)圳(zhen)總(zong)部的(de)沉浸聲系統實驗及體驗空(kong)間。

　　Part　1

　　本(ben)次講座(zuo)分(fen)為三大模塊：沉浸聲(sheng)系統(tong)基本(ben)概(gai)念梳理、節(jie)目(mu)的(de)制(zhi)作(zuo)與交付流程以及(ji)沉浸聲(sheng)系統(tong)在應用中的(de)相關注意事項。易科國際(ji)高級(ji)品(pin)牌經(jing)理徐若克(ke)從(cong)同學們(men)較為熟(shu)悉的(de)立(li)體聲(sheng)和(he)環繞(rao)聲(sheng)拾(shi)音(yin)制(zhi)式說起，如AB，M/S，X/Y，Hamasaki Square，Fukata Tree等，讓同學們(men)對錄音(yin)制(zhi)作(zuo)從(cong)前期拾(shi)音(yin)到(dao)(dao)后期制(zhi)作(zuo)，直到(dao)(dao)最后交付節(jie)目(mu)的(de)整(zheng)體流程有一(yi)個整(zheng)體的(de)把握，也(ye)為后續的(de)沉浸聲(sheng)節(jie)目(mu)制(zhi)作(zuo)和(he)節(jie)目(mu)交付埋下伏筆。

　　隨后，徐若克解釋(shi)了“基于聲道(Channel-Based)”和“基于對(dui)象(xiang)(Object-Based)”的概念，對(dui)比了二者之間的異(yi)同。

　　基(ji)于聲道對(dui)于揚(yang)聲器(qi)(qi)布局有著標(biao)準(zhun)化的(de)限制和要(yao)求，比如(ru)5.1環繞聲系統對(dui)于揚(yang)聲器(qi)(qi)的(de)布局要(yao)求必須符合ITU-R BS.2159-9標(biao)準(zhun)(官方鏈(lian)接//www.itu.int/pub/R-REP-BS.2159-9-2022)。

　　基(ji)(ji)(ji)于(yu)(yu)對(dui)(dui)象(xiang)則是在音頻(pin)文件的(de)(de)(de)(de)(de)(de)基(ji)(ji)(ji)礎上賦予了(le)更(geng)多的(de)(de)(de)(de)(de)(de)元數據，如(ru)(ru)空間(jian)坐標信息、聲(sheng)學(xue)特性(xing)等。基(ji)(ji)(ji)于(yu)(yu)對(dui)(dui)象(xiang)和基(ji)(ji)(ji)于(yu)(yu)聲(sheng)道二者之間(jian)并(bing)不是相互對(dui)(dui)立的(de)(de)(de)(de)(de)(de)“競(jing)爭”關系(xi)(xi)(xi)(xi)，在不同(tong)應用場(chang)(chang)景(jing)之下，作(zuo)為音頻(pin)工程師會選擇更(geng)為合(he)適的(de)(de)(de)(de)(de)(de)制作(zuo)系(xi)(xi)(xi)(xi)統。對(dui)(dui)于(yu)(yu)從制作(zuo)到最終節目(mu)的(de)(de)(de)(de)(de)(de)交(jiao)(jiao)付(fu)，揚聲(sheng)器布局遵(zun)循統一(yi)標準并(bing)且保持一(yi)致的(de)(de)(de)(de)(de)(de)場(chang)(chang)景(jing)，基(ji)(ji)(ji)于(yu)(yu)聲(sheng)道的(de)(de)(de)(de)(de)(de)系(xi)(xi)(xi)(xi)統有著明顯的(de)(de)(de)(de)(de)(de)優勢(shi);若節目(mu)的(de)(de)(de)(de)(de)(de)制作(zuo)環(huan)境和交(jiao)(jiao)付(fu)端無(wu)法保證揚聲(sheng)器布局的(de)(de)(de)(de)(de)(de)統一(yi)，那么為了(le)節目(mu)遷(qian)移的(de)(de)(de)(de)(de)(de)一(yi)致性(xing)，基(ji)(ji)(ji)于(yu)(yu)對(dui)(dui)象(xiang)的(de)(de)(de)(de)(de)(de)制作(zuo)則有更(geng)大的(de)(de)(de)(de)(de)(de)優勢(shi)，目(mu)前市(shi)場(chang)(chang)上的(de)(de)(de)(de)(de)(de)一(yi)些現場(chang)(chang)演出(chu)以及互動(dong)性(xing)較強的(de)(de)(de)(de)(de)(de)節目(mu)都是采用這一(yi)制作(zuo)系(xi)(xi)(xi)(xi)統完(wan)成(cheng)的(de)(de)(de)(de)(de)(de)。針對(dui)(dui)如(ru)(ru)何在基(ji)(ji)(ji)于(yu)(yu)聲(sheng)道和基(ji)(ji)(ji)于(yu)(yu)對(dui)(dui)象(xiang)這兩種系(xi)(xi)(xi)(xi)統之間(jian)做(zuo)出(chu)正(zheng)確的(de)(de)(de)(de)(de)(de)選擇，除了(le)上述的(de)(de)(de)(de)(de)(de)應用場(chang)(chang)景(jing)外(wai)，沉浸聲(sheng)引擎自身(shen)的(de)(de)(de)(de)(de)(de)渲(xuan)(xuan)染算法也是另一(yi)重要(yao)考量因素，如(ru)(ru)基(ji)(ji)(ji)于(yu)(yu)強度的(de)(de)(de)(de)(de)(de)VBAP，DBAP，基(ji)(ji)(ji)于(yu)(yu)延時的(de)(de)(de)(de)(de)(de)WFS算法，他(ta)們對(dui)(dui)于(yu)(yu)靜態(tai)和動(dong)態(tai)聲(sheng)源的(de)(de)(de)(de)(de)(de)渲(xuan)(xuan)染上，對(dui)(dui)于(yu)(yu)系(xi)(xi)(xi)(xi)統資源的(de)(de)(de)(de)(de)(de)消耗有著各自的(de)(de)(de)(de)(de)(de)優勢(shi)和不足，需要(yao)在系(xi)(xi)(xi)(xi)統設計過(guo)程中綜合(he)考量。

　　接下來(lai)，徐若克(ke)針對SARA引(yin)擎(qing)(qing)的(de)(de)核心(xin)算(suan)法(fa)WFS做了(le)進(jin)(jin)一(yi)步(bu)的(de)(de)介紹，從WFS的(de)(de)理論模(mo)型到實(shi)際應(ying)(ying)(ying)用中一(yi)些難(nan)以實(shi)施的(de)(de)特點(dian)，讓(rang)同(tong)(tong)學們不(bu)僅能夠(gou)明白WFS算(suan)法(fa)的(de)(de)優(you)勢，同(tong)(tong)時也(ye)能夠(gou)看到其在(zai)(zai)應(ying)(ying)(ying)用層面的(de)(de)局限性(xing)。SARA引(yin)擎(qing)(qing)的(de)(de)自適應(ying)(ying)(ying)波場合成(cheng)渲染(ran)算(suan)法(fa)，其核心(xin)來(lai)自于WFS算(suan)法(fa)，并在(zai)(zai)及(ji)基礎上做出改良和優(you)化，所(suo)(suo)以在(zai)(zai)原有WFS的(de)(de)優(you)勢上，進(jin)(jin)一(yi)步(bu)減(jian)少了(le)系統中所(suo)(suo)需揚(yang)聲器的(de)(de)數量，更(geng)夠(gou)更(geng)好的(de)(de)實(shi)現(xian)垂直定位(wei)，在(zai)(zai)音色保持一(yi)致的(de)(de)前提下，靈活地在(zai)(zai)點(dian)聲源和平面波之間進(jin)(jin)行切換。

　　易(yi)(yi)科(ke)國(guo)際(ji)解決(jue)方案(an)經理(li)汪道(dao)瀾在(zai)易(yi)(yi)科(ke)總部(bu)的(de)(de)(de)(de)五樓為同(tong)學(xue)們展示了SARA引擎(qing)(qing)的(de)(de)(de)(de)操作界面和簡易(yi)(yi)的(de)(de)(de)(de)工(gong)作流程。從建立一個沉浸(jin)聲系(xi)統(tong)(tong)工(gong)程，調整(zheng)(zheng)房間尺寸，建立揚(yang)聲器(qi)坐標(biao)，選擇揚(yang)聲器(qi)類(lei)型(xing)(Spatial, Reinforcement, Sub)，到針(zhen)對引擎(qing)(qing)SFF格式元數據(ju)的(de)(de)(de)(de)播(bo)放器(qi)進行(xing)了功能(neng)(neng)展示，讓(rang)同(tong)學(xue)們在(zai)對于沉浸(jin)聲系(xi)統(tong)(tong)有了一定的(de)(de)(de)(de)理(li)論層面認知之后，能(neng)(neng)夠在(zai)引擎(qing)(qing)操作頁(ye)面能(neng)(neng)夠更加直觀的(de)(de)(de)(de)感受(shou)到整(zheng)(zheng)個沉浸(jin)聲系(xi)統(tong)(tong)被(bei)建立起(qi)來的(de)(de)(de)(de)過程，以及在(zai)實際(ji)應用過程中，針(zhen)對不同(tong)揚(yang)聲器(qi)布局，靈活且快速的(de)(de)(de)(de)比(bi)例調整(zheng)(zheng)。

　　Part　2

　　徐若克針對沉浸聲節目的制作和交付流程做了較為詳細的分享。當節目進入沉浸聲的制作時，大致上可以將制作方式歸為完全基于對象、基于聲道制作加上基于對象渲染、混合制作加上基于對象渲染這三種方式。首先，針對完全基于對象的制作方式，從制作端到節目交付端，全程都有沉浸聲引擎的參與。在制作環節，工程師大多都是基于一個標準的揚聲器布局完成節目的監聽，沉浸聲引擎作為制作環節的渲染工具，為工程師提供了基于標準揚聲器布局的監聽信號，而非最終交付的信號。當節目制作完成到了交付端的時候，唯一需要調整的就是交付端新的揚聲器布局，這個布局需要重新導入沉浸聲引擎當中，引擎接受同樣的節目源，重新根據新場地的揚聲器布局進行渲染，完成節目的交付。基于聲道制作加上基于對象渲染可以讓節目制作人員保留原有的制作流程和操作習慣，并且在制作環節可以允許沉浸聲引擎不參與其中，此時制作人員聽到和最終輸出的文件既是監聽信號又是交付信號。當制作完成之后到了交付場地，同樣的，沉浸聲引擎會根據場地的揚聲器布局模型，針對完成的節目信號進行渲染。混合制作加上基于對象渲染這中方式，在制作環節即引入了沉浸聲引擎。大部分的信號可以通過工作站的固定母線輸出至引擎，少數需要做特殊效果的通道可以直接輸出給引擎。在交付環節，此(ci)時的(de)(de)(de)元數據既來自(zi)制作端引擎(qing)，又包含基(ji)于(yu)聲(sheng)道的(de)(de)(de)揚(yang)聲(sheng)器布(bu)局(ju)，引擎(qing)基(ji)于(yu)新的(de)(de)(de)揚(yang)聲(sheng)器布(bu)局(ju)完成節目的(de)(de)(de)渲染并將信號輸出(chu)給(gei)揚(yang)聲(sheng)器系統。

　　當演出現場不具(ju)備特(te)定揚(yang)聲器(qi)布局的(de)(de)安裝(zhuang)條件時，沉(chen)浸聲引擎(qing)基(ji)于場地中揚(yang)聲器(qi)模型來(lai)渲染出虛(xu)擬(ni)揚(yang)聲器(qi)來(lai)滿足(zu)特(te)定重放要(yao)求(qiu)的(de)(de)節目(mu)，就顯得非常重要(yao)。徐若(ruo)克以2021年(nian)11月易(yi)科(ke)國際在星海音樂廳完(wan)成(cheng)的(de)(de)22.2聲道，8K超高清放映系列活動 為例，和同(tong)學們分享沉(chen)浸聲引擎(qing)在真實場景下的(de)(de)應用，團隊遇到的(de)(de)困難和對(dui)應措施，進一步強化(hua)了沉(chen)浸聲系統(tong)來(lai)渲染和還(huan)原虛(xu)擬(ni)揚(yang)聲器(qi)的(de)(de)概(gai)念。

　　Part　3

　　沉浸聲系統在實際應用中，除了提供核心運算的沉浸聲引擎，還有很多其他設備的參與，比如調音臺、數字信號轉換器、交換機、功(gong)放、揚聲(sheng)器(qi)等(deng)。當(dang)面對(設計)一套沉浸(jin)(jin)聲(sheng)時(shi)，我(wo)們(men)需(xu)要全面了解各自設備在(zai)系統(tong)當(dang)中(zhong)的(de)(de)(de)角色。徐若克從網(wang)絡規(gui)劃，時(shi)鐘(zhong)規(gui)劃的(de)(de)(de)角度幫助同學(xue)們(men)進一步了解了在(zai)應用(yong)層面會遇到的(de)(de)(de)一些問(wen)題和注意(yi)事項。當(dang)我(wo)們(men)采用(yong)Dante™作為鏈路的(de)(de)(de)時(shi)候，我(wo)們(men)需(xu)要明確將哪些設備規(gui)劃在(zai)統(tong)一網(wang)段(duan)(duan)下。比如沉浸(jin)(jin)聲(sheng)主機(ji)，MADI/Dane轉換盒(he)，控制電腦需(xu)要在(zai)統(tong)一網(wang)段(duan)(duan)，以便進行沉浸(jin)(jin)聲(sheng)引擎的(de)(de)(de)操作管理，Dante™信(xin)號流的(de)(de)(de)路由監測。如果系統(tong)中(zhong)有調音(yin)臺和其(qi)他基于AoIP的(de)(de)(de)設備，那(nei)么我(wo)們(men)也需(xu)要將他們(men)接入沉浸(jin)(jin)聲(sheng)引擎所(suo)在(zai)的(de)(de)(de)網(wang)段(duan)(duan)之下。

　　同時(shi)，在(zai)數(shu)字(zi)音(yin)頻當(dang)中(zhong)，時(shi)鐘這一重(zhong)要元素(su)是不可(ke)忽略的(de)。以(yi)SARA引(yin)擎為例(li)的(de)沉(chen)浸聲系統(tong)當(dang)中(zhong)，沉(chen)浸聲引(yin)擎未必都是做主時(shi)鐘的(de)。根據調音(yin)臺在(zai)系統(tong)中(zhong)的(de)角色變化，工程師可(ke)以(yi)將調音(yin)臺作為主時(shi)鐘。沉(chen)浸聲引(yin)擎和后級(ji)的(de)其(qi)他(ta)設(she)備都可(ke)以(yi)再整(zheng)個系統(tong)當(dang)中(zhong)以(yi)從(cong)屬狀態跟隨主時(shi)鐘，實(shi)現數(shu)字(zi)信(xin)號的(de)同步。由于(yu)系統(tong)中(zhong)Dante™信(xin)號的(de)存(cun)在(zai)，我們還需要考慮(lv)Dante™系統(tong)的(de)主時(shi)鐘(Master)和從(cong)設(she)備(Slave)，此處的(de)案例(li)當(dang)中(zhong)，是以(yi)MADI/Dante器作為Dante™系統(tong)的(de)Dante™時(shi)鐘。

　　在(zai)講座進行過(guo)程(cheng)中，同學們都紛(fen)紛(fen)提(ti)出(chu)了(le)關(guan)于系統設計和場地建模等多方面的(de)(de)問題，冀(ji)翔(xiang)老師也一(yi)(yi)一(yi)(yi)進行了(le)解答，同學們也在(zai)這短短的(de)(de)3個(ge)多小時的(de)(de)課程(cheng)中有(you)所(suo)收(shou)獲。目前，由于疫情防控的(de)(de)相關(guan)政策要求，同學們無法親臨北京易科分公(gong)司實際上手感(gan)受這套沉浸聲系統。

　　傳媒(mei)大學賁小龍老(lao)師(shi)表(biao)示(shi)：“沉浸(jin)聲制(zhi)(zhi)作(zuo)(zuo)現在已經滲透到(dao)“聲音(yin)行(xing)業”的(de)(de)各個域(yu)，無論是基礎(chu)研究(jiu)、影視、音(yin)樂、游戲當(dang)然(ran)還(huan)有現場(chang)擴(kuo)(kuo)聲。這(zhe)次(ci)非常榮幸的(de)(de)能夠(gou)邀請到(dao)易科國際(ji)的(de)(de)三(san)位老(lao)師(shi)給(gei)我們(men)做這(zhe)樣一次(ci)技術(shu)分享。在現場(chang)擴(kuo)(kuo)聲中沉浸(jin)聲的(de)(de)制(zhi)(zhi)作(zuo)(zuo)對(dui)(dui)(dui)我們(men)來說還(huan)是一個新(xin)興(xing)事物，通過對(dui)(dui)(dui)沉浸(jin)聲節(jie)目的(de)(de)制(zhi)(zhi)作(zuo)(zuo)與交付以(yi)及沉浸(jin)聲系統(tong)的(de)(de)重放(fang)等(deng)環節(jie)對(dui)(dui)(dui)同學們(men)進(jin)行(xing)演示(shi)、講(jiang)解，能夠(gou)幫助大家更(geng)好的(de)(de)理解課堂上(shang)老(lao)師(shi)講(jiang)授的(de)(de)原理及現場(chang)制(zhi)(zhi)作(zuo)(zuo)中沉浸(jin)聲系統(tong)的(de)(de)應用現狀(zhuang)。唯一的(de)(de)遺憾就是由于疫(yi)情(qing)原因無法按原定計劃帶著同學們(men)到(dao)展(zhan)廳內(nei)體驗沉浸(jin)聲制(zhi)(zhi)作(zuo)(zuo)系統(tong)，待疫(yi)情(qing)緩和希(xi)望能夠(gou)有機會帶領同學們(men)到(dao)現場(chang)進(jin)行(xing)學習實踐。最后還(huan)要再次(ci)感謝易科的(de)(de)三(san)位老(lao)師(shi)能夠(gou)為同學們(men)提供這(zhe)次(ci)寶貴的(de)(de)學習機會。”

　　通過(guo)這次(ci)的(de)(de)線上課程(cheng)，相信能夠讓更(geng)多的(de)(de)同學能夠對沉浸(jin)聲(sheng)系統及其應用有更(geng)多的(de)(de)興趣，希(xi)望他們未(wei)來(lai)也(ye)能為音頻(pin)行(xing)業，尤其是沉浸(jin)聲(sheng)的(de)(de)制作和實踐注入更(geng)多的(de)(de)新鮮血液。