發布日期：2022-07-15 點擊率：33
功能融合面臨的挑戰
下一代的移動產品正在探索新的、將各種通信功能組合到一起的好處,特別是將目前產品上已有的語音功能和短消息功能與像視頻和臨場感這類的新業務結合在一起。開發能夠提供全雙向的語音和視頻通信的無線產品與只能提供語音、或者提供語音和單向視頻業務的產品相比,所面臨的挑戰肯定要大得多。系統硬件必須足以處理所預期的計算負荷和數據流,同時還必須維持較低的BOM成本,并提供較長的電池壽命。
IP語音通話需要一些功能和處理的融合。此外,對于用戶接口和應用層來說,這些處理包括通話控制、語音編解碼、回波消除和抖動緩沖。IP可視通話又增加了一些額外的要求,主要包括視頻編/解碼,色彩顯示緩沖和管理以及語音/視頻(A/V)流同步。其結果是需要一個復雜的和協調的組合功能,包括大量的控制功能,還有原始數據處理以及復雜的功率管理方法。適合于某種處理應用的最佳架構未必就是另一種應用的最佳,于是迫使設計師必須采取一些系統折衷。
系統架構的選擇
影響系統架構的一個主要因素是與視頻相關的編解碼。很清楚的是,視頻編解碼需要很大的運算量并快速消耗寶貴的系統資源。一個普通的手機上的視頻編碼任務是MPEG4編碼,分辨率為QCIF,幀率為每秒15幀。即使這樣的簡單應用的視頻流處理,在如ARM926ERISC這樣的處理器上實現時,也需要高達200MHz的處理能力。該載荷就可能使移動平臺中的通用主CPU的性能飽和,而沒有多余的資源去處理維持一個通話所需的其他各種處理。相比而言,一個普通的語音窄帶編解碼器G729只需要25-30MHz,聲學回波消除大概需要45-50MHz,而通話的管理(SIP堆棧等)僅需要5-10MHz。
不直接占用上述CPU預算的其他一些處理也十分重要,因為他們直接影響用戶體驗。其中一個例子就是語音流和視頻流的同步。語音和視頻數據包流是彼此獨立的,而且可能走不同的網絡通道。因此,有可能一種碼流相對另一種有較大的延遲,從而出現不同的抖動和數據包丟失。另外,音頻和視頻流之間的時鐘速率也不同。如果同步性能比較差時,在可視通話過程中將會出現“唇同步”問題。
盡管同步并不是一個很大的運算負擔,但同步算法和實現,包括抖動緩沖管理,都需要特別小心方可達到預期的結果。有效的方法是,將該處理與總的系統控制和編解碼處理管理緊密地協調。一種最好的方案是將同步處理放在實現更高級功能的系統通用主CPU上來實現。
幾種系統架構的比較
對于IP語音和視頻應用有幾種系統架構可以選用,包括基于一個通用處理器的方案,處理器上帶有專用硬件加速器,或處理器帶有分離的可編程協處理器。如上所述,IP語音和視頻-特別是針對移動無線平臺的,對系統設計增加了大量的特殊要求。選用任何一種架構都必須采取一些折衷。表1列出了這方面需要考慮的一些折衷。
采用單CPU架構具有一定的吸引力。因為所有的功能和資源都在一起,簡化了任務間的協調。在增加功能、改變功能或實現升級時最具靈活性。但不利的是,采用單CPU的系統,性能受最高時鐘頻率的限制。便攜式應用中的絕大多數應用處理器的時鐘頻率范圍為300MHz-400MHz。這顯然不能滿足提供視頻功能的便攜式VoIP通信產品的需求。通過增強指令集可以幫助改善這一問題,但是還不足以將系統性能提高到能夠使絕大多數應用滿意的地步。盡管在一些應用中通過多個RISC應用處理器來協助克服這一問題,但通常的方案是增加更多的專用嵌入式運算節點,例如專用的硬件加速器或DSP。
最近幾年,從硅面積來看,嵌入式DSP的成本大幅下降,使得它們在通信音頻流(如編解碼和回波消除等)的一些專用處理方面成為更具成本效益的解決方案。同時,嵌入式DSP方案在性能、功率管理、可編程性和音頻流處理成本方面提供了較好的平衡。同樣,在實現用于支持高質量語音的寬帶編解碼方面,嵌入式DSP也是一個不錯的方法。
增加一個處理視頻功能的專用嵌入式硬件加速器是有潛在吸引力的方案,因為它可能在滿足功率和成本預算的同時,能夠滿足性能需求。專用的加速器雖然可能提供最佳的性能,但它畢竟是專用的,因而缺乏靈活性,如適用于MPEG4的加速器對于來說卻不是最佳方案。而且在需要對編解碼進行升級、需要增加功能,或者為了滿足OEM或消費者的新需求而需要進行更新或做出其他改變時,也不是一個實用的選擇。
同樣,一個針對編碼優化的加速器對于解碼來說很可能不是最佳方案。很多視頻編解碼是不對稱的,即編碼采用不同的算法并需要比解碼任務多得多的運算資源。這就意味著在消費類產品中用于音視頻回放且為解碼而優化的硬件加速器并不適合于編碼。這種方案不適用于雙向通信產品,因為位于兩端的手持設備(或其他終端設備)必須既能夠進行實時編碼,也能夠進行實時解碼。
一個應用處理器與可編程視頻/圖形協處理器相配,提供了第三種架構選擇。盡管是兩個器件,該方案在保持靈活性和能夠為了改變產品需求而進行升級的同時,有可能提供最佳的性能。系統功能在通用CPU和協處理器CPU之間進行了劃分。這就增加了軟件劃分的復雜性,但多處理器方案在嵌入式系統中并不鮮見,并且已經開發出了能夠成功處理這些類型的軟件架構和設計挑戰的各種策略。
一個處理器/協處理器架構可以在不超過通用CPU性能條件下,直接克服滿足視頻編解碼方面所固有的各項挑戰。用于其他便攜式多媒體應用的可編程協處理器是一個理想的解決方案,它能夠提供可編程性來滿足新功能、升級或其他涉及變化所引發的各種要求。它將視頻功能卸載到一個專門為高度并行算法(用在視頻處理和圖形顯示中)優化的CPU上。與采用一個DSP用于音頻流處理所做的相類似,用一個特別適合于視頻處理的可編程CPU來處理視頻流。
應用案例
該方法的一個例子如圖1所示。該方案支持接入到本地無線網絡的Wi-Fi 接口上的全雙工語音和視頻,它已經有了成功的實現案例,并計劃用于一款新型的消費產品設計。所有高級的呼叫建立和管理、音視頻同步以及應用層都在一片BCM1161 VoIP器件上運行。為實現這些功能采用了一片嵌入式通用ARM926E RISC CPU,還有一片嵌入式DSP用于音視頻編解碼和回波消除。利用一個BCM4318E Wi-Fi無線網絡接口,BCM1161提供了為實現一個具有成本效益的Wi-Fi手機的語音所需的全部功能。
圖1:Wi-Fi 視頻電話的硬件架構。
為了支持Wi-Fi視頻,在設計中采用了一個BCM2702預處理器。如前所述,具有視頻功能的系統需要增加(或分配)大量的系統運算資源來支持視頻編解碼。要支持一個呼叫進程,需要分配系統總的運算資源的70%或者更多。協處理器提供了這些資源,并使BCM1161上的主應用處理器上的運算負荷減到最小。這樣還預留了響應圖形用戶界面所需的應用處理器帶寬。在圖2里給出了與音視頻數據流、處理器編碼的色彩相關的軟件功能。視頻編解碼在專用于此目的的BCM2702上實現。所有其他的運算任務都被分配到BCM1161上。
圖2:在處理器/協處理器架構中實現的IP音視頻數據流。
該方案在性能、功耗、成本和可升級性的平衡方面最具吸引力。它是一個具有成本效益的解決方案,提供支持音視頻功能的Wi-Fi消費類手持產品所期望的所有功能,并能升級到支持語音功能(只利用高端視頻產品)。未來我們期望有更多的處理架構可供選擇。下一代的多媒體設備將集成通用CPU以及專門處理視頻和圖形處理任務的協處理器,將成為對未來消費者頗具吸引力的主流多媒體通信產品和業務中具有成本效益的解決方案。
表1:為移動VoIP設計選擇處理器需要考慮的折衷。
作者:
Mark Richman
消費VoIP高級產品線經理
Broadcom公司
