目前，VoIP市场正在快速发展，每天都有很多新业务和新设备向消费者和商业用户提供。In-Stat预测到2010年，消费市场每年将需要1.18亿部IP电话。基于IP的语音和视频新业务的引入将引发对新的手持设备和通信设备的大量需求，这些设备将变得日益复杂。人们期望它们在语音和文本消息之外，还能够支持各种新型的通信业务，如视频消息、可视通话。今天的消费者希望他们能够具有成本效益地在任何时间和任何地点与任何人进行通信。在如何满足设备快速上市、支持语音、即时消息和视频，以及移动性(设备必须全天拔掉插头)等方面，为OEM既提供了很多设计挑战，也提供了机会。
功能融合面临的挑战
下一代的移动产品正在探索新的、将各种通信功能组合到一起的好处，特别是将目前产品上已有的语音功能和短消息功能与像视频和临场感这类的新业务结合在一起。开发能够提供全双向的语音和视频通信的无线产品与只能提供语音、或者提供语音和单向视频业务的产品相比，所面临的挑战肯定要大得多。系统硬件必须足以处理所预期的计算负荷和数据流，同时还必须维持较低的BOM成本，并提供较长的电池寿命。
IP语音通话需要一些功能和处理的融合。此外，对于用户接口和应用层来说，这些处理包括通话控制、语音编解码、回波消除和抖动缓冲。IP可视通话又增加了一些额外的要求，主要包括视频编/解码，色彩显示缓冲和管理以及语音/视频(A/V)流同步。其结果是需要一个复杂的和协调的组合功能，包括大量的控制功能，还有原始数据处理以及复杂的功率管理方法。适合于某种处理应用的最佳架构未必就是另一种应用的最佳，于是迫使设计师必须采取一些系统折衷。
系统架构的选择
影响系统架构的一个主要因素是与视频相关的编解码。很清楚的是，视频编解码需要很大的运算量并快速消耗宝贵的系统资源。一个普通的手机上的视频编码任务是MPEG4编码，分辨率为QCIF，帧率为每秒15帧。即使这样的简单应用的视频流处理，在如ARM926ERISC这样的处理器上实现时，也需要高达200MHz的处理能力。该载荷就可能使移动平台中的通用主CPU的性能饱和，而没有多余的资源去处理维持一个通话所需的其他各种处理。相比而言，一个普通的语音窄带编解码器G729只需要25-30MHz，声学回波消除大概需要45-50MHz，而通话的管理(SIP堆栈等)仅需要5-10MHz。
不直接占用上述CPU预算的其他一些处理也十分重要，因为他们直接影响用户体验。其中一个例子就是语音流和视频流的同步。语音和视频数据包流是彼此独立的，而且可能走不同的网络通道。因此，有可能一种码流相对另一种有较大的延迟，从而出现不同的抖动和数据包丢失。另外，音频和视频流之间的时钟速率也不同。如果同步性能比较差时，在可视通话过程中将会出现“唇同步”问题。
尽管同步并不是一个很大的运算负担，但同步算法和实现，包括抖动缓冲管理，都需要特别小心方可达到预期的结果。有效的方法是，将该处理与总的系统控制和编解码处理管理紧密地协调。一种最好的方案是将同步处理放在实现更高级功能的系统通用主CPU上来实现。
几种系统架构的比较
对于IP语音和视频应用有几种系统架构可以选用，包括基于一个通用处理器的方案，处理器上带有专用硬件加速器，或处理器带有分离的可编程协处理器。如上所述，IP语音和视频－特别是针对移动无线平台的，对系统设计增加了大量的特殊要求。选用任何一种架构都必须采取一些折衷。表1列出了这方面需要考虑的一些折衷。
采用单CPU架构具有一定的吸引力。因为所有的功能和资源都在一起，简化了任务间的协调。在增加功能、改变功能或实现升级时最具灵活性。但不利的是，采用单CPU的系统，性能受最高时钟频率的限制。便携式应用中的绝大多数应用处理器的时钟频率范围为300MHz-400MHz。这显然不能满足提供视频功能的便携式VoIP通信产品的需求。通过增强指令集可以帮助改善这一问题，但是还不足以将系统性能提高到能够使绝大多数应用满意的地步。尽管在一些应用中通过多个RISC应用处理器来协助克服这一问题，但通常的方案是增加更多的专用嵌入式运算节点，例如专用的硬件加速器或DSP。
最近几年，从硅面积来看，嵌入式DSP的成本大幅下降，使得它们在通信音频流(如编解码和回波消除等)的一些专用处理方面成为更具成本效益的解决方案。同时，嵌入式DSP方案在性能、功率管理、可编程性和音频流处理成本方面提供了较好的平衡。同样，在实现用于支持高质量语音的宽带编解码方面，嵌入式DSP也是一个不错的方法。
增加一个处理视频功能的专用嵌入式硬件加速器是有潜在吸引力的方案，因为它可能在满足功率和成本预算的同时，能够满足性能需求。专用的加速器虽然可能提供最佳的性能，但它毕竟是专用的，因而缺乏灵活性，如适用于MPEG4的加速器对于H.26?来说却不是最佳方案。而且在需要对编解码进行升级、需要增加功能，或者为了满足OEM或消费者的新需求而需要进行更新或做出其他改变时，也不是一个实用的选择。
同样，一个针对编码优化的加速器对于解码来说很可能不是最佳方案。很多视频编解码是不对称的，即编码采用不同的算法并需要比解码任务多得多的运算资源。这就意味着在消费类产品中用于音视频回放且为解码而优化的硬件加速器并不适合于编码。这种方案不适用于双向通信产品，因为位于两端的手持设备(或其他终端设备)必须既能够进行实时编码，也能够进行实时解码。
一个应用处理器与可编程视频/图形协处理器相配，提供了第三种架构选择。尽管是两个器件，该方案在保持灵活性和能够为了改变产品需求而进行升级的同时，有可能提供最佳的性能。系统功能在通用CPU和协处理器CPU之间进行了划分。这就增加了软件划分的复杂性，但多处理器方案在嵌入式系统中并不鲜见，并且已经开发出了能够成功处理这些类型的软件架构和设计挑战的各种策略。
一个处理器/协处理器架构可以在不超过通用CPU性能条件下，直接克服满足视频编解码方面所固有的各项挑战。用于其他便携式多媒体应用的可编程协处理器是一个理想的解决方案，它能够提供可编程性来满足新功能、升级或其他涉及变化所引发的各种要求。它将视频功能卸载到一个专门为高度并行算法(用在视频处理和图形显示中)优化的CPU上。与采用一个DSP用于音频流处理所做的相类似，用一个特别适合于视频处理的可编程CPU来处理视频流。
应用案例
该方法的一个例子如图1所示。该方案支持接入到本地无线网络的Wi-Fi接口上的全双工语音和视频，它已经有了成功的实现案例，并计划用于一款新型的消费产品设计。所有高级的呼叫建立和管理、音视频同步以及应用层都在一片BCM1161VoIP器件上运行。为实现这些功能采用了一片嵌入式通用ARM926ERISC CPU，还有一片嵌入式DSP用于音视频编解码和回波消除。利用一个BCM4318E 802.11b/g Wi-Fi无线网络接口，BCM1161提供了为实现一个具有成本效益的Wi-Fi手机的语音所需的全部功能。