AI时代的VPU，何去何从？安谋科技最新分享

这些年，我们谈到SoC（System on Chip，系统级芯片）时，关注最多的往往是CPU、GPU甚至近年来快速发展的NPU，但其实在很多SoC中，VPU（Vision Processing Unit，视觉处理单元）也是一个不可忽视的重要角色。
 
作为一种专门面向视觉计算任务设计的处理单元，VPU过去大部分时间都是聚焦在提升视频处理吞吐能力、支持更高分辨率视频格式、降低处理功耗以及提高实时处理能力。通过专用硬件加速，VPU能够替代CPU完成大量重复性的视觉计算任务，在保证性能的同时降低系统功耗。
 
但随着人工智能的到来，VPU发生了新的转变。
 
AI引爆VPU新需求
 
正如安谋科技VPU研发总监黄鑫博士在日前的WAIC现场演讲中所说，传统视频应用主要服务于人的视觉体验，核心需求是满足手机存储、社交分享以及观看体验等场景。因此，过去的视频处理更多关注画面质量是否符合人眼的主观感受，例如清晰度、色彩、噪声等指标。


 
但随着AI技术与视频应用深度融合，视频的角色正在发生变化。一方面，视频成为AI生成和加工的重要对象，AIGC等应用推动视频从单纯的记录媒介转变为内容生产和处理的重要载体；另一方面，在人形机器人、机器狗、自动驾驶以及各类视觉感知系统中，视频数据成为AI进行感知、训练和推理的重要输入。
 
随着AI应用的发展，视频数据的重要性不断提升。因为视频是连接物理世界与虚拟世界的重要桥梁，视频质量的损失会直接影响AI模型的训练精度和推理效果，进而影响整个产业的效率和成本。
 
在这种需求推动下，VPU的设计理念也需要发生转变：从过去主要服务于人眼主观视觉体验，逐步转向面向机器视觉需求进行优化。可以说，AI为视频压缩打开了面向机器的新维度。
 
基于这一变化，VPU技术路线也正在演进。
 
黄鑫博士表示，传统视频编码主要依赖CPU进行控制，由CPU下发任务，VPU负责执行。而新一代VPU开始融合轻量化AI算子，具备内容感知能力，能够根据视频内容智能调整编码策略，实现更高效的视频处理。
 
“未来，VPU的发展方向将进一步从局部优化走向端到端的视频编码体系，通过AI能力全面提升视频处理效率。”黄鑫博士说，
 
安谋科技VPU的进击
 
作为一个在这个领域深耕多年的企业，Arm China安谋科技早在看到了这一点。在今年年初发布的“峨眉”VPU IP上，公司就集成了因应这些需求推出的内容感知编码技术，对视频进行多层次分析：一方面进行浅层图像处理，提取画面细节、纹理等视觉特征；另一方面进行深层语义解析，理解视频中的场景和内容信息。随后，将这些数据反馈给编码器，帮助其做出更加智能的编码决策。
 
黄鑫博士表示，通过内容感知能力，编码器可以针对不同场景采取差异化策略，在保证视频质量的同时降低码率。例如，在航拍、游戏、监控等不同应用场景下，能根据内容特点实现更高效的视频压缩，从而提升存储和传输效率。
 
“这种技术将继续沿用到我们下一代VPU IP旗舰‘武当’上”，黄鑫博士说。除了上述的内容感知编码技术，Arm China安谋科技在“武当”上还带来了三方面的提升：
 
在PPA（性能、功耗、面积）方面，支持8K 30fps视频编码，能够满足多样化AI应用对高性能视频处理的需求，同时实现约40%的面积优化；在规格支持方面，新增YUV422编码能力，更适合专业影像采集场景；同时支持Raw Data压缩，减少数据转换环节，更好地服务AI训练需求；此外，新一代VPU进一步提升码率支持能力，最高支持1Gbps码率，可满足人形机器人等Physical AI应用对高质量、高带宽视觉数据处理的需求。
 
“在上一代产品基础上，‘武当’编码效果得到持续优化，同时延续了灵活可配置的设计理念，用户可以根据不同应用需求选择相应的编码档位。目前，该版本在最高配置下已经能够达到软件编码方案的最高水平；针对AI应用场景中的非规则运动等复杂视频内容，还可以进一步实现约5%至10%的编码质量提升。”黄鑫博士接着说。
 
在黄鑫博士看来，未来VPU的发展方向将从传统的视频编码优化，进一步迈向面向AI应用的智能化视频编码平台。一方面，技术路线将从当前的局部内容感知优化，演进到端到端的视频编码体系，通过AI算法实现全局最优的压缩效果；另一方面，编码目标也将从过去主要服务于人眼视觉体验，拓展到同时满足不同AI任务对数据质量和精度的需求。
 
未来，AI VPU将通过引入任务感知能力，在视频压缩过程中结合具体AI应用进行联合优化，实现码率、视觉质量和AI推理精度之间的最佳平衡。最终，VPU将从单纯的视频处理单元，发展成为支撑AI视觉应用的重要引擎，让视频不仅“看起来更清晰”，更能够帮助AI“理解世界”。
 
这也将是Arm China安谋科技的发展方向。