卖出1.5亿颗芯片后，聆思押注AI推理芯片

在OpenClaw于去年年底在全球走红之后，几乎所有AI从业者都意识到，AI落地不再是展望，而是当下。随着AI Agent以及各类智能终端快速发展，AI竞争的重点也正在从模型训练逐渐转向推理落地。
 
正是在这股浪潮推动下，未来，大量AI任务需要从云端走向终端，这不仅要求设备具备更强的实时响应能力，也对芯片的功耗、成本和计算效率提出了新的挑战。在这一背景下，越来越多企业开始探索面向端侧大模型的新型计算架构。
 
其中，聆思科技无疑是其中一个佼佼者。早前由国资平台战略领投的近5亿元B轮融资，更是将这家深耕多年的企业推到了大家台前。
 
端侧芯片，比的是有效算力
 
在WAIC大会期间与半导体行业观察等交流的时候，聆思科技市场副总裁韩超阳首先指出，在多种应用的推动下，端侧推理注定是一个很大的市场。但和以前行业只专注于打造高算力芯片服务模型训练不一样，AI芯片也开始变了。
 
如韩超阳所说，终端设备天然受限于功耗、成本、散热、体积、存储空间、内存带宽和响应时延等条件。大模型进入终端后，算力供给、存储访问、算子适配、模型压缩、推理效率和能效控制，都会直接影响部署效果。因此，AI终端的竞争成为能否在有限资源条件下完成大模型高效本地推理。
 

 
在他看来，对于端侧大模型而言，芯片竞争的关键并不只是追求更高的峰值算力，过去产业习惯使用的TOPS等指标衡量芯片能力的那一套不太适合于推理时代。“在大模型推理场景中，单纯的标称算力并不能代表实际性能。真正决定芯片竞争力的，是算力能否被模型充分利用，即‘有效算力’或者说算力利用率。”韩超阳说。
 
究其原因，按照韩超阳所说，这是因为大模型推理过程包含Prefill（预填充）和Decode（生成）两个阶段，两者对于芯片能力的要求并不完全相同。其中，Decode阶段更加依赖内存带宽，而Prefill阶段则同时依赖计算能力和内存带宽。如果芯片只有高带宽但算力不足，或者只有高算力但无法提供足够的数据吞吐，都难以发挥大模型的实际性能。
 
“传统通用 NPU 虽然标称算力可能高达几百 T，但运行特定大模型算法时的实际算力利用率往往只有 30%~50%，大量算力单元处于闲置状态。”韩超阳举例说。他进一步指出，根据大模型底层原理原生设计的 NPU，能够将算力利用率提升至 70%~80%，这意味着以更低标称算力和更低成本的芯片，即可达到甚至超越高标称算力芯片的实际表现。
 
有见及此，韩超阳建言道，在端侧场景中，芯片设计需要在算力、带宽、功耗和成本之间找到平衡。而在在对比了多种技术路线后，聆思科技明确将“NPU+3D DRAM ”组合技术选定为端侧推理的最优解。
 
韩超阳表示，相比注重性能而牺牲成本的云端 LPU（SRAM方案），端侧推理对功耗与成本有更严苛的要求；来到LPDDR 和NAND方案上，则分别要面临带宽不足和速度偏慢的缺陷。“3D DRAM 凭借高密度与高带宽，成为兼顾成本、功耗与推理性能的端侧最优方案。”韩超阳说。
“与传统芯片公司‘先做好硬件再寻找算法合作伙伴’的路径截然不同，聆思科技拥有先天优势。”韩超阳告诉半导体行业观察。
 
用算法定义芯片，Nebula即将推出
 
据介绍，自成立第一天以来，聆思科技就确立了“算法+芯片”三位一体的软硬件深度协同路线。公司内部不仅拥有庞大的 AI 算法研究院与大模型团队，且所有产品的核心计算单元均为自研原生 NPU，从未依赖外部授权。在过去六年中，聆思科技已成功自研几十颗 NPU 芯片，累计量产出货量突破 1.5 亿颗。
 
正是这些投入，让聆思科技团队打下了扎实的技术基础。而基于对端侧 AI 趋势的超前预判，团队在两年前便启动了端侧推理 AI 芯片的深度布局。
 
在聆思科技看来，端侧大模型AI推理芯片不能只是在通用芯片上“打补丁”，而应当从端侧大模型算法本质出发，进行系统级架构设计。于是，在NPU架构层面，聆思联合头部模型厂商，对DeepSeek、Qwen、MiniCPM、PI-0等市场主流大模型进行深度联合分析，并针对通用模型底座进行系统优化。通过引入可编程架构、灵活算力调度机制和面向Transformer计算的专用单元，提升芯片对不同模型结构和未来新模型的适配能力。
 
得益于这些设计，聆思端侧大模型AI推理芯片在算力利用率方面可达到70%以上，显著高于一般端侧NPU和GPU方案。
 
来到备受关注的存储带宽方面，聆思科技采用3D WoW近存计算技术，借助3D-DRAM堆叠将内存带宽提升至1TB/s——目前端侧芯片LPDDR内存带宽10倍以上，彻底解决了端侧大模型AI推理中的“内存墙”问题。
 
再通过推理引擎协同优化、DVFS可调功耗模式和系统面积优化，聆思科技使端侧大模型AI推理芯片在保持高推理性能的同时，满足终端设备对低功耗、小体积和高性价比的要求。
 
“在有限资源条件下，提升端侧大模型推理的性能上限、能效水平和量产适配能力。”聆思科技方面总结说。锚定这个目标，聆思科技在WAIC现场披露了公司将于2026年底正式推出的Nebula端侧大模型AI推理芯片的更多细节。
 
据透露，Nebula单芯片可支持3B-13B LLM/VLM/VLA模型，覆盖当前多数端侧大模型应用需求；在7B模型推理场景下，可实现Decode 100 tok/s，并将典型平均功耗控制在5-15W。这意味着终端设备不仅能“跑得起大模型”，更能在本地承载语言理解、多模态推理和任务规划能力，推动端侧A迈向“能理解、能推理、能决策”的认知阶段。
 
“Nebula并不是脱离场景的芯片研发。围绕AI PC、具身智能机器人、智能座舱、全屋智能等方向，聆思科技已与联想、面壁智能、海尔等行业伙伴展开联合预研，就客户需求、终端形态和应用场景实现深度耦合。”聆思科技重申。
 
写在最后
 
韩超阳告诉半导体行业观察，凭借其领先的综合能力，聆思科技Nebula在多个应用场景中能找到落地的机会。具体而言就是以协处理器（协算力芯片）形态为主，配合不同的主控 MCU，以极高的灵活性适配语音、视觉等多样的终端场景需求。
 
基于公司过去的积累，聆思科技在短期内将重点布局AI PC 与办公硬件、具身智能（机器人）、智能座舱以及智慧家庭（家庭算力主机）四大刚需赛道。展望未来，聆思也将以更完整的端侧AI能力，构建面向智能设备时代的端侧大模型推理基础设施，赋能百花齐放的智能终端形态。
 
“未来随着某一具体终端形态迎来爆发式规模增长，聆思科技也将顺势必再推进更高集成度的 SoC 化设计，真正驱动端侧 AI 大模型的全面普及。”韩超阳说。