实时视频对话中的卡顿、延迟与声画不同步，长期困扰着 AI 交互体验。传统方案依赖多模块串行流水线——语音识别、大模型推理、语音合成、动画驱动依次执行，每一个环节都会引入额外的等待时间，整体响应往往需要数秒。然而，真正自然的交流要求毫秒级反馈、声音与表情同步呈现。
全新 v0.2 版本：延迟与画质双重突破
通义实验室今日发布了 Wan-Streamer v0.2，这是一款专为实时双工交互设计的端到端全模态理解与生成模型。v0.2 将端到端响应延迟压缩至 550ms（其中模型处理仅占 200ms，网络传输约占 350ms），同时输出分辨率从上一代版本的 192×336 大幅提升至 640×368，帧率达到 25FPS。高分辨率意味着 AI 的微表情、视线方向、肢体手势乃至周围环境细节都能清晰呈现，使视觉交互不再局限于面部特写。
架构革新：从流水线到因果时间线
Wan-Streamer 的核心突破在于彻底抛弃了传统的串行级联架构。它将用户的文本、音频、视频输入与智能体的输出统一映射至同一条因果时间线（Causal Timeline）上，并以流式单元（Streaming Unit）为基本处理单位——每 160ms 完成一次完整的感知‑理解‑生成‑解码闭环。AI 无需等待用户说完一整句话再回应，而是在用户说话的每一小段时间内同步完成全部处理，从而实现了极低延迟的全双工交互。
Thinker‑Performer 双通路与分布式并行
为在提升画质的同时不增加用户可感知的延迟，v0.2 引入双通路架构：
- Thinker（思考者）部署在单张 GPU 上，专门负责对流式音视频感知、对话状态更新、上下文记忆（K/V 缓存）以及音频解码等延迟敏感任务，确保 200ms 的响应底线。
- Performer（执行者）扩展为多 GPU 的 Ulysses 上下文并行集群，专门承担 640×368 高清视频生成所需的密集计算。通过序列并行机制，长视频序列被切分至多张显卡并行去噪，从而分担重负载。
关键的时序调度策略是让单卡 Thinker 的工作窗口与多卡 Performer 的计算窗口重叠——当 Performer 后台处理当前帧的视频 Latent 时，Thinker 已开始处理下一帧的用户输入并解码上一帧的音频。这一设计将视觉生成的开销从延迟关键路径中剥离，在包含 350ms 双向网络预算的条件下，总远程交互延迟仍稳定在 550ms 左右。
全模态端到端：全面覆盖视频感知与输出
Wan-Streamer v0.2 原生支持文本、音频、视频的实时理解与同步生成，无需外部模块拼装。与市面上主流实时语音对话模型相比，它兼具视频感知、视频输出、全双工交互、端到端架构且响应延迟控制在 1 秒以内，覆盖能力更为全面。
应用场景：从陪伴到无障碍
基于该模型的高度自由角色生成能力，用户只需用自然语言描述即可让 AI 化身任何角色实时呈现。典型场景包括：
- 视频通话式 AI 助手（口语陪练、面试模拟、心理咨询）；
- 场景化陪伴与教育（AI 教师根据学生表情调整讲解节奏、AI 实时指导烹饪）；
- 沉浸式游戏 NPC（角色拥有表情、肢体语言和实时反应）；
- 无障碍交互（为听障用户生成带精确唇语和手势的视频回应，为视障用户实时描述环境）。
Wan-Streamer v0.2 的发布标志着实时 AI 视频对话迈入新阶段：通过原生流式架构与分布式推理拓扑，单一模型在高清画质下依然保持近乎无感的交互延迟。开发团队表示将持续迭代该技术路线，探索更逼真的人机交流体验。
