发布概况
腾讯混元团队正式开源新一代旗舰模型 Hy4 preview,同步开放 Hy4 preview 与 Hy4 preview-FP8 两套模型权重,均采用 Apache 2.0 许可,可在主流模型托管平台与代码托管平台获取,并接入腾讯云与官方体验入口。该模型为混合专家架构,总参数 770B,每个 token 激活 49B。
规格与架构
- 主干共 78 层,首层采用标准稠密前馈网络,其余 77 层替换为混合专家层,每层含 256 个路由专家与 1 个共享专家,每个 token 激活前 8 个路由专家与共享专家。
- 内置 1 个原生多 token 预测层(总参数 10B、激活 0.7B),用于推测解码,提升生成效率。
- 注意力模块采用门控稀疏注意力并配合跨层稀疏索引复用,残差通路使用恒等超连接扩展层间信息流动。
- 上下文长度 1M,词表规模 120832,同时提供 FP8 量化版本,降低部署显存与成本门槛。
能力侧重点
官方表示本次在模型规模、上下文长度与训练数据三个方向同步扩展,预训练与后训练规模提升带来明显的代际能力增幅,整体处于开源模型前沿水平,并针对真实生产力场景做了专门优化:软件工程方向更擅长长周期开发任务的理解、规划、调试与验证,前端视觉与交互质量进一步提升;办公与分析方向可把分散在多个文件中的杂乱上下文整理为可交付的文档、表格与演示材料,并更精确地处理数据分析、公式与财务模型;游戏开发方向可由单条指令生成可玩原型,并与游戏引擎流畅协作完成多轮迭代;科学研究方向在人工智能研究、分子动力学、凝聚态物理与纯数学等难题上表现更稳。
评测与使用建议
官方组织 163 位内部专家对 203 项工程任务进行盲评,Hy4 preview 平均得分 2.99,略高于对照的 GLM 5.3(2.92)与 Kimi K3(2.94)。官方同时说明这是 Hy4 的早期版本,预训练与后训练仍有较大提升空间,已知问题包括在复杂任务上推理耗时偏长、倾向于反复自我校验。建议面向长文本分析与工程交付的场景优先试用,对时延敏感的在线业务需评估推理开销后再上线。