Fun-CineForge

Fun-CineForge 是阿里通义实验室于2026年3月16日开源的全球首个影视级多模态配音大模型项目。该项目旨在解决AI在专业影视配音中长期存在的“口型不同步、情绪不匹配、音色不一致、时间对不准”四大核心难题。其最大的技术创新是首创性地引入“时间模态”，将时间信息作为独立维度引入配音框架。模型能同时处理视觉（唇部运动与表情）、文本（台词与情感）、音频（目标语音）和时间（起止时刻与说话人ID）四类信息。这使得即便在说话人面部被遮挡、镜头频繁切换或多人对话的复杂场景下，也能实现精准的音画同步和时间对齐。Fun-CineForge 基于CosyVoice3架构，并依托其配套开源的CineDub数据集构建流程进行训练。该数据集覆盖超350部中英文影视剧，通过自动化流水线处理，中文字错率低至1.49%。模型支持独白、旁白、双人及多人对话等场景，并能实现情感拟人化表达与音色克隆。目前，该模型已在GitHub、Hugging Face及ModelScope平台开源，

项目官网为https://funcineforge.github.io/，为影视译制、游戏开发及内容本地化提供了强大的技术方案。

Fun-CineForge本地部署整合包：https://pan.quark.cn/s/1bab4b53d2ec

GitHub 链接：https://github.com/FunAudioLLM/FunCineForge/