2026-06-21.不摸鱼的独立开发者日报（第400期）

📰 资讯

很多人以为，最近两年来AI视频的爆发，是因为底层的视频扩散模型发生了质的飞跃。

但前xAI核心华人工程师、曾深度参与Nvidia Cosmos和Grok Imagine研发的何一凡，在最近的一场访谈中提出了一个新的观点：视频扩散模型其实是个听话的笨蛋，真正让AI视频变聪明的，是背后的LLM。

在其他人都在疯狂内卷像素和画质时，这位亲手在3个月内把xAI视频多模态从零拉到业内顶尖的核心开发者，却选择在这个时候离职，重新回到了大语言模型的赛道。

在技术圈的共识里，视频生成模型的升级应该归功于更强大的视频特征提取和更完美的Latent Space压缩。但何一凡认为：

“每一次你看到视频模型有了巨大的提升，我的判断是，大部分红利都来自语言模型，而不是视频扩散模型本身。”

为什么这么说？因为视频模型本身非常死板。

在训练阶段，为了让AI理解视频，人类标注员被要求用极度详尽的文字去描述画面，标准是“让一个盲人听了这段话，能在脑海里完美还原出视频细节”。这导致视频扩散模型在面对人类指令时，会表现得极其机械和死板。

如果你只输入一个简单的词：“一只猫”，普通的视频模型会完全字面化地执行，它真的只会给你画一只呆立在白色背景下的猫，不会动，也没有任何背景细节，因为你没说，它就绝对不画。

真正扮演导演角色的，是Prompt Rewriter，一个LLM。当你输入一只猫，背后的Llama或者Qwen等模型会将其扩写为一段包含运镜、光影、材质、环境和动态变化的几百字剧本。

视频模型，不过是按照这个剧本依葫芦画瓢的画工而已。 多模态的本质，不是像素的狂欢，而是大语言模型推理能力的溢出。

既然视频模型的能力来源于LLM，而且纯靠加大视频模型参数的边际效应在递减，那么接下来的AI视频，会走向何方？

何一凡给出的预测是：视频Agents）。 到2026年底，这个领域将迎来商业拐点。

现在的创作者使用Sora或Grok生成视频，往往需要碰运气。一旦生成的视频里某个动作不对，或者时长不够，创作者就得把最后一帧作为第一帧去套娃续”，导致画质在续写几次后发生毁灭性的塌陷，更失去了前后文的逻辑一致性。

而视频agent的逻辑完全不同，它模拟了人类艺术家的创作流程：

它不再强求扩散模型一句话一步到位。
大语言模型作为主脑，拥有长文本的上下文记忆，知道30秒前发生了什么，谁在说话，什么物体出现过。
它把不同的技术当作工具去调用：当需要精准修改某个像素时，LLM会调用传统的Photoshop工具；当需要拼接和裁剪时，它会自动编写并执行ffmpeg代码；只有在需要无中生有产生新画面时，它才会调用扩散模型。

这种确定性后端与扩散性前端的完美结合，才是工业级视频生产的未来。

视频智能体的运行成本显然比单次生成要高得多，因为它涉及极其复杂的长思考和多次迭代。

但何一凡坚信，一旦这项技术越过了可用性阈值，企业端的预算将呈现指数级爆发，因为它是真正能够直接交付给广告和影视制作的生产力工具。

AI视频的核心竞争，从来不是像素和运镜的艺术，而是底层逻辑、思考广度和工具调度能力的竞争。