十五张参考图和三段参考音频:视频生成模型的输入预算怎么分配

一、参考上限是预算项,不是加分项
据公开报道,有一款新一代视频生成模型以预览版开放,名称为 Vidu Q4 Preview,最多支持三段参考音频与十五张参考图,输出到 2K 与 4K 档位,宣传重点在人物表演、动态运镜、镜头衔接和复杂视效,并公布了按秒计费的首发优惠价格。这些数字与产品状态都只按报道转述,其中价格尤其不能当作结论性成本——它既可能是限时优惠,也可能与分辨率、并发和配额绑定,本文不据它做任何单价推断。
要谈的是那两组上限带来的工程后果。十五张参考图、三段参考音频,看上去是能力清单上的一行,实际上是一条预算约束:每一次生成能带进模型的素材被限在这个额度里,而素材再多也不等于信息更多。参考素材进得太满,模型对”这一段到底要什么”的注意力会被稀释,同一件事在文本、图、音频三种输入里各写一遍,还会互相冲突。于是这条上限的正确读法是:镜头制作预算的总量在这里,怎么分配决定成片质量与成本。预览版这个状态也要留在每一次评估里,它决定了很多结论的有效期。
二、三种输入各管一件事
预算分配的第一步是分工,分工错了后面全错。三者的职责边界应当是这样:
- 文本指令承担”要什么变化”:这一段里发生什么、镜头怎么走、表演往哪个方向、哪些元素必须出现或必须不出现。文本是差异描述,不是画面描述。
- 参考图承担”长什么样”:角色与服装、场景与道具、构图与光线基准、运镜意图与动作分解。图的优势在于文本讲不清的空间关系与质感。
- 参考音频承担”节奏与口型”:语速、停顿、情绪强度、口型对齐的时序基准,以及配乐或环境声的节奏锚点。
最常见的误用是把同一件事在三处各写一遍:文本里写”她穿红色风衣”,参考图里给一张红色风衣,音频里再放一段带台词的素材。三份输入互相不完全一致时,模型必须自己裁决,结果是谁也不知道它按哪一份生成。第二常见的误用是拿参考图当”氛围板”,一次塞满额度去表达一个模糊的风格意图,把角色一致性、场景一致性、动作分解这些更需要图位的需求挤掉。
一条实用规则是输入去重:任何一个信息只允许有一个权威来源,文本不重复描述图里已经确定的外观,图不重复表达文本已经说清的变化,音频只提供时序与节奏而不承载外观信息。检查方法是把这三类输入并排放进一张表,逐项标”这条信息唯一来源是哪一类”,出现两个来源的条目就是待清理项。
三、十五张图怎么拆位
额度是十五张,不等于每次都用满。我们按用途拆位,并给出一个可调整的默认配比,镜头类型不同就在这个配比上下挪。
| 用途位 | 默认张数 | 放什么 | 取舍方法 |
|---|---|---|---|
| 角色一致性 | 三到四张 | 同一角色的正面、侧面、全身与关键表情 | 换装或换年龄才加位,纯表情变化靠指令 |
| 场景一致性 | 三到四张 | 主场景的整体、局部与关键道具特写 | 场景在本镜头不变化时压到两张 |
| 运镜示意 | 两到三张 | 起止画幅、机位关系、运动方向的分格图 | 固定机位则清零,把张数让给动作分解 |
| 动作分解 | 两到三张 | 关键姿态的连续帧,用于约束动作路径 | 口播类镜头几乎不需要 |
| 风格基准 | 一到两张 | 调色与质感参考,宁缺毋滥 | 与项目风格库重复时不放 |
拆位的取舍方法有三条判据。第一,看这个信息能不能被文本稳定表达:能被文本表达的(”镜头缓慢推近”)就不占图位,不能被文本表达的(同一张脸的骨相)必须占图位。第二,看这个信息在整个镜头生命周期里是否恒常:恒常的(角色长相)值得多给两张,瞬变的(某一帧的姿势)只给关键帧。第三,看缺失的后果严重度:角色长相缺失会毁掉跨镜头连续性,属于必须保的位;风格基准缺失只会让画面偏一点,属于可牺牲的位。
多镜头项目还有一层分配问题:同一个角色在相邻镜头里用同一批角色图,而不是每个镜头重出一批。角色图应该沉淀成项目资产库,按角色编号管理,镜头制作时引用而不是复制。这样额度才真正花在”这一段缺什么”上,而不是花在重复描述同一张脸上。
三段音频同理要分角色:一段主台词或主节奏、一段环境或对白衬底、一段作为口型与情绪锚点。三段都塞成同类型素材,等于只用了一段。
四、按秒计费下,档位与时长怎么核算
按秒计费的口径意味着成本不是”一张图多少钱”,而是”这一段成片多少钱”,变量至少四个:输出档位、镜头时长、每次生成的重试与候选数、参考素材带来的处理开销。核算时要把这四者写进同一个公式化的口径里,否则报价与结算永远对不上。
- 先定交付档位,再定试错档位:验收看的是交付渠道所需的档位,而探索阶段一律用低档,把候选数量买足。
- 时长要按镜头而不是按项目估:同一秒数在不同档位的成本不同,把项目写成”总秒数”会掩盖结构,拆成”镜头数、每镜时长、档位分布”才谈得上优化。
- 重试次数是成本项,也是质量项:把”每镜头允许的重试上限”写进制作规范,没有上限的试错会吞掉预算,上限过低的镜头会退回人工修。
- 参考素材数量影响成本与配额:满额输入并不总是更好,拆位表要同时服务效果与预算,超出必要张数的素材要么删掉要么进资产库。
- 预览版阶段的计费与配额规则可能变化:任何进入报价的成本口径,都要在合同里写清”按当期计费规则核算并保留变更复核权”。
对交付方来说,最关键的一条是把”按秒”换算成”按可用镜头”:一秒废片和一秒可用片在计费上一样,在成本上完全不同。核算口径必须以可用镜头为分母,否则模型再便宜也不省钱。
五、验收衔接与运镜:把主观感受变成对照片段
人物表演、动态运镜、镜头衔接这三项能力,很难用一句”看起来自然”验收。可执行的做法是固定的对照任务。
同一组素材,跑几组不同的输入组合:只给文本、文本加角色图、文本加角色图加运镜示意、再加参考音频。每组产出一段短片,把三处观察点固定下来逐一比较。口型对齐看台词首字与末字的位置、停顿处的闭合、以及语速变化时是否跟得上;动作看关键姿态是否出现在预期帧、路径是否被拆位表里的动作分解约束住;衔接看相邻镜头交界处的画幅、主体位置与运动方向是否续接,也就是硬切之后观众会不会”跳”。
观察结果不是打分,而是排成几组可对比的对照片段:同一个镜头的不同输入版本并排放,标注每处差异。评审会在具体差异上做决定,在抽象感受上只会争论。这套对照片段本身也是交付资产,客户异议时它就是答复材料。
六、预览版状态与素材合规线
预览版不是一个版本号后缀,而是一组工程约束。同一标识下行为可能变,所以上线时要锁三样:输入组合的规范(拆位配比与档位)、对照测试集与基准片段、成本与配额的核算口径。行为漂移的探测靠每天跑一小段固定链条,把输出与基准对照片段存档比对;一旦变更通告落地,重跑范围按风险排:先跑人物一致性与口型对齐,再跑运镜与衔接,最后重跑成本核算,而不是全量重来。
素材合规线是另一件不能拖的事。参考图与参考音频必须有来源与授权留痕:谁提供、什么授权范围、能否用于商业分发、涉及肖像与声音的单独记录。肖像与声音授权要另立条目管理,因为它跟图片版权不是同一件事——一张有版权的图里可能包含一个没有任何授权的人脸;一段好用的音频素材可能取自某个具体的人的声音。授权范围要写到渠道与期限,缺记录的素材不进制作池。
把这三件事合起来看,参考素材的上限改写的正是镜头的制作预算:谁占位、占几份、按什么口径算钱、用什么片段验收。洹拓这边在做视频生成类交付时,拆位表、按可用镜头的成本口径和对照片段库是三个默认交付件,而不是随项目临场产生的文档。素材额度有限这件事,反而是让流程规范起来的最直接理由。