把古诗词做成竖屏动态视频,难点并不在“生成一张好看的古画”。真正影响成片可信度的,是如何让诗句、画面、局部运动、字幕和声音在同一条生产链里彼此约束。本文以《钱塘湖春行》的八句诗为例,整理一套可复用的制作与验收方法。

先定义交付目标:不是“会动的壁纸”
静态画面轻微推近,确实能制造运动感,却不会让水、鸟、柳枝、衣袍或马蹄产生可解释的变化。更稳妥的目标是:镜头保持稳定,只让画中已有物象以符合场景逻辑的方式做局部动作。这样既保留中国画的构图,又能显著降低图生视频重绘建筑、复制动物或改写人物肢体的风险。
可以把完整链路写成:古诗全文 → 意象与情绪分析 → 分镜 → 无字静帧 → 图生视频 → 抽帧检查 → 必要的局部修复 → 毛笔字幕 → 原环境声与 BGM 混音 → 交叉溶解 → 最终 MP4 QA。
1. 分镜:长诗默认两句一景
《钱塘湖春行》可按连续两句拆为四景,而不是把花、鸟、马、柳和白堤同时塞进第一张图:
- 湖寺与低云:“孤山寺北贾亭西,水面初平云脚低。”重点是湖面、亭寺、低云与平静水气。
- 早莺与新燕:“几处早莺争暖树,谁家新燕啄春泥。”重点是树上鸟、泥点与早春的细节。
- 乱花浅草与游春:“乱花渐欲迷人眼,浅草才能没马蹄。”重点是草地、花与马蹄尺度。
- 绿杨白堤:“最爱湖东行不足,绿杨阴里白沙堤。”重点是堤岸、杨柳、行旅与收束感。
每景先填一张约束卡:明确名词、一个主动作、前中远景与天空、情绪任务,以及本景禁止出现的其他场景物象。它比反复抽卡更有效,能避免模型把整首诗的元素混在同一画面。
2. 风格统一的是“系列 DNA”,不是同一张色卡
古诗视频很容易落进统一泛黄古绢色。更合适的做法,是统一文化可信度、时代细节、低饱和颜料关系和竖排题字安全区;不同分镜再选择不同的画法和光线。例如湖寺可用淡墨水气,花鸟可用细致工笔,人物鞍马可增强结构感,长堤可转为青绿或清雅的春日色调。观众看到的是同一支短片,而不是四张颜色完全一样的图。
3. 静帧提示词:先让诗推动画面
每张无字静帧至少应交代完整诗歌背景、当前两句、允许物象、一个主视觉事件、前景/中景/远景/天空、独立画法和光线、右侧两列题字安全区,并明确禁止文字、水印、现代物品和其他场景物象。参考图的角色只是锚定材质与笔触质量,不应复制其构图。
4. 图生视频提示词的四段式结构
静态锚点
把绝不能变化的对象逐项写出,例如寺庙屋顶、亭台、山体轮廓、树干、主枝、岸线、人物躯干、马体、传统红印和题字留白区。不要只写“保持一致”,而要指出对象与空间关系。
局部动作区
每景只设一个主动作,最多一到两个辅助动作。例如:主动作是水纹从既有芦苇接触点向外扩散两圈;辅助动作是芦苇弯曲一次、倒影只轻微闪动。动作越多,模型越可能重画整张图。
稳定收尾
每段结尾预留约一秒,让残余动作渐停。这样下一段交叉溶解时,画面不会一边剧烈摆动、一边突兀透明。
反幻觉禁令
禁令必须与分镜相匹配:禁止新增主体、改变鸟数、树枝生长、柳叶脱落、云雾变成装饰性图案、建筑重建、多腿或融合关节、身体替换、额外文字和印章。对“连接关系”写得越具体越有效,例如每片叶子必须仍连在原枝条上。
LOCKED CAMERA
no zoom, push, pan, tilt, roll, reframing, parallax or crop change
Only the specified local motion is allowed.
All structural anchors remain fixed; do not add subjects, text, marks, branches or limbs.
5. 三类常见失败,如何把提示词改得可执行
- 低云动成了新天空:若建筑被重建,取消天空动画,把动效收窄到前景水纹或芦苇,并冻结水线以上的天空、云、山、树、寺庙和亭台。
- 鸟越飞越多:避免跨画面飞行。可限制为围绕原身体中心振翅一次、位移极小;栖枝鸟只转头张嘴,燕子只在原泥点完成低头、啄泥、抬头;整棵树冻结。
- 柳动成漫天落叶:明确每片叶、枝、花瓣都持续连接原枝条,禁止任何叶片、枝条、花瓣或碎屑脱离并飞入空中。
6. 星标、红印与字幕分别处理
画面上的白色模型覆盖标记与传统红色方印语义不同:前者如需处理,应只针对明确的局部区域;后者属于构图内容,应保留。局部处理后要重新抽取对应区域核验,不能用全画面自动抹除。
字幕宜后期合成,而不是让绘图模型写汉字。可使用毛笔风格字体,将两句诗排成两列竖排:第一句在右、第二句在左,标点不显示,逐字出现,每景末尾一起淡出,为转场留出余量。这样可保证字形、位置和修改能力。
7. 声画交接:环境声不丢,BGM 不重启
图生视频自带的水声、风声、鸟鸣、翅膀、草叶、衣袍或马蹄,属于画面因果的一部分。烧录字幕时要检查它们没有被意外丢弃;BGM 则应该作为整片连续轨道,而不是每个分镜从头播放一次。场景原声之间做交叉淡化,画面使用自然溶解,BGM 保持连续,再按项目需要控制混音增益。
画面:xfade=transition=fade
场景原声:acrossfade
连续 BGM:全片一条轨道
交叉溶解后显式转换:format=yuv420p
最后一行尤其重要:滤镜链可能改变像素格式。即使所有输入是 yuv420p,最终编码仍应重新检查,而不能从输入素材推断。
8. 最终 MP4 QA:只验最终编码文件
自动命令通过仅说明文件可播放,不能替代视觉关系的检查。对最终成片重新抽取每景主画面、三个转场中点、人物与马匹等高风险帧、最后一帧,以及标记与红印所在区域;同时使用媒体探测确认视频尺寸、帧率、视频/音频编码、持续时间与黑帧/静音风险。
- 建筑是否复制、重构或漂移;
- 鸟的数量是否恒定,马是否维持四肢与地面接触;
- 题字安全区是否干净,字幕是否正确;
- 需要清理的局部标记是否消失,而画面中的传统印记是否还在;
- 转场有没有黑帧、损坏尾帧、环境声断裂或 BGM 重启;
- 最终文件是否为目标发布规格,而不是只看中间素材。
9. 把项目经验变成可复用 Skill
可复用的不是某四张图,而是默认判断:短诗逐句成景、长诗两句一景;风格统一不等于色调一致;镜头默认锁定;每景一个主动作;静态锚点具体到建筑、树干、岸线和身体中心;收尾要稳定;字幕后期生成;保留原环境声;BGM 连续;最终 MP4 重新抽帧验收。公开的项目说明与安装材料可在 项目仓库 查阅;使用时仍应自行确认所接入图像、视频与音频服务的账户权限、授权与使用条款。
结语
让中国画“活起来”,不等于让整幅画不断运动。更可靠的方法,是让最该动的局部按照诗句中的原因自然发生,并通过锚点、禁令、声音和最终 QA 把变化控制在可解释的范围内。
您必须登录或注册以后才能发表评论