Disco Diffusion视频短片 + Prompt等参数测试

起初是这样一张图片,让我安静的看了许久。X海市民拍摄于这个国际都市的繁华区。之后有了上面这个视频的想法。
下面讲一下这个Disco Diffusion作品的制作过程。
主要讲几个方面:1. 制作步骤。2. 中间踩过的坑 3. 具体渲染参数
工具如何运行起来就不说了,很多中英文教程。可以参考这里。其实非常简单,只提一句,对于多数人来最大的障碍是需要访问google。
外面在突飞猛进,web3.0,AI,出去才能看到。想起曾经大清朝在工业革命技术大突破的时候盲目自大闭关锁国,慈禧太后老人家。。。跑题不说了。
总之这东西很简单,在国外应该技术型的小学生就能玩起来。

第一步,因为图像需要有这个城市的代表性。所以选择使用初始图像(init_image:)辅助prompt文字作为引导。
起初选择了这张图。因为城市地平线最有代表性。但后来发现效果一般,主要构图太平了。
跑出来,大致是这样。当然运行参数也做了几次调整。
最终视频是选择了这样一张初始照片:
运行参数:
“A sorrowful 3D matte painting about a ruined, dystopian, post-apocalyptic, brutalist downtown with droids and robots in morning mist. Stormy clouds. Trending on Artstation.”
step: 500
clip_guidance_scale:5000
range_scale: 400
init_image:/content/SH1.png
init_scale:500
skip_steps:250
sorrowful,是参照大多数渲染“a beautifu painting”做的修改。不太确定AI是否能正常理解。
ruined, dystopian, post-apocalyptic, brutalist,是对画面风格的定义。使用夸张强烈的形容词效果会比较好。
我之前测试过,用palace宫殿和majestic palace辉煌的宫殿做对比。加了辉煌,出来结果确实更辉煌。宫殿的外形更有冲击力。
skip_step这里,值得做些测试。数字越小,跳过的步骤少,图像发挥的空间就大,但和原图的差异也更大。
其他参数建议看一下说明手册。有人做过翻译,有中文的。
跑出来结果是这样:
后面一张,想表现劫后新生。使用了另外一个描述文字。引导图象也稍作修改。
“A beautiful 3D matte painting about a ruined, dystopian, post-apocalyptic, brutalist forest in morning mist, from wide-angle lens. Stormy clouds. Trending on Artstation.”
step: 500
clip_guidance_scale:5000
range_scale: 400
init_image:/content/SH1.png
init_scale:500
skip_steps:220
气氛:sorrowful 改成 beautiful,
主体:downtown改成forest
考虑到画面是远景,希望结果不是丛林细节,所以加了镜头位置描述from wide-angle lens。
skip_steps:250改成220。变为丛林后,可以和原图有更大差距。
其他不变。
这样出来的结果也不是很理想。
观察发现原图的蓝色主体色调和灯光与渲染目标“丛林”不相符。所以开始调整原图。
  1. 建筑区涂上些绿色(PS里新建图层,用大尺寸笔刷,柔和边缘随便科。然后图层模式选“颜色”)
  2. 天空加亮
  3. 整体看着太艳了,降低饱和度。
出来的初始图象是这样。
渲染出来效果:
最后,用手机APP来做过渡渐变效果。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

Time limit is exhausted. Please reload CAPTCHA.