这次聊的是StoryDiffusion这款AI工具,它是由字节跳动和南开大学合作推出的,最大的特点就是生成一致性图像,也就是你提供一个故事情节,它能根据这个故事情节生成多张图片,这些图片的风格基本都是一致的,看起来就跟看真实的漫画的一样。
毋庸置疑,这款AI工具又带来了很多的商机,比如实现之前很火的AI故事绘本,或是直接用小说情节生成图片,然后利用剪映等工具生成我们常见的小说短视频。
值得一提的是,StoryDiffusion虽然能生成视频,但是它的视频并非是直接根据提示词生成的(像Sora一样),而是先生成多张风格一致的图片,然后再通过加速形成视频(视频的原理)。

那StoryDiffusion能生成什么风格的图片?
目前根据官网放出的图片来看,卡通动物、卡通人物以及真实人物的图片都能生成,取决于你使用的模型。
1、卡通动物示例图

2、卡通人物示例图

3、真实人物示例图

注:从上图也可以看到,StoryDiffusion生成的图片是可以同时拥有多个角色的(比如上面的人和狗),并非单一角色
那如何体验 StoryDiffusion 呢?这应该是大家比较着急的问题
1、方式一:自己部署
综合来看这种方式是不太推荐的,一是显卡要求较高,目测显存至少要20G(比之前腾讯混元的高多了),不过官方只是说大于20G用起来会比较好,没说低于20G就不能跑,但最少得多少就真没测过。二是部署也要花费一定时间成本,对不熟悉编程的朋友也不太友好。
2、方式二:Colab部署
这种方式看起来一般,官方在Github上提供了一份 Comic_Generation.ipynb,如果你熟悉Google的Colab的话,也可以直接丢在上面跑,Colab也提供了免费的GPU羊毛,不过据说这个免费羊毛的显存为15G,CPU为12G,估计也不够跑,等有空可以验证下
3、方式三:HuggingFace
目前 StoryDiffusion 在HuggingFace有免费的体验地址,但高峰期的话要等待,因为是多人抢占GPU,而且生成失败的概率也蛮高,但胜在不用自己部署 ?
体验地址:https://huggingface.co/spaces/YupengZhou/StoryDiffusion
偶尔蹲一下也是能成功的

哎,果然穷处处受限制呀!
现在只有最后一个问题了,假设部署后,如何使用StoryDiffusion 呢?
假设你部署成功后,浏览器应该会弹出这样的界面(假设你是用gradio),左边是参数调整区,右边是出图区

1、sd_type
这个参数其实就是让你选生图大模型,有点像我们提到的Stable Diffusion的底模

目前huggingface的只有两种,但如果你看Comic_Generation.ipynb,其实有四种
models_dict = { :, : , : , : }
而且据官方的说明,模型这块是可插拔的,兼容所有SD1.5和SDXL-based的模型,所以没准还能用C站的模型替换 ?

2、model_type
这个其实类似 Stable Diffusion的文生图和图生图。
3、Textual Description for Character
撰写角色提示词的地方,也就是你对图片角色的描绘,比如
man,black hair, shirt
Negative_prompt:反向提示词
4、Style template
这个也比较好理解,就是出图风格

5、Comic Description
这个就是故事情节的描述了,每一行对应一帧,也就是一张图片,这块可以借助各种AI工具生成
6、Tune the hyerparameters
这块的参数看起来是控制模型层数,没看太懂,有空研究下
7、Seed + steps
种子和步数,了解过Stable Diffusion的应该都比较清楚
8、height + width
如果是用huggingface 体验的话,建议可以调小一点,比如512,出图的成功率应该会高些
9、Typesetting style
这个控制的是图片的排版风格
最后如果对StoryDiffusion出图感兴趣的朋友,建议看下它的Huggingface,有比较多的注意事项,以及出图的提示词Example。