StoryDiffusion:用AI一键生成连贯故事图像


这次聊的是StoryDiffusion这款AI工具,它是由字节跳动和南开大学合作推出的,最大的特点就是生成一致性图像,也就是你提供一个故事情节,它能根据这个故事情节生成多张图片,这些图片的风格基本都是一致的,看起来就跟看真实的漫画的一样。

毋庸置疑,这款AI工具又带来了很多的商机,比如实现之前很火的AI故事绘本,或是直接用小说情节生成图片,然后利用剪映等工具生成我们常见的小说短视频。

值得一提的是,StoryDiffusion虽然能生成视频,但是它的视频并非是直接根据提示词生成的(像Sora一样),而是先生成多张风格一致的图片,然后再通过加速形成视频(视频的原理)。

StoryDiffusion:用AI一键生成连贯故事图像

StoryDiffusion能生成什么风格的图片?


目前根据官网放出的图片来看,卡通动物、卡通人物以及真实人物的图片都能生成,取决于你使用的模型。

1、卡通动物示例图

StoryDiffusion:用AI一键生成连贯故事图像

2、卡通人物示例图

StoryDiffusion:用AI一键生成连贯故事图像

3、真实人物示例图

StoryDiffusion:用AI一键生成连贯故事图像

注:从上图也可以看到,StoryDiffusion生成的图片是可以同时拥有多个角色的(比如上面的人和狗),并非单一角色

那如何体验 StoryDiffusion 呢?这应该是大家比较着急的问题

1、方式一:自己部署

综合来看这种方式是不太推荐的,一是显卡要求较高,目测显存至少要20G(比之前腾讯混元的高多了),不过官方只是说大于20G用起来会比较好,没说低于20G就不能跑,但最少得多少就真没测过。二是部署也要花费一定时间成本,对不熟悉编程的朋友也不太友好。

2、方式二:Colab部署

这种方式看起来一般,官方在Github上提供了一份 Comic_Generation.ipynb,如果你熟悉Google的Colab的话,也可以直接丢在上面跑,Colab也提供了免费的GPU羊毛,不过据说这个免费羊毛的显存为15G,CPU为12G,估计也不够跑,等有空可以验证下

3、方式三:HuggingFace

目前 StoryDiffusion  在HuggingFace有免费的体验地址,但高峰期的话要等待,因为是多人抢占GPU,而且生成失败的概率也蛮高,但胜在不用自己部署 ?

体验地址:https://huggingface.co/spaces/YupengZhou/StoryDiffusion

偶尔蹲一下也是能成功的

StoryDiffusion:用AI一键生成连贯故事图像

哎,果然穷处处受限制呀!

现在只有最后一个问题了,假设部署后,如何使用StoryDiffusion  呢?


假设你部署成功后,浏览器应该会弹出这样的界面(假设你是用gradio),左边是参数调整区,右边是出图区

StoryDiffusion:用AI一键生成连贯故事图像


1、sd_type

这个参数其实就是让你选生图大模型,有点像我们提到的Stable Diffusion的底模

StoryDiffusion:用AI一键生成连贯故事图像

目前huggingface的只有两种,但如果你看Comic_Generation.ipynb,其实有四种

models_dict = {  :,  : ,  : ,  :   }

而且据官方的说明,模型这块是可插拔的,兼容所有SD1.5和SDXL-based的模型,所以没准还能用C站的模型替换 ?

StoryDiffusion:用AI一键生成连贯故事图像

2、model_type

这个其实类似 Stable Diffusion的文生图和图生图。

3、Textual Description for Character

撰写角色提示词的地方,也就是你对图片角色的描绘,比如

 man,black hair, shirt

Negative_prompt:反向提示词

4、Style template

这个也比较好理解,就是出图风格

StoryDiffusion:用AI一键生成连贯故事图像


5、Comic Description

这个就是故事情节的描述了,每一行对应一帧,也就是一张图片,这块可以借助各种AI工具生成

6、Tune the hyerparameters

这块的参数看起来是控制模型层数,没看太懂,有空研究下

7、Seed + steps

种子和步数,了解过Stable Diffusion的应该都比较清楚

8、height + width

如果是用huggingface 体验的话,建议可以调小一点,比如512,出图的成功率应该会高些

9、Typesetting style

这个控制的是图片的排版风格

最后如果对StoryDiffusion出图感兴趣的朋友,建议看下它的Huggingface,有比较多的注意事项,以及出图的提示词Example。

前沿技术新闻资讯

多 Agent 生成式 AI 系统能增强和加速新产品构思

2024-12-24 16:51:20

前沿技术新闻资讯

GPT的情感逻辑:从合作游戏中洞察AI决策,深入探索GPT在情感驱动决策中的表现

2024-12-24 19:07:58

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索