Stable Diffusion 又出大招，「文生动画」震撼发布淘汰导演，DC 英雄一秒变身

Stability AI 又放大招！

现在，Stable Diffusion 也能生成视频了。AI 届，实在是太卷了。

昨天，Stability AI 发布了一款专为艺术家和开发人员设计的工具 ——Stable Animation SDK。用户可以通过多种方式创建令人惊叹的动画效果。

此前，Runway 的 Gen-2 就相当炸裂，宣传词非常霸气 ——「say it，see it」。

现在，Stability AI 也有比肩 Gen-2 的视频生成工具了！

Stable Diffusion 能做视频了

借助 Stability AI 的动画端点，美术师可以使用所有 Stable Difusion 模型来生成动画，包括 Stable Diffusion 2.0 和 Stable Diffusion XL。

不过，有别于之前发布的开源模型，Stable Animation 目前仅能通过 SDK 和付费 API 使用。

现在，用这三种方式，都可以创建动画了 ——

经典的 prompt

就像使用 Stable Diffusion、Midjourney 或 DALL-E 2 一样，用文本生成动画。

输入 prompt，调整各种参数，就能生成动画。

prompt + 图像

提供一个初始图像，作为动画的基础。之后，结合 prompt 和这个初始图像，就能生成最终输出的动画。

prompt + 视频

提供一个初始视频，作为动画的基础。同样，通过各种参数的调整，外加 prompt 的引导，最终得到输出的动画。

1 块钱，就能生成 100 帧动画

该软件似乎仍处于测试阶段。Stability AI 并没有通过他们的浏览器平台（如 DreamStudio 或 ClipDrop）提供，而是仅提供软件开发套件（SDK）和付费 API。

当然，这并不妨碍第三方通过服务提供这种动画模型。

不过，目前想试用这个功能的话，门槛还比较高，因为 SDK 和 API 要通过 Python 脚本来调用。

与 Stability AI 的图像模型类似，Stable Animation 也可以设置许多参数，例如 step、sampler、scale 或 seed。此外，还提供了诸如 outpainting 或 prompt interpolation 等功能。

不同的参数也会影响价格。所以创建一个视频要花费多少钱，并不确定。

Stability 给出的报价范围是，在不同设置下，每 100 帧的价格从 3 美分到 18 美分不等。

Stability AI 以输出动画的积分值作为收费的依据，用户生成的动画会被换算成一个积分，每 1000 个积分消耗 1 美元。

小编算了一下，根据官方公布的积分计算方法，一块钱人民币大概能生成一段 100 帧的 1024*1024 分辨率的动画。

但是其他的参数也会影响价格，官方给了一个表来说明支持调整的参数，以及是否会影响到生成动画的价格。

与 Stable Diffuision XL 兼容

Stable Animation 可以与每个版本的 Stable Diffusion 结合使用。

它的默认版本是 1.5，但我们也可以选择使用新版的 Stable Diffusion XL。

里面有很多样板，包括动漫、漫画书、低多边形、像素艺术。

原始分辨率是 512 x 512 像素，可以增加到 1,024 x 1,024 像素。此外，可以使用升频器。

Stable Animation 的默认值是 72 帧（12 帧每秒），但根据说明，它可以增加到无穷大。

此前，Stability AI 就已经有了基于 Stable Diffusion 的动画工具，比如，我们可以通过 prompt interpolation（不断改变 prompt 的某些属性）生成一小段动图。

这次的升级的不同之处在于，table Animation 生成视频的能力更全面、更成熟。

虽然现在，AI 还没进化到让我们按个按钮就能生成电影，但 Stable Animation、Runway ML、Phenaki、Imagen Video 等模型的超强进化，已经预示了视觉生成 AI 的视频生成功能，会越来越惊艳。

网友实测

Stable Animation 一发布，网友们就按捺不住自己渴望尝试的小手。

比如，npaka 就分享了自己的使用体验。

首先，将 DreamStudio 的 API 密钥设置为本机的环境变量。

然后，准备 Python 虚拟环境，并安装 stability_sdk 并启动 Animation GUI。

$ pip install 'stability_sdk[anim_ui]' $ python -m stability_sdk animate --gui

Running on local URL:  http://127.0.0.1:7860

用浏览器打开显示的网址后，就可以在「Project」选项卡中创建项目了。

在「Render」选项卡中设置文本提示，然后按「Render」按钮。

最后，动画就做好啦。

此外，还有一些网友也分享了自己的作品。

AI 离生成电影还有多远

AI 生成视频的功能如此强大，已经有网友打算投资 AI 动画工作室了。

这位表示，脑洞已准备好，就等一个用户友好的动画工具了。

网友们的畅想并不遥远，最近，Wes Anderson 的《指环王》的新预告片中，就用到了不少 AI 工具。

OpenAI 前 AI 主管 Andrej Karpathy 猜测，这部预告片中至少用到了 Midjourney / Stable Diffusion、ControlNet、ElevenLabs、D-Id、ChatGPT、Adobe 等工具。

看来，AI 视觉工具再这么进化下去，取代好莱坞大导不会太远了。

参考资料：

• https://stability.ai/blog/stable-animation-sdk

• https://twitter.com/StabilityAI/status/1656691563995512834

• https://the-decoder.com/stable-animation-stability-ai-makes-images-move/

本文来自微信公众号：新智元 （ID：AI_era）

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。