智谱 AI 发布视频生成工具“清影”:30 秒快速生成,免费开放体验

2024-07-26 12:50IT之家 - 汪淼
感谢IT之家网友 乔十三USER已注销343802Hi_World 的线索投递!

IT之家 7 月 26 日消息,智谱 AI 今日宣布,对视频生成模型进行全新升级,并正式推出新一代产品 ——CogVideoX

CogVideoX 模型目前已在智谱清言的 PC 端、移动应用端以及小程序端正式上线。所有 C 端用户均可通过智谱清言的 AI 视频生成功能「清影」(Ying),免费体验 AI 文本生成视频和图像生成视频的服务。

据介绍,CogVideoX 的核心技术特点如下:

  • 针对内容连贯性问题,智谱 AI 自主研发了一套高效的三维变分自编码器结构(3D VAE)。该结构能够将原始视频数据压缩至原始大小的 2%,降低了视频扩散生成模型的训练成本和难度。结合 3D RoPE 位置编码模块,该技术提升了在时间维度上对帧间关系的捕捉能力,从而建立了视频中的长期依赖关系。

  • 在可控性方面,智谱 AI 打造了一款端到端的视频理解模型,该模型能够为大量视频数据生成描述。这一创新增强了模型对文本的理解和对指令的遵循能力,确保生成的视频更加符合用户的输入需求,并能够处理超长且复杂的 prompt 指令。

  • 模型采纳了一种将文本、时间、空间三维一体融合的 transformer 架构。该架构摒弃了传统的 cross attention 模块,设计了 Expert Block 以实现文本与视频两种不同模态空间的对齐,并通过 Full Attention 机制优化模态间的交互效果。

「清影」的主要特点如下:

  • 快速生成:仅需 30 秒即可完成 6 秒视频的生成

  • 高效的指令遵循能力:即使是复杂的 prompt,清影也能准确理解并执行。

  • 内容连贯性:生成的视频能够较好地还原物理世界中的运动过程。

  • 画面调度灵活性:例如,镜头能够流畅地跟随画面中的三只狗狗移动。

此外,智谱大模型开放平台 bigmodel.cn 也部署了「清影」。企业和开发者可通过 API 调用式,体验并使用「清影」的文本生成视频和图像生成视频功能。

IT之家附智谱官网链接:https://chatglm.cn/video

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

文章价值:
人打分
有价值还可以无价值
置顶评论
    热门评论
      文章发布时间太久,仅显示热门评论
      全部评论
      请登录后查看评论
        取消发送
        软媒旗下人气应用

        如点击保存海报无效,请长按图片进行保存分享