20% 的杨幂 + 80% 的泰勒长什么样？小红书风格化 AI 来了，可兼容 SD 和 ControlNet

不得不说，现在拍写真真是“简单到放肆”了。

真人不用出镜，不用费心凹姿势、搞发型，只需一张本人图像，等待几秒钟，就能获得 7 种完全不同风格：

仔细看，造型 / pose 全都给你整得明明白白，并且原图直出修也不用修了。

这搁以前，不得在写真馆耗上至少整整一天，把咱和摄影师、化妆师都累个半死不活。

以上，便是一个叫做 InstantID AI 的厉害之处。

除了现实写真，它还能整点“非人类的”：

比如猫头猫身，但仔细看又有你的脸部特征。

各种虚拟风格就更不用说了：

像 style 2，真人直接变石像。

当然，输入石像也能直接变：

对了，还能进行俩人脸融合的高能操作，看看 20% 的杨幂 + 80% 的泰勒长什么样：

一张图无限高质量变身，可是叫它玩明白了。所以，这是怎么做到的？

基于扩散模型，可与 SD 无缝集成

作者介绍，目前的图像风格化技术已经可以做到只需一次前向推理即可完成任务（即基于 ID embedding）。

但这种技术也有问题：要么需要对众多模型参数进行广泛微调，要么与社区开发的预训练模型缺乏兼容性，要么无法保持高保真度的面部特征。

为了解决这些挑战，他们开发了 InstantID。

InstantID 基于扩散模型打造，其即插即用（plug-and-play）模块仅靠单张面部图像即可熟练地处理各种风格化变身，同时确实高保真度。

最值得一提的是，它可与时下流行的文本到图像预训练扩散模型无缝集成（例如 SD1.5、SDXL），作为插件使用。

具体来看，InstantID 由三个关键组成部分：

而相比业内此前的工作，InstantID 有几点不同：

再次强调，以上所有效果只需 1 张参考图像在几秒内即可完成。如下图实验证明，多来几张参考图的作用基本不大，1 张就能做得很好。

下面是一些具体对比。

比较对象是现有的免调优 SOTA 方法：IP-Adapter (IPA)、IP-Adapter-FaceID 以及前两天腾讯刚刚出品的 PhotoMaker。

可以看到，大家都挺“卷”的，效果都不赖 —— 但仔细对比的话，PhotoMaker 和 IP-Adapter-FaceID 保真度都不错，但文本控制能力明显差一点。

相比之下，InstantID 的面孔和样式能更好地融合，在实现了更好保真度的同时，还保留了良好的文本可编辑性。

除此之外，还有与 InsightFace Swapper 模型的比较，你觉得哪个效果更好呢？

本文一共 5 位作者，来自神秘的 InstantX 团队（网上没有搜到太多信息）。不过一作是来自小红书的 Qixun Wang。

通讯作者王浩帆也是小红书的工程师，从事可控和条件内容生成（AIGC）方面的研究，是 CMU'20 届校友。

参考链接：

本文来自微信公众号：量子位（ID：QbitAI），作者：丰色

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。