与可以通过监督学习解决的常规还原任务不同,真实照片的毁坏很复杂,并且合成图像和真实旧照片之间的域间隙使网络无法运用。
IT之家获悉,他们的新技术通过利用真实照片和大量合成图像配对,提出了一种新颖的三重态域翻译网络。具体来说,他们训练两个变体自动编码器(VAE)将旧照片和干净照片分别转换为两个潜在空间。并使用合成配对数据学习这两个潜在空间之间的转换。
由于域间隙在紧凑的潜伏空间中是封闭的,因此这种转换可以很好地推广到真实照片。为了解决一张旧照片中混合的多种退化问题,他们设计了一个全局分支,该分支具有针对结构化缺陷(例如划痕和灰尘斑点)的非局部块,以及针对非结构化缺陷(例如噪声和模糊度)的局部分支。两个分支融合在潜在空间中,从而提高了从多个缺陷还原旧照片的能力。提出的方法在恢复旧照片的视觉质量方面优于最先进的方法。
请参见下面的视频中演示的技术:
遗憾的是,微软目前尚未提供一个演示站点来试用展示该技术。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。