借助AI,老电影可以重现光芒

利用卷积神经网络和最先进的图像识别技术,可以让老电影经典重现光芒。神经网络不仅可以打磨,降噪,给老化的图像重赋色彩,还可以生成高清电影…

本文由理论派学习小组翻译

第一部电影诞生于于十九世纪晚期,是一部胶片电影。

跳到2018年,全球电影业价值高达417亿美元。作为社会文化娱乐的重要遗产,需要受到更多的保护。这并不容易,尤其是现在的电影制作和放映都是数字模式,胶片电影正在退出历史舞台。

电影保护所面临的挑战

没有播放设备就无法观看老电影,包括欧盟委员会在内的众多组织都强调了保护电影文化遗产的挑战和重要性。

修复老电影,第一个挑战是消除失真。老电影通常以低分辨率录制,且原始录像带明显老化并充满噪点和坏道。此外,从胶片到数字的转化过程常常会造成损坏进一步导致失真。

通过使用AI,特别是监督学习技术,deepsense.ai团队成功的从数字化版本的电影中移除了坏道和噪点。我们故意在影片中添加了坏道和噪点用于训练深度神经网络模型。系统通过这些训练学会了如何移除噪声。在经典波兰电影“Rejs”的原始噪声的处理中,神经网络也有很好的表现。

这表明,神经网络甚至可以处理和恢复彻底损坏的源材料并使其再次焕发生机。当图像变暗和模糊以至于人眼几乎无法识别电影中的人时,神经网络也会给出低质量预测。

如何将真正的老电影转化为高清电影

类似的训练技术在改善老电影质量的神经网络得到了同等应用。目标是修复丢失的细节,将老古董电影“升级”到高清。

关键的挑战在于重现细节,这几乎是不可能的。看惯了高清,人们很难再适应低分辨率影像。

该模型通过将高清电影降质来作为样本训练模型来学习细节重建。

由于训练样本的充盈,该模型表现良好。团队可以降低任何电影的分辨率,为模型提供原始样本,让神经网络学习如何重现并将丢失的细节注入电影中。

关于制作高清版老电影的一个最大误解是神经网络会从原始电影中找回细节。事实上,没有办法找回丢失的细节,因为他们已经不存在了。神经网络是使用相同的技术去再次生产这些细节。

因此,这些细节只是基于现实的重构,但并非原始的细节。如果用于法医行业或细节研究,这可能是一个挑战(或问题)。不过,若只是用于文化娱乐的电影,这种技术绰绰有余。

给老电影上色

另一个挑战来自制作经典电影的彩色版本,从技术上复原。这项工作过去一直由艺术家来完成,一帧一帧的上色。以这种方式着色的第一部电影是英国无声电影“奇迹”(1912)。

因为有无数彩色电影可供使用,提供丰富的训练集,深度神经网络可以大大减少恢复黑白电影所需要的时间。然而,这个过程并非完全自动化。事实上,在黑白电影上加上色彩是一项艰巨的任务。以迪士尼的“Tron” 为例拍摄的是黑白两色,然后由来自台湾的Cuckoo’s Nest 工作室的200名水墨画家完成着色。

在着色时,神经网络往往会选择一些安全色,这可能会造成一些问题。举个例子,神经网络有可能会将水误认为草地,因为田地比湖泊在电影背景中更为常见。

当通过人工给单帧图像上色时,艺术家可以指导AI模型选择颜色。

当遇到黑白电影时,很难确定男演员的衬衫或女演员的丝巾的真实颜色。不过都过了这么多年,这还重要吗?神经网络大多采用LAB通道着色,利用亮度(L)来预测剩余的两个通道(分别为A和B)。

注:不像RGB和CMYK色彩空间,Lab颜色被设计来接近人类视觉。它致力于感知均匀性,它的L分量密切匹配人类亮度感知。因此可以被用来通过修改a和b分量的输出色阶来做精确的颜色平衡,或使用L分量来调整亮度对比。这些变换在RGB或CMYK中是困难或不可能的,它们建模物理设备的输出,而不是人类视觉感知。

转录与人脸识别

最后不得不提的是, 无论是用于文学还是文化研究,转录对话都使分析和研究变得更加容易。使用人脸识别软件,还可以正确关联所有角色。

语音转文字功能处理声音并转录对话,而另一个网络跟踪视频中的人物的嘴型变化。当与图像识别相结合时,既可以同步字幕,也能知道是谁在说话。

虽然仍需人工审核,但它仍然大大减少了转录的时间。按传统模式,需要先录制,再校验。而这台机器可以在几秒钟内转译一部长达一小时的电影。

总结

与其他方法相比,使用AI技术恢复电影要容易很多。更好的保存了这些文化遗产,确保了这些老电影的传承价值。商用人工智能得到了广泛的认可,但AI技术在文化和艺术领域的应用仍然还处于新潮期。

对经典作品的复刻和数字化使得这些作品重现生机,因此,多亏了人工智能,未来人们可以尽情的观看那些获得奥斯卡奖的老电影,恩,如果现在的不好看的话。

原文链接:https://dzone.com/articles/ai-movie-restoration-scarlett-ohara-hd

1条评论

参与评论

请输入你的评论!
请在这里输入你的名字