大小单双倍投公式 机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的大小单双倍投公式,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习大小单双倍投公式的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
在过去的几十年中,运动估计(ME)和运动补偿(MC)已被广泛用于经典视频帧插值系统。最近,已经提出了许多基于卷积神经网络的数据驱动帧插值方法。然而,现有的基于学习的方法通常会估计流量或补偿内核,从而限制了计算效率和插值精度的性能。在这项工作中,我们提出了一个用于视频帧插值的运动估计和补偿驱动神经网络。开发了一种新的自适应翘曲层,将光流和插值核相结合,合成目标帧像素。该层完全可微,使得流和网络估计网络可以联合优化。所提出的大小单双倍投公式受益于运动估计和补偿方法的优点,而不使用手工制作的特征。与现有方法相比,我们的方法在计算上是有效的并且能够产生更具视觉吸引力的结果。此外,所提出的MEMC-Net可以无缝地适应于若干视频增强任务,例如超分辨率,去噪和去块。广泛的定量和定性评估表明,所提出的方法在广泛的数据集上对最先进的视频帧插值和增强算法有利。
translated by 谷歌翻译
将图像处理算法独立地应用于视频的每个帧会导致不期望的不一致结果。然而,开发基于时间的一致性视频扩展需要针对个人任务的领域知识,并且无法推广到其他应用程序。在本文中,我们提出了一种基于深度重复网络的有效端到端方法,以实现视频的时间一致性。我们的方法将原始未处理和每帧处理的视频作为输入,以产生一致的视频。因此,我们的方法与应用于原始视频的特定图像处理算法无关。我们通过最小化短期和长期时间损失以及感知损失来训练所提出的网络,以在时间稳定性和与处理帧之间的感知相似性之间取得平衡。在测试时,我们的大小单双倍投公式不需要计算光流,因此即使对于高分辨率视频也能实现实时速度。我们展示了我们的单一大小单双倍投公式可以处理多个和看不到的任务,包括但不限于艺术风格转移,增强,着色,图像到图像转换和内在图像分解。广泛的客观评估和主题研究表明,所提出的方法对各种类型的视频的最新方法表现出良好的效果。
translated by 谷歌翻译
单图像超分辨率是视觉应用的基本任务,以提高空间分辨率方面的图像质量。如果inputimage包含降级的像素,则由降级引起的伪像可以通过超分辨率方法放大。图像模糊是一种常见的降级源。由于传感器和物体之间的相对运动,移动或静止相机捕获的图像不可避免地受到运动模糊的影响。在这项工作中,我们专注于具有运动模糊的超分辨率任务。我们提出了一种深度门控融合卷积神经网络,以从具有严重模糊的单个自然图像生成清晰高分辨率的帧。通过将特征提取步骤分解为两个与任务无关的流,双分支设计可以通过避免学习混合降级一体化来促进训练过程,从而增强最终的高分辨率预测结果。大量实验表明,我们的方法可以从低分辨率输入中获得具有高计算效率的超分辨率图像。
translated by 谷歌翻译
最近,卷积神经网络证明了单图像超分辨率的高质量重构。然而,现有的方法需要大量的网络参数并且在运行时需要重的计算负载以产生高精度的超分辨率结果。在本文中,我们提出了深拉普拉斯金字塔超分辨率网络,以实现快速准确的图像超分辨率。所提出的网络逐步地在多个金字塔等级上重建高分辨率图像的子带残差。与涉及用于预处理的双立方插值(其导致大特征图)的现有方法相比,所提出的方法直接从低分辨率输入空间提取特征,从而需要低计算负荷。我们使用强大的Charbonnier损失函数深入监督所提出的网络,并实现高质量的图像重建。此外,我们利用递归层来跨越金字塔等级以及金字塔等级来共享参数,从而大大减少参数的数量。对基准数据集进行广泛的定量和定性评估表明,所提出的算法在运行时和图像质量方面对最先进的方法表现出良好的效果。
translated by 谷歌翻译