机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的大小单双倍投公式,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习大小单双倍投公式的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
对于网络架构搜索(NAS)来说,这是至关重要但同时具有挑战性同时保证有效性和效率。为了实现这一目标,我们开发了一种可区分的NAS解决方案,其中搜索空间包括由预定数量的连接组成的任意前馈网络。受益于提议的集合Gumbel-Softmax估计器,我们的方法优化了深度网络的体系结构及其在同一轮向后传播中的参数,从而产生了一种搜索网络体系结构的端到端机制。对各种流行数据集进行的大量实验有力地证明了我们的方法能够发现高性能架构,同时保证搜索时的必要效率。
translated by 谷歌翻译
传统的聚类方法通常使用低级别的判别表示进行聚类,忽略模式之间的关系,从而在深度学习的时代取得了微小的成就。为了解决这个问题,我们开发了Deep Discriminative Clustering(DDC),通过调查模式与深层网络之间的关系来模拟聚类任务。从技术上讲,引入全局约束来自适应地估计关系,并且开发局部约束以赋予网络学习高级别判别表示的能力。通过迭代地训练网络并以小批量方式估计关系,DDC理论上收敛并且训练网络能够生成一组判别表示,其可以被视为用于直接聚类的聚类中心。广泛的实验有力地证明了DDC同时优于当前的eightimage,文本和音频数据集方法。
translated by 谷歌翻译
卷积神经网络已被证明在各种图像恢复任务中非常有效。然而,大多数最先进的解决方案都是使用具有单一特定降级水平的图像进行训练,并且当应用于某些其他降级设置时可能会恶化。在本文中,我们提出了一种称为深度似然网络(DL-Net)的新方法,旨在推广现成的图像恢复网络,以便在保持其原始学习目标和核心架构的同时,成功地实现了降级设置的范围。特别是,我们通过附加一个简单但有效的递归模块来略微修改原始恢复网络,该递归模块源自保真度术语,用于解开降级的影响。图像修复,插值和超分辨率的广泛实验结果证明了我们的DL-Net的有效性。
translated by 谷歌翻译
本文介绍了一种通用方法,该方法可以使用传统的深层网络作为端到端的单类分类器。该方法基于将来自一个类的给定数据拆分成两个子集。在一类分类中,只有一个正常类的样本可用于训练。在推理过程中,寻求围绕训练样本的封闭且紧密的决策边界,这是传统训练的神经网络无法提供的。通过将数据分成典型和非典型的正常子集,所提出的方法可以使用二进制损失并在潜在特征空间上定义额外的距离约束。对三个已知图像数据集的各种实验表明,所提出的方法的有效性在30个实验中的23个中优于7个基线大小单双倍投公式。
translated by 谷歌翻译
最近的研究表明,通过增加表示的深度,可以显着提高卷积神经网络的性能。我们提出了一种完全顺序的方法来构建和训练极端深度卷积神经网络。我们首先介绍一种新颖的顺序卷积层来构建网络。所提出的层能够构建可训练且高效的前馈网络,其由数千个具有相当有限数量的参数的香草卷积层组成。 laye按顺序提取所产生的表示的每个特征,允许在层内重用。这种形式的特征重用将提取的特征引入层内层次,这极大地增加了表示的深度,使得能够探索更丰富的结构。此外,我们采用渐进式增长训练方法依次优化网络模块。这种训练方式逐步增加网络容量,允许后来的模块根据先前模块的先验知识进行优化。因此,它鼓励在网络的每个模块之间建立长期依赖性,这增加了具有跳过连接的网络的有效深度,从而减轻了深度网络的多个优化难度。
translated by 谷歌翻译
深度神经网络(DNN)在计算/内存密集型方面受到对抗性攻击的破坏,使得它们在某些现实世界的应用中变得令人望而却步。通过将密集大小单双倍投公式转换为稀疏大小单双倍投公式,修剪似乎是降低计算/内存成本的有希望的解决方案。本文研究了分类大小单双倍投公式,特别是基于DNN的分类大小单双倍投公式,以证明它们的稀疏性和对抗性的内在性之间存在内在联系。我们的分析从理论上和经验上揭示了非线性基于DNN的分类器在来自某些线性分类的$ l_2 $攻击下表现不同。我们进一步证明,适当更高的大小单双倍投公式稀疏性意味着非线性DNN的更好的鲁棒性,而过度稀疏大小单双倍投公式可能更难以抵抗对抗性的例子。
translated by 谷歌翻译
近年来,随着移动通信技术的快速发展,边缘计算理论和技术越来越受到全球研究人员和工程师的关注,可以通过网络边缘显着扩展云容量和设备需求,从而加速内容交付并提高移动服务的质量。为了给边缘系统带来更多的智能,与传统的优化方法相比,并且受当前深度学习技术的驱动,我们建议将Deep ReinforcementLearning技术和联合学习框架与移动边缘系统相结合,以优化移动边缘计算,缓存因此,我们设计了“边缘AI”框架,以便智能地利用设备和边缘节点之间的协作来交换学习参数,以便更好地训练和推理大小单双倍投公式,从而实现动态系统级优化。和应用程序级增强,同时减少不必要的系统通信负载。 “边缘AI”被评估并证明具有接近最优的性能但是相对较低的学习开销,而系统是认知的并且适应于移动通信系统。最后,我们讨论了几个相关的挑战和机会,揭示了“In-Edge AI”即将到来的未来。
translated by 谷歌翻译
预测关键字效果(例如展示次数,点击率(CTR),转化率(CVR),每次点击收入(RPC)和每次点击费用(CPC))对于在线广告行业的赞助搜索至关重要。有趣的现象是,尽管整体数据的大小,但数据在单个单元级别上非常稀少。为了克服数据结构中的稀疏性和覆盖层次信息,我们提出了一种动态分层经验贝叶斯(DHEB)大小单双倍投公式,该大小单双倍投公式通过数据驱动过程动态地确定层次结构并提供基于收缩的估计。我们的方法还配备了一种有效的经验方法,可以通过层次结构推导出推论。我们在模拟和真实数据集中评估提出的方法,并比较几个竞争大小单双倍投公式。在准确性和效率方面,结果有利于所有比较中提出的方法。最后,我们设计了两相系统来实时进行预测。
translated by 谷歌翻译
大小单双倍投公式 Despite the efficacy on a variety of computer vision tasks, deep neural networks (DNNs) are vulnerable to adversarial attacks, limiting their applications in security-critical systems. Recent works have shown the possibility of generating imperceptibly perturbed image inputs (a.k.a., adversarial examples) to fool well-trained DNN classifiers into making arbitrary predictions. To address this problem, we propose a training recipe named "deep defense". Our core idea is to integrate an adversarial perturbation-based regularizer into the classification objective, such that the obtained models learn to resist potential attacks , directly and precisely. The whole optimization problem is solved just like training a recursive network. Experimental results demonstrate that our method outperforms training with adversarial/Parseval regularizations by large margins on various datasets (including MNIST, CIFAR-10 and ImageNet) and different DNN architectures. Code and models for reproducing our results are available at https://github.com/ZiangYan/deepdefense.pytorch.
translated by 谷歌翻译