机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的大小单双倍投公式,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习大小单双倍投公式的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
现有反向强化学习(IRL)方法的一个关键缺陷是它们无法明显优于演示者。这是IRL算法普遍依赖于某种形式的模拟(例如特征计数匹配)的结果,而不是推断可能在实践中执行不力的示范者的潜在意图。在本文中,我们介绍了一种新的奖励学习方法。观察算法,轨迹排名奖励EXtrapolation(T-REX),推断超出一组(近似)排名的演示,以便从一组可能很差的演示中推断出高质量的奖励函数。结合深度强化学习,我们表明这种方法可以在多个Atari和MuJoCo基准测试任务上实现比性能最佳的演示要好一个数量级以上的性能。相比之下,先进的模仿学习和IRL方法未能比演示者表现更好,并且通常具有比T-REX更高的性能。最后,我们证明了T-REX对于适度数量的平均噪声具有鲁棒性,并且可以通过简单地观察随着时间的推移而在任务中随意改善的方式来准确地推断意图。
translated by 谷歌翻译
我们使用参数化微分算子为非结构化网格上的卷积神经网络(CNN)提供了一个有效的卷积核,同时关注球形信号,如全景图像或行星信号。为此,我们用可学习参数加权的微分算子的线性组合代替传统的卷积核。可以使用单环邻域在非结构化网格上有效地估计差分运算符,并且可以通过标准反向传播来优化可学习的参数。因此,我们获得了极其高效的神经网络,该网络在性能方面匹配或优于最先进的网络架构,但网络参数数量明显较少。我们在各种计算机视觉和气候科学任务的广泛系列实验中评估我们的算法,包括形状分类,气候模式分割和全方位图像语义分割。总体而言,我们提出(1)一种新的CNN方法在非结构化网格上使用参数化微分算子对于球形信号,以及(2)我们展示了我们独特的内核参数化使我们的大小单双倍投公式能够以明显更少的网络参数实现相同或更高的精度。
translated by 谷歌翻译
最近,涉及几何(图形和流形结构)数据分析的任务在机器学习社区中占据了重要地位,为快速发展的几何深度学习领域提供了条件。在这项工作中,我们利用图形神经网络改善IceCubeneutrino天文台的信号检测。 IceCube探测器阵列被建模为图形,其中传感器是传感器,边缘是传感器空间坐标的学习函数。由于在给定观察期间只有IceCube传感器的一个子集处于活动状态,因此我们注意到GNN的自适应特性,其中计算受限于输入信号支持。我们展示了我们的GNN架构在对IceCube事件进行分类的任务中的有效性,其中它优于传统的基于物理的方法以及经典的3D卷积神经网络。
translated by 谷歌翻译
虽然深度强化学习(DRL)在近几年取得了许多成功,但复制这些成功可能极具挑战性。与DRL特别相关的一个可再现性挑战是在培训过程中的非确定性,这可能会对结果产生重大影响。在这一挑战的推动下,我们研究了确定性实施在培训中消除非决定论的积极影响。为此,我们考虑深度Q学习算法的特殊情况,我们通过识别和控制训练过程中的所有非确定性来源来产生确定性实现。然后,我们一个接一个地允许个别的无意义主义来源影响我们的确定性实施,并衡量每个来源对绩效差异的影响。我们发现,非确定性的个人来源可以显着影响代理人的绩效,说明确定性实施的好处。此外,我们还讨论了确定性实现在实现结果的精确可复制性方面的重要作用。
translated by 谷歌翻译
对增加规模和复杂性的科学数据的分析需要具有可解释性和预测性的统计学机器学习方法。交汇联盟(UoI)是最近开发的框架,是分离大小单双倍投公式选择和大小单双倍投公式估计的两步法。基于UoI的线性回归算法,$ UoI_ {LASSO} $,同时实现低误报和低误差特征选择以及低偏差和低方差估计。这些品质共同使结果具有预测性和可解释性。在本文中,我们在NERSC的Cori Knights Landing(Xeon Phibased超级计算机)上优化$ UoI_ {LASSO} $算法以进行单节点执行。然后,我们将扩展$ UoI_ {LASSO} $以在一系列数据集大小的68-278,528个核心范围内执行核心,从而展示实施的弱和强缩放。我们还为向量自回归大小单双倍投公式实现了$ UoI_ {LASSO} $,$ UoI_ {VAR} $的变体,以分析高维时间序列数据。我们为$ UoI_ {VAR} $执行单节点优化和多节点缩放实验,以证明该算法对弱和强缩放的有效性。我们的实现使得能够使用我们所知道的最大VAR大小单双倍投公式(??1000个节点),并将其应用于大型神经生理学数据192个节点。
translated by 谷歌翻译
We present a new, fully generative model for constructing astronomicalcatalogs from optical telescope image sets. Each pixel intensity is treated asa random variable with parameters that depend on the latent properties of starsand galaxies. These latent properties are themselves modeled as random. Wecompare two procedures for posterior inference. One procedure is based onMarkov chain Monte Carlo (MCMC) while the other is based on variationalinference (VI). The MCMC procedure excels at quantifying uncertainty, while theVI procedure is 1000 times faster. On a supercomputer, the VI procedureefficiently uses 665,000 CPU cores to construct an astronomical catalog from 50terabytes of images in 14.6 minutes, demonstrating the scaling characteristicsnecessary to construct catalogs for upcoming astronomical surveys.
translated by 谷歌翻译
大小单双倍投公式 Bayesian optimization is an effective methodology for the global optimizationof functions with expensive evaluations. It relies on querying a distributionover functions defined by a relatively cheap surrogate model. An accurate modelfor this distribution over functions is critical to the effectiveness of theapproach, and is typically fit using Gaussian processes (GPs). However, sinceGPs scale cubically with the number of observations, it has been challenging tohandle objectives whose optimization requires many evaluations, and as such,massively parallelizing the optimization. In this work, we explore the use of neural networks as an alternative to GPsto model distributions over functions. We show that performing adaptive basisfunction regression with a neural network as the parametric form performscompetitively with state-of-the-art GP-based approaches, but scales linearlywith the number of data rather than cubically. This allows us to achieve apreviously intractable degree of parallelism, which we apply to large scalehyperparameter optimization, rapidly finding competitive models on benchmarkobject recognition tasks using convolutional networks, and image captiongeneration using neural language models.
translated by 谷歌翻译