随机块大小单双倍投公式(SBM)及其变体,例如$,混合成员和重叠随机块大小单双倍投公式,是基于潜变量的图的生成大小单双倍投公式。事实证明,它们可以成功完成各种任务,例如在图形结构数据上发现社区结构和链接预测。最近,通过利用诸如局域性和不变性之类的图形属性,图形神经网络,例如$,图形卷积网络,也已成为一种有前景的方法,用于学习图形中节点的强大表示(嵌入)。在这项工作中,我们通过为图形开发\ emph {稀疏}变量自动编码器来统一这两个方向,这保留了SBM的可解释性,同时还享有图神经网络的出色预测性能。此外,我们的框架伴随着快速识别大小单双倍投公式,可以快速推断节点嵌入(这对于SBM及其变体的推断具有独立的意义)。虽然我们为特定类型的SBM开发了这个框架,即\ emph {重叠}随机块大小单双倍投公式,所提出的框架可以适用于其他类型的SBM。几个基准测试的实验结果证明了在链接预测方面的令人鼓舞的结果,同时学习了可用于社区发现的可解释的潜在结构。
translated by 谷歌翻译
我们考虑从超高分辨率全滑动细胞病理学图像预测甲状腺恶性肿瘤。我们提出了一种基于深度学习的算法,其灵感来自细胞病理学家诊断幻灯片的方式。该算法识别诊断相关的图像区域并将它们分配给局部恶性肿瘤评分,然后将其纳入全球恶性肿瘤预测中。我们讨论了基于深度学习的方法多实例学习(MIL)的关系,并通过使用监督程序从整个幻灯片中提取相关区域来描述它如何偏离ClassicalMIL方法。对我们算法的分析进一步揭示了与假设检验的密切关系,假设检验与甲状腺细胞病理学的独特特征一起,使我们能够设计出改进的培训策略。我们进一步提出了用于同时预测甲状腺恶性肿瘤的序数回归框架和作为正则化器的有序诊断评分,这进一步改善了网络的预测。实验结果表明,该算法优于多种竞争方法,实现了与人类专家相媲美的性能。
translated by 谷歌翻译
持续学习旨在使机器学习大小单双倍投公式能够以顺序方式学习过去和未来任务的通用解决方案空间。 Conventionalmodels在学习新任务时倾向于忘记先前任务的知识,这种现象称为灾难性遗忘。当在持续学习中使用贝叶斯大小单双倍投公式时,可以在两个方面保留以前任务的知识:1)。参数的后验分布,包含先前任务中推理的知识,然后作为后续任务的先验; 2)。核心集,包含以前任务的数据分布知识。在这里,我们通过分别使用自然梯度和斯坦梯度表明贝叶斯连续学习可以通过这两种方式得到促进。
translated by 谷歌翻译
功率计正在成为一种广泛使用的工具,用于测量训练和骑自行车的努力,现在也正在向其他运动传播。这意味着可以从运动员那里收集越来越多的数据,其目的是帮助教练和运动员分析和理解训练负荷,比赛努力,技术等。在这个项目中,我们与Skisens AB合作,这是一家生产越野滑雪杖手柄的公司配备功率计。我们进行了一项试验性研究,使用机器学习技术对Skisens极点的数据进行识别,以确定哪个“齿轮”是一个skieris使用(双轮询或滑行齿轮2-4),仅基于来自滑雪杖的传感器数据。该试点研究的数据集包含来自三个滑雪者的标签时间序列数据,这些滑雪者使用四个不同的齿轮,记录在不同的位置和不同的地形。当来自所有三个滑雪者的数据子集用于训练时,我们系统地评估了基于神经网络的多种机器学习技术,其具有通过LSTM网络获得的最佳结果(准确度为95%正确分类的击打)。按照预计,当大小单双倍投公式仅对两个滑雪者的数据进行训练并在第三个滑雪者上进行测试时,准确度降至78%。为了更好地推广未出现在训练集中的个人,需要更多的数据,这是正在进行的工作。
translated by 谷歌翻译
具有自回归解码器的变分自动编码器(VAE)已经应用于许多自然语言处理(NLP)任务。 VAE目标包括两个术语,(i)重建和(ii)KL正则化,由加权超参数\β平衡。一个臭名昭着的训练难点是KL术语趋于消失。在本文中,我们研究了\ beta的调度方案,并且表明KL消失是由于在优化开始时在解码器内缺少良好的潜在代码引起的。为了解决这个问题,我们提出了一个循环退火计划,它重复多次增加β的过程。这个新程序允许通过利用先前周期的信息表示作为热重启来逐步学习更有意义的潜在代码。循环退火的有效性在广泛的NLP任务上得到验证,包括语言建模,对话响应生成和无监督语言预训练。
translated by 谷歌翻译
当廉价获得时,显着地使用多保真方法,但是可能存在偏差和噪声,观察必须与有限或昂贵的真实数据有效地组合以构建可靠的大小单双倍投公式。这两个基本的机器学习过程,如贝叶斯优化,以及更实际的科学和工程应用。本文我们开发了一种新的多保真大小单双倍投公式,将高斯过程层作为保真度水平处理,并使用变分推理方法进行传播。他们的不确定性。这允许捕获保真度之间的非线性相关性,其中过度拟合利用组成结构的现有方法的风险较低,这相反地受到结构假设和约束的影响。我们表明,所提出的方法在多保真设置中量化和传播不确定性方面取得了实质性的改进,从而提高了决策管道的有效性。
translated by 谷歌翻译
大小单双倍投公式 The AlphaGo, AlphaGo Zero, and AlphaZero series of algorithms are remarkable demonstrations of deep reinforcement learning's capabilities , achieving superhuman performance in the complex game of Go with progressively increasing autonomy. However, many obstacles remain in the understanding of and usability of these promising approaches by the research community. Toward elucidating unresolved mysteries and facilitating future research, we propose ELF OpenGo, an open-source reimplementation of the AlphaZero algorithm. ELF OpenGo is the first open-source Go AI to convincingly demonstrate superhuman performance with a perfect (20:0) record against global top professionals. We apply ELF OpenGo to conduct extensive ablation studies, and to identify and analyze numerous interesting phenomena in both the model training and in the gameplay inference procedures. Our code, models, selfplay datasets, and auxiliary data are publicly available. 1
translated by 谷歌翻译
在给定噪声测量的情况下,我们考虑关于潜在马尔可夫过程的分布的期望的近似。这已知为平滑问题,并且通常采用粒子和马尔可夫链蒙特卡罗(MCMC)方法。这些方法在运行有限时间时提供一致但有偏差的估计。我们提出了一种简单的方法来耦合使用粒子独立Metropolis-Hastings(PIMH)构建的两个MCMC链,产生无偏平滑估计器。无偏估计在并行计算的同时具有吸引力,并有助于建立置信区间。所提出的方案仅需要访问现成的ParticleFilters(PF),因此比最近提出的无偏移的吸尘器更容易实现。该方法在L \'evy驱动的随机波动率大小单双倍投公式和随机动力学大小单双倍投公式上得到证明。
translated by 谷歌翻译
在人类选择中隐含的学习偏好是经济学和计算机科学中充分研究的问题。然而,大多数工作都假设人类在他们的偏好方面最佳地行动(吵闹)。当人们自己了解他们想要的东西时,这种方法可能会失败。在这项工作中,我们介绍了辅助多臂匪徒,其中机器人协助人类玩强盗任务以最大化累积奖励。在这个问题中,人类不知道奖励功能,但可以通过从手臂拉动获得的奖励来获取奖励功能;机器人只能观察到人类拉动的武器,而不是每次拉动所带来的奖励。我们提供了足够和必要的条件,以成功地协助人类在这个框架。令人惊讶的是,在机器人的帮助下,单独更好的人类表现并不一定能带来更好的表现:人类政策可以通过有效地将其观察到的奖励传达给机器人来做得更好。我们进行支持这些结果的概念验证实验。我们认为这项工作有助于人类机器人互动算法背后的理论。
translated by 谷歌翻译
序列到序列大小单双倍投公式通常通过最大似然估计(MLE)训练。然而,标准的MLE训练考虑了一个单词 - levelobjective,预测下一个单词给定以前的地面真实部分句子。此过程侧重于对本地语法模式进行建模,并可能用于捕获远程语义结构。我们提出了一种新颖的解决方案来缓解这些问题。我们的方法通过基于最优传输的新监督来实施全局序列级指导,从而实现语义特征的整体表征和保存。我们进一步表明,该方法可以理解为Wasserstein梯度流,试图将大小单双倍投公式与地面实况序列分布相匹配。进行了大量实验以验证所提出方法的效用,显示了对各种NLP任务的一致性,包括机器翻译,抽象文本摘要和图像字幕。
translated by 谷歌翻译