我们提出了一种新的贝叶斯非参数方法来学习非欧几里德域上的翻译不变关系。结果图卷积高斯过程可以应用于机器学习中的问题,其中输入观察是具有通用图上的域的函数。这些大小单双倍投公式的结构允许高维输入,同时保持可表达性,如卷积神经网络的情况。我们将图形卷积高斯过程应用于图像和三角网格,展示了它们的多功能性和有效性,与现有方法相比,尽管是相对简单的大小单双倍投公式。
translated by 谷歌翻译
序列到序列大小单双倍投公式是NLP的强大主力。大多数变体在其注意机制和输出层中都采用softmax变换,导致密集对齐和严格正输出概率。这种密度是浪费的,使得大小单双倍投公式可解释性较差,并为许多难以置信的输出分配概率质量。在本文中,我们提出了sparsese序列到序列大小单双倍投公式,植根于$ \ alpha $ -entmaxtransformations的新系列,其中包括softmax和sparsemax作为特定情况,并且对于任何$ \ alpha> 1 $都是稀疏的。我们提供快速算法来评估这些变换及其渐变,这些算法可以很好地扩展到大型词汇表。我们的大小单双倍投公式能够生成稀疏对齐并将非非可置性分配给可能输出的简短列表,有时会使波束搜索精确。形态学变形和机器平移的实验揭示了密集大小单双倍投公式的一致增益。
translated by 谷歌翻译
图分类受到了欧洲 - 欧几里德机器学习界的广泛关注。图粗化的最新进展使得能够训练更深的网络,并在许多基准任务中产生了新的最新结果。我们研究了这些架构如何训练和发现性能对初始化非常敏感,并且非常依赖于跳跃知识结构。然后,我们表明,尽管这些大小单双倍投公式的复杂程度很高,但最简单的大小单双倍投公式 - 结构盲MLP,单层GCN和固定重量GCN - 可以实现竞争性能,并建议将其作为未来的基线。
translated by 谷歌翻译
在医学成像中获取高质量的注释通常是一个昂贵的过程。使用自然语言处理(NLP)的自动标签提取作为一种有希望的解决方案,以避免专家注释的需要。尽管方便,但是这种近似的限制还没有仔细检查并且没有被很好地理解。通过一系列具有挑战性的1,000chest X射线研究及其相应的放射学报告,我们发现放射科医生在视觉上看到的与他们临床报告的内容之间存在着惊人的巨大差异。此外,由于具有固有缺陷的报告作为基本事实,最先进的医疗NLP无法产生高保真标签。
translated by 谷歌翻译
大小单双倍投公式 本文提出DeepRMSA,一种用于弹性光网络(EON)中的路由,调制和频谱分配(RMSA)的深度强化学习框架。 DeepRMSA通过使用可以感知复杂EON状态的深度神经网络(DNN)参数化策略来学习正确的在线RMSA策略.DNN经过动态光路配置的经验训练。我们首先修改异步优势actor-critic算法,并为DeepRMSA提供基于集合的训练机制,即DeepRMSA-EP。 DeepRMSA-EP将动态配置过程分成多个剧集(每个剧集包含固定数量的光路请求的服务),并在每集结束时执行应变。 DeepRMSA-EP ateach服务请求步骤的优化目标是在剧集的其余部分中最大化累积奖励。因此,我们不需要估计与未知未来状态相关的奖励。为了克服由于累积奖励的振荡引起的DeepRMSA-EP训练中的不稳定性问题,我们进一步提出了基于窗口的灵活训练机制,即DeepRMSA-FLX.DeepRMSA-FLX试图通过定义每个振动的优化范围来消除振荡。步骤作为滑动窗口,并确保累积奖励总是包括来自固定数量请求的奖励。使用两个样本拓扑的评估显示DeepRMSA-FLX可以有效地稳定训练,同时实现超过20.3%和14.3%的阻塞概率减少,当与基线相比。
translated by 谷歌翻译
我们提供了一种实用且强大的深度学习解决方案,用于捕捉和渲染复杂现实世界场景的新视图以进行虚拟探索。以前的方法要么需要难以置信的密集视图采样,要么提供用户应该如何对场景进行采样以提供高质量可靠性的指导新意见。相反,我们从采样视图的不规则网格提出了一种用于视图合成的算法,该算法首先通过多平面图像(MPI)场景表示将每个采样视图扩展为局部光场,然后通过混合相邻的局部光场来渲染新颖视图。我们扩展了传统的全光采样理论,以推导出一个界限,用于精确指定用户在使用我们的算法时应该如何密集地对给定场景的视图进行采样。在实践中,我们应用此界限捕获和渲染真实世界场景,实现奈奎斯特速率视图采样的感知质量,同时使用多达4000倍的视图。我们通过增强现实智能手机应用程序展示了ourapproach的实用性,该应用程序引导用户捕获场景的输入图像,以及在桌面和移动平台上实现实时虚拟探索的查看器。
translated by 谷歌翻译
AdaNet是一个基于TensorFlow的轻量级(Abadi等,2015)框架,可以自动学习高质量的集合,只需要很少的专家干预。我们的框架受到AdaNet算法的启发(Cortes等,2017),它融合了神经网络的结构作为子网的集合。我们将其设计为:(1)与现有的TensorFlow生态系统集成,(2)可提供的默认搜索空间,以便在新数据集上表现良好;(3)提供灵活的API以在可用时利用专家信息,以及(4)通过分布式CPU有效加速培训,GPU和TPU硬件。代码isopen-source,可从以下网址获得:https://github.com/tensorflow/adanet。
translated by 谷歌翻译
许多编程任务都需要使用特定于域的代码和已建立的模式(例如与文件IO有关的例程)。几个小模式结合在一起创建复杂的交互。这种复合效应与特定领域的特性相结合,为全自动规范推理创造了一个挑战性的环境。在此环境中挖掘规范,无需借助规则模板,用户指导的反馈或预定义的API表面,是一项重大挑战。我们将此挑战称为开放式世界规范挖掘。在本文中,我们提出了一个在开放世界环境中挖掘规范和使用模式的框架。我们将此框架设计为与beminer无关,而是专注于解开复杂和嘈杂的API交互。为了评估我们的框架,我们引入了从五个开源项目中提取的71个集群的基准。使用这个数据集,我们展示了可以通过以字嵌入的形式平衡无监督学习,以全自动的方式恢复有趣的聚类。一旦集群得到恢复,开放世界规范挖掘的挑战就会被简化,并且可以应用任何基于跟踪的挖掘技术。此外,我们提供了对三个单词矢量学习者的综合评估,以展示在软件工程领域中学习嵌入的子词信息的价值。
translated by 谷歌翻译
异常检测是查找偏离基线的数据点的过程。在现实生活中,异常通常是未知的或极端的。此外,检测必须及时完成,否则腐败系统的风险可能呈指数级增长。在这项工作中,我们提出了一个两级框架,用于检测离散序列中的异常。首先,我们评估是否可以从鉴别器层中收集的统计数据中获取足够的信息,以区分分布和分布样本。然后,我们基于这些统计数据构建一个无监督的异常检测模块。为了增加已知数据类别的数据和保持跟踪,我们倾向于应用于离散元素的半监督对抗性学习。
translated by 谷歌翻译
深度神经网络容易受到对抗性攻击。许多努力都集中在防御上,这些防御要么试图在经过训练的大小单双倍投公式中修补“漏洞”,要么难以计算利用这些漏洞的对抗性例子。在我们的工作中,我们探索了一种反直觉的方法来构建“对抗性陷阱。与先前的作品不同,试图修补或掩盖流形中的脆弱点,我们故意注入”trapdoors“,歧管中的人为弱点将吸引优化的扰动吸引到某些预嵌入因此,对抗性生成功能自然地倾向于我们的陷阱,产生大小单双倍投公式所有者可以通过已知的神经元激活签名识别的对抗性示例。在本文中,我们引入陷阱并描述使用类似策略的后门/特洛伊木马的实现我们通过主动将陷门注入大小单双倍投公式(并提取其神经激活特征),我们可以检测到由现有技术攻击(投射梯度下降,基于CW优化和弹性网络)生成的对抗性示例,具有高检测成功率和对正常投入的影响可以忽略不计也可以概括多个分类域(图像识别,人脸识别和交通标志识别)。我们探索了活板门的不同属性,并讨论了潜在的对策(自适应攻击)和缓解措施。
translated by 谷歌翻译