本文介绍了一种新的开放式域名问答框架,其中猎犬和读者互相迭代地互动。框架与机器读取大小单双倍投公式的体系结构无关,只需要访问读取器的令牌级隐藏表示。 Theretriever使用快速最近邻搜索来缩放到包含数百万个段落的语料库。门控循环单元在读取器状态的每个步进条件下更新查询,并且重新构造的查询用于通过检索器对段落进行排序。我们进行分析并显示有用的互动有助于从信息中检索信息性段落。最后,我们展示了我们的多步推理框架在应用于各种大型开放域数据集的两个广泛使用的读者架构Dr.DrQA和BiDAF时带来了一致的改进 - TriviaQA-unfiltered,QuasarT,SearchQA和SQuAD-Open。
translated by 谷歌翻译
我们的艺术家和机器学习研究团队设计了一种创造性算法,可以生成真正的雕塑艺术品。这些艺术品不会模仿任何给定的形式,也不能轻易归类为数据集类别。我们的方法将DeepDream从图像扩展到3D点云。提出的算法,Amalgamated DeepDream(ADD),利用点云的属性来创建比天真扩展更好的对象.ADD为机器的创造力提供了希望,推动艺术家探索新方法或材料的创造力,并创造新的类型而不是在onegenre中创建现有表单或样式的变体。例如,从现实主义到抽象表现主义,或极简主义。最后,我们展示了基于ADD创建的点云进行3D打印的雕塑。
translated by 谷歌翻译
大小单双倍投公式 生成性对抗网络(GAN)可以在不同类型的数据上获得复杂数据分布的有前途的表现。在本文中,我们首先表明现有GAN算法的直接扩展不适用于点云,因为鉴别器所需的约束对于集合数据是未定义的。我们建议对GAN算法进行双重修改以学习生成点云(PC-GAN)。首先,我们通过学习分层和可解释的抽样过程,将来自分层贝叶斯建模和隐式生成大小单双倍投公式的思想结合起来。我们方法的一个关键组成部分是我们为隐藏变量训练后验推理网络。其次,我们不是仅使用最先进的Wasserstein GAN目标,而是提出一个夹心目标,这导致比一般情况更严格的Wassersteindistance估计。使用双重形式。因此,PC-GAN定义了可以包含许多现有GAN算法的通用框架。我们对ModelNet40基准数据集的声明进行了验证。利用生成点云和真实网格之间的距离作为度量,我们发现通过夹心目标训练的PC-GAN比现有方法在测试数据上获得更好的结果。此外,作为副产品,PC-GAN学习点云的多种潜在表示,其可以与对象识别任务上的其他无监督学习算法实现竞争性能。最后,我们还提供了关于生成看不见的对象类和将图像转换为点云的研究,这展示了PC-GAN的引人注目的泛化能力和潜力。
translated by 谷歌翻译
本文重点讨论\ emph {constrained} \ emph {stochastic}优化问题。提出了一种零阶Frank-Wolfe算法,该算法除了香草Frank-Wolfe算法的无投影特性外,还使其无梯度。在凸性和平滑性假设下,我们证明了所提出的算法以$ O \ left(1 / T ^ {1/3} \ right)$的速率收敛到最优目标函数,其中$ T $表示迭代计数。特别地,原始次优性间隙被示出具有$ O \ left(d ^ {1/3} \ right)$的维度依赖性,这是所有零阶优化算法中的最佳已知维度依赖性,其中每次迭代具有一个方向衍生物。对于非凸函数,我们得到\ emph {Frank-Wolfe}间隙为$ O \ left(d ^ {1/3} T ^ { - 1/4} \ right)$。实验黑框优化设置证明了所提算法的有效性。
translated by 谷歌翻译
开放域问答(QA)正在从复杂的流水线系统发展到端到端的深度神经网络。已经开发了专门的神经大小单双倍投公式,用于从单独的文本或单独的知识库(KB)中提取答案。在本文中,我们将看一个更实用的设置,即QA超过KB和实体链接文本的组合,当一个不完整的KB可用于大文本语料库时,这是合适的。基于图表表示学习的最新进展,我们提出了一种新的大小单双倍投公式GRAFT-Net,用于从包含文本和KB实体和关系的特定问题子图中提取答案。我们为这个问题构建了一套基准测试任务,改变了问题的难度,培训数据的数量和KB的完整性。我们表明,当使用KB或单独的文本进行测试时,GRAFT-Net与最先进的技术竞争,并且在组合设置中大大优于现有方法。源代码可在https://github.com/OceanskySun/GraftNet上找到。
translated by 谷歌翻译
我们研究非参数密度估计的极小极大收敛率,称为“对抗性损失”的大类损失函数,除了经典的$ \ mathcal {L} ^ p $损失,包括最大平均差异(MMD),Wasserstein距离和总变差距离。这些损失与生成对抗网络(GAN)中的鉴别器网络编码的损失密切相关。在一般框架中,我们研究了损失的选择和基础密度的假定平滑度如何共同决定最小极大率。我们还讨论了基于deepReLU网络训练GAN的含义,以及在极小极大统计意义上学习隐式生成大小单双倍投公式的更一般的联系。
translated by 谷歌翻译
一般密度估计的基本任务$ p(x)$对机器学习非常敏感。在这项工作中,我们试图系统地描述密度估计的方法。从广义上讲,大多数现有方法可以分为使用:\ textit {a})自回归大小单双倍投公式来估计链规则的条件因子,$ p(x_ {i} \,| \,x_ {i-1} ,\ ldots)$;或\ textit {b})简单基本分布的变量的非线性变换。在研究这些类别的特征的基础上,我们为每个类别提出了多种新方法。例如,我们提出了基于RNN的变换来模拟非马尔可夫的依赖关系。此外,通过对现实世界和合成数据的综合研究,我们展示了联合利用变量和自回归条件大小单双倍投公式的变换,结果在性能上有了相当大的改进。我们在异常检测和图像建模中说明了我们的大小单双倍投公式的使用。最后,我们介绍了一种用于学习分布族的新型数据驱动框架。
translated by 谷歌翻译
文本分类是自然语言处理中研究最广泛的任务之一。在组合性原理的推动下,为了有效地利用组成表达式,已经采用大型多层神经网络大小单双倍投公式来完成该任务。几乎所有报告的工作都使用歧视性方法训练大型网络,这些方法伴随着没有适当容量控制的acaveat,因为它们倾向于锁定任何可能无法概括的信号。使用各种最新的最先进的方法进行分类,我们探索这些大小单双倍投公式是否真正学会组合句子的意义,或者仅仅关注一些关键词或词典来对文档进行分类。为了验证我们的假设,我们仔细构建了数据集,其中训练和测试分裂没有直接重叠这些复合词,但整体语言结构将是相似的。我们研究了各种文本分类器,并观察到这些分类器的性能下降很大。最后,我们表明,即使是简单的大小单双倍投公式,我们提出的规范化技术,可以抑制对关键词典的关注,也可以显着提高分类准确性。
translated by 谷歌翻译
我们研究了为\ emph {sets}定义的机器学习任务的大小单双倍投公式设计问题。与在固定维向量上操作的传统方法相比,我们考虑在不同于排列的集合上定义的目标函数。这些问题很普遍,包括对人口统计数据的估计,以及堤坝的压力计数据中的异常检测\引用{Jung15Exploration},tocosmology \ cite {Ntampaka16Dynamical,Ravanbakhsh16ICML1}。我们的主要定理描述了置换不变函数,并提供了任何置换不变目标函数必须属于的族函数。这个函数族具有一种特殊的结构,使我们能够设计出可以在集合上运行且可以在各种上部署的陡峭网络体系结构。场景包括无监督和有监督的学习任务。我们还得出了深部大小单双倍投公式中置换等变性的充分必要条件。我们证明了我们的方法在人口统计估计,点云分类,集合扩展和异常检测方面的适用性。
translated by 谷歌翻译