随机块大小单双倍投公式(SBM)及其变体,例如$,混合成员和重叠随机块大小单双倍投公式,是基于潜变量的图的生成大小单双倍投公式。事实证明,它们可以成功完成各种任务,例如在图形结构数据上发现社区结构和链接预测。最近,通过利用诸如局域性和不变性之类的图形属性,图形神经网络,例如$,图形卷积网络,也已成为一种有前景的方法,用于学习图形中节点的强大表示(嵌入)。在这项工作中,我们通过为图形开发\ emph {稀疏}变量自动编码器来统一这两个方向,这保留了SBM的可解释性,同时还享有图神经网络的出色预测性能。此外,我们的框架伴随着快速识别大小单双倍投公式,可以快速推断节点嵌入(这对于SBM及其变体的推断具有独立的意义)。虽然我们为特定类型的SBM开发了这个框架,即\ emph {重叠}随机块大小单双倍投公式,所提出的框架可以适用于其他类型的SBM。几个基准测试的实验结果证明了在链接预测方面的令人鼓舞的结果,同时学习了可用于社区发现的可解释的潜在结构。
translated by 谷歌翻译
虽然卷积神经网络(CNN)在各种分类/识别任务上取得了令人瞩目的成绩,但它们通常包含大量参数。这导致显着的存储器需求以及计算开销。因此,需要用于压缩基于CNN的大小单双倍投公式的过滤器级修剪方法,这不仅减少了参数的总数,而且还减少了整体计算。我们提出了一个新的min-max框架,用于CNN的过滤级修剪。我们的框架,称为Play和Prune(PP),通过自适应修剪,共同修剪和微调CNN大小单双倍投公式参数,同时保持大小单双倍投公式的预测性能。我们的框架由两个模块组成:(1)自适应滤波器修剪(AFP)模块,它最大限度地减少了大小单双倍投公式中滤波器的数量; (2)修剪率控制器(PRC)模块,其在修剪期间最大化精确度。此外,与以前的方法不同,我们的方法允许直接指定欲望差异而不是修剪级别。我们的压缩模??型可以在运行时进行部署,无需任何特殊的库或硬件。我们的方法减少了VGG-16的参数数量,令人印象深刻的因子为17.5倍,FLOPS的数量减少了6.43倍,没有精度损失,显着优于其他最先进的滤波器修剪方法。
translated by 谷歌翻译
大小单双倍投公式 许多应用程序(例如文本建模,高通量排序和重新命令系统)需要分析稀疏,高维和过度分散的离散(计数/二进制)数据。由于具有处理高维和稀疏离散数据的能力,基于概率矩阵因子化和潜在因子分析的大小单双倍投公式在模拟这些数据方面取得了巨大成功。其中特别感兴趣的是分层贝叶斯计数/二元矩阵因子分解大小单双倍投公式和基于深度神经网络的非线性潜变量大小单双倍投公式,例如最近提出的用于离散数据的变换编码器。然而,与对稀疏性和高维性的广泛研究不同,大规模离散数据表现出的另一个重要现象 - 过度离散,相对较少研究。可以看出,大多数现有潜在因子大小单双倍投公式由于它们对自激和交叉激励(例如,文本中的单词突发性)建模的无效性而不能正确地捕获过度离散的独立数据,这可能导致较差的大小单双倍投公式性能。在本文中,我们提供了一个深入的分析,如何在现有大小单双倍投公式中建模自激和交叉激励,并提出一个新的变分自动编码器框架,它能够明确地捕获自激和更好的大小单双倍投公式交叉激励。我们的大小单双倍投公式构造最初设计用于具有负二项式数据分布的计数值观测(以及具有狄利克雷多项式分布的等效表示),并且它还通过链接函数无缝地扩展到二值观测值到伯努利分布。来证明有效性。在我们的框架中,我们对大型词袋语料库和协同过滤数据集进行了广泛的实验,其中所提出的大小单双倍投公式实现了最先进的结果。
translated by 谷歌翻译
我们提出了基于草图的图像检索(SBIR)的概率大小单双倍投公式,其中,在检索时,我们给出了来自新类的草图,这些草图在训练时不存在。现有的SBIR方法,其中大多数依赖于草图和图像之间的学习分类对应关系,通常仅适用于先前看到的草图类,并且导致新类的检索性能差。为了解决这个问题,我们提出了一种生成大小单双倍投公式,它可以学习生成图像,并以给定的新类草图为条件。这使我们能够将SBIR问题减少到标准的图像到图像搜索问题。我们的大小单双倍投公式基于基于逆自回归流的变分自动编码器,具有反馈机制以确保稳健的图像生成。我们在两个非常具有挑战性的数据集Sketchy和TU Berlin上评估我们的大小单双倍投公式,并进行了新的列车测试分割。所提出的方法显着优于两个数据集上的各种基线。
translated by 谷歌翻译
我们提出了一种新颖的深度学习体系结构,其中卷积操作利用了异构内核。与标准卷积运算相比,所提出的HetConv(基于异构内核的卷积)减少了计算(FLOP)和参数的数量,同时仍然保持了表示效率。为了显示我们提出的卷积的有效性,我们在标准卷积神经网络(CNN)架构上提供了大量的实验结果,例如VGG \ cite {vgg2014very}和ResNet \ cite {resnet}。我们发现在用我们提出的HetConv滤波器替换这些架构中的标准卷积滤波器后,我们实现了基于3X到8X FLOP的速度提升,同时仍然保持(有时提高)精度。我们还将我们提出的对比与组/深度方式的卷积进行比较,并表明它以更高的准确度实现了更多的FLOP减少。
translated by 谷歌翻译
在当今大数据分析曙光时代的数字时代,不是信息,而是通过实体和行动来联系信息,从而决定话语。互联网上的任何文本数据(如报纸数据,维基百科转储等)基本上都是连接信息,不能因其健康的语义而被孤立。需要具有适当信息提取的自动检索过程以构建用于相关和快速文本分析的数据。第一个重大挑战是将非结构化文本数据转换为结构化数据。与其他数据库不同,图形数据库可以优雅地处理关系和连接。我们的项目旨在开发基于图形的信息提取和检索系统。
translated by 谷歌翻译
我们提出了一种基于滤波器相关的深度卷积神经网络大小单双倍投公式压缩方法。我们的方法迭代地识别具有最大成对相关性的成对过滤器,并丢弃这样的对中的一个过滤器。然而,我们进一步优化大小单双倍投公式,使得这对中的两个滤波器尽可能高度相关,而不是从这些对中丢弃其中一个滤波器,这样就不会丢弃其中一个滤波器。在每轮丢弃过滤器之后,我们进一步微调大小单双倍投公式以从压缩产生的潜在小损失中恢复。我们使用一套全面的实验和消融研究来评估我们提出的方法。我们的压缩方法产生状态 - 最先进的FLOP压缩率在各种基准测试中,如LeNet-5,VGG-16和ResNet-50,56,它们仍然可以为基准数据集上的物体检测等任务实现出色的预测性能。
translated by 谷歌翻译
彩色图形是有向图形,其中节点或边缘已经分配了不一定唯一的颜色。这些图中的可观察性问题涉及观察图中路径上遍历的边缘或节点颜色的代理是否可以确定它们当前在哪个节点或者它们在路径遍历中较早访问过哪些节点。以前的研究工作已经确定了几种不同的概念。 ofobservability以及彩色图的相关属性,其中可观察属性的类型保持不变。本文将先前的工作统一到一个通用框架,其中包含几个关于这些概念和相关图形属性之间关系的新分析结果。新框架提供了一种直观的方法来推断可达到的路径重建精度作为滞后和观察时间的函数,并确定改进给定图形的可观察性属性的简单修改。这一观点在一系列数值实验中得到证实。这项工作对于可以用代理遍历彩色图形描述的问题进行了描述,包括隐藏马尔科夫大小单双倍投公式(HMM)中隐藏状态的重建。
translated by 谷歌翻译
本研究提出了一种多模态机器学习大小单双倍投公式来预测ICD-10诊断代码。我们开发了独立的机器学习大小单双倍投公式,可以处理来自不同模态的数据,包括非结构化文本,半结构化文本和结构化表格数据。我们进一步采用集成方法集成所有模态特定大小单双倍投公式以生成ICD-10代码。还提取了关键证据,使我们的预测更具说服力和可解释性。我们使用医疗信息市场进行重症监护III(MIMIC-III)数据集来验证我们的方法。对于ICD代码预测,我们表现最佳的大小单双倍投公式(micro-F1 = 0.7633,micro-AUC = 0.9541)明显优于其他基线大小单双倍投公式,包括TF-IDF(micro-F1 = 0.6721,micro-AUC = 0.7879)和Text-CNN大小单双倍投公式(micro -F1 = 0.6569,micro-AUC = 0.9235)。为了解释性,我们的方法在textdata上实现了0.1806的Jaccard相似系数(JSC),在表格数据上实现了0.3105,其中训练有素的医生分别达到0.2780和0.5002。
translated by 谷歌翻译
自主的网络物理代理和系统在我们的生活中发挥着越来越大的作用。为了确保代理人的行为符合他们所在社会的价值观,我们必须开发出一些技术,使这些代理人不仅可以在环境中最大化他们的奖励,而且还可以容忍并遵循社会的隐含约束。这些约束和规范可以来自任何数量的来源,包括法规,业务流程指南,法律,道德原则,社会规范和道德价值。我们详细介绍了一种新方法,它使用逆强化学习从任务演示中学习一组未指明的约束,和学习以学习最大化环境奖励。更准确地说,我们假设一个代理人可以观察到社会成员的行为痕迹,但却无法获得明确的约束条件,从而使观察到的行为成为可能。逆向强化学习用于学习这样的约束,然后通过使用基于上下文的基于强项的协调器与可能正交的值函数相结合,该协调器在采取行动时在两个策略(基于约束的基于环境奖励)之间选择适当的选择。 。语境监督者允许代理人以新颖的方式混合政策,从奖励最大化或限制政策中获取最佳反应。此外,协调器在每个时间步都采用哪种策略是透明的。我们使用Pac-Man域测试我们的算法,并证明代理能够学会最佳地行动,在所展示的约束内行动,并以复杂的方式混合这两个函数。
translated by 谷歌翻译