我们在偏微分方程(PDE)约束逆问题的背景下提出了深度生成大小单双倍投公式的应用。我们结合了表示创建地下地质结构及其岩石物理特性的先验大小单双倍投公式的代表性对抗网络(GAN),以及PDE的数值解决方案,用于控制地球内部的声波传播。我们使用近似大都会调整的Langevin算法(MALA)进行贝叶斯反演,从后验给定的地震观测中进行采样。通过求解声波方程的伴随来获得关于控制前向问题的大小单双倍投公式参数的梯度。通过利用用于表示生成大小单双倍投公式的深度神经网络的可微分性质来获得关于该变量的不匹配的梯度。我们表明,近似的MALA采样允许从由深度生成大小单双倍投公式表示的先验获得的大小单双倍投公式参数的有效贝叶斯反演,获得反映观察到的地震响应的多种实现。
translated by 谷歌翻译
我们研究人工神经网络作为数值模拟中的参数化工具forstochastic输入。我们从模拟数据生成过程的角度讨论参数化,而不是明确地构造参数形式以保留数据的预定义统计数据。这是通过训练神经网络使用最近的深度学习技术(称为生成对称)从数据分布生成样本来完成的。网络。通过模拟数据生成过程,可以复制数据的相关统计信息。该方法在地下流动问题中进行评估,其中地下特性的有效参数化如渗透率是重要的,因为高维度和高空间相关性的存在。我们实验二元信道化地下渗透率的实现,并进行不确定性量化和参数估计。结果表明,使用生成对偶网络的参数化在保持视觉真实性以及流量响应的高阶统计量方面非常有效,同时实现了两个数量级的维数减少。
translated by 谷歌翻译
关于历史匹配的文献是巨大的,尽管提出了许多令人印象深刻的方法,并且在上一个十年中报告了重大进展,但将油藏大小单双倍投公式调整为动态数据仍然是一个具有挑战性的任务。基于集合的方法是目前可用于历史匹配的最成功和最有效的技术之一。这些方法通常可以实现合理的数据匹配,特别是如果采用迭代公式。然而,它们有时无法保持大小单双倍投公式的地质现实性,这在具有复杂相分布的储层中尤为明显。这主要是因为这些方法中固有的高斯假设。这一事实鼓励了一项激烈的研究活动,以开发相历史匹配的参数化。尽管有大量的出版物,但相的稳健参数化的发展仍然是一个开放的问题。深度学习技术已经在许多不同领域取得了令人瞩目的成果,数据同化ingeoscience的第一批应用已经开始出现在文献中。本文报道了我们对深度神经网络使用的研究的当前结果,建立了可以用集合方法进行数据同化的相的连续参数化。具体来说,我们使用aconvolutional变分自动编码器和使用multipledata同化的集合平滑器。我们测试了三个具有信道化相的合成历史匹配问题的参数化。我们关注这种类型的异常,因为它们是在数据同化后保留的最具挑战性的。参数化显示出有希望的结果,优于以前的方法并产生明确定义的信道化相。
translated by 谷歌翻译
Probabilistic inversion within a multiple-point statistics framework is often com-putationally prohibitive for high-dimensional problems. To partly address this, we introduce and evaluate a new training-image based inversion approach for complex geologic media. Our approach relies on a deep neural network of the generative adversarial network (GAN) type. After training using a training image (TI), our proposed spatial GAN (SGAN) can quickly generate 2D and 3D unconditional real-izations. A key characteristic of our SGAN is that it defines a (very) low-dimensional parameterization, thereby allowing for efficient probabilistic inversion using state-of-the-art Markov chain Monte Carlo (MCMC) methods. In addition, available direct conditioning data can be incorporated within the inversion. Several 2D and 3D categorical TIs are first used to analyze the performance of our SGAN for unconditional geostatistical simulation. Training our deep network can take several hours. After training, realizations containing a few millions of pixels/voxels can be produced in a matter of seconds. This makes it especially useful for simulating many thousands of realizations (e.g., for MCMC inversion) as the relative cost of the training per realization diminishes with the considered number of realizations. Synthetic inversion case studies involving 2D steady-state flow and 3D transient hydraulic tomography with and without direct conditioning data are used to illustrate the effectiveness of our proposed SGAN-based inversion. For the 2D case, the inversion rapidly explores the posterior model distribution. For the 3D case, the inversion recovers model realizations that fit the data close to the target level and visually resemble the true model well.
translated by 谷歌翻译
基于主成分分析(PCA)和卷积神经网络(CNN)的新的低维参数化被开发用于表示复杂地质大小单双倍投公式。 CNN-PCA方法的灵感来自于使用深度学习的计算机视觉的最新发展。 CNN-PCA可被视为现有基于优化的PCA(O-PCA)方法的概括。 CNN-PCA和O-PCAentail都对PCA大小单双倍投公式进行后处理以更好地支持复杂的地质特征。在CNN-PCA中,不是像O-PCA那样使用基于直方图的正则化,而是涉及多点统计的一组度量的新的规则化isintroduced。度量基于地质大小单双倍投公式对预训练的深CNN的非线性滤波器响应的汇总统计。此外,在此处介绍的CNN-PCA公式中,卷积神经网络被训练为显式变换函数,可以快速后处理PCA大小单双倍投公式.CNN-PCA显示提供无条件和条件实现,以尊重参考SGeMS中存在的地质特征二进制信道化系统的地统计实现。通过模拟随机CNN-PCA大小单双倍投公式获得的流量统计数据与随机SGeMS大小单双倍投公式的结果非常匹配,以满足O-PCA大小单双倍投公式导致显着差异的严苛要求。还提供了历史匹配的结果。在该评估中,CNN-PCA应用无导数优化,并且子空间随机化最大似然法用于提供多个后验大小单双倍投公式。现有井实现了数据同化和显着的不确定性降低,并且还获得了新井的物理合理预测。最后,CNN-PCA方法扩展到更复杂的非固定双峰三角形扇形系统,并且显示出为这个具有挑战性的例子提供高质量的实现。
translated by 谷歌翻译
我们提出了一种概率深度学习方法,可以构建随机系统的预测数据驱动的替代方法。利用隐式分布的变分推理的最新进展,我们提出了一个统计推断框架,可以对配对输入的替代大小单双倍投公式进行端到端的训练。输出观察可能是随机的,源于可变保真度的不同信息源,或者被复杂的噪声过程破坏。由此产生的结果可以容纳高维输入和输出,并且能够以量化的不确定性返回预测。通过一系列规范研究证明了我们的方法的有效性,包括噪声数据的回归,随机过程的多保真建模和高维动力系统中的不确定性传播。
translated by 谷歌翻译
地球物理建模中的一个基本问题与物理过程中因果结构的识别和近似有关。然而,解决物理参数和大小单双倍投公式状态变量之间的双向映射(即解决前向和反向问题)具有挑战性,特别是当参数维度较高时。深度学习为知识表示和复杂的模式识别打开了一扇新的大门。特别是,最近引入的生成对抗网络(GAN)在学习图像翻译的跨域映射方面具有很强的前景。本研究提出了一种状态参数识别GAN(SPID-GAN),用于同时学习高维参数空间与相应大小单双倍投公式状态空间之间的双向映射.SPID-GAN使用来自子表面流动建模的一系列代表性问题进行了演示。结果表明,SPID-GAN在识别双向状态参数映射方面取得了令人满意的性能,为广泛的复杂地球物理问题提供了一种新的基于深度学习的知识表示范式。
translated by 谷歌翻译
我们将来自深度神经网络和近似贝叶斯推理的思想结合起来,得出一个广义的深度定向生成大小单双倍投公式,赋予了可扩展推理和学习的新算法。我们的算法引入了识别大小单双倍投公式来表示近似后验分布,并且它作为数据的随机编码器。我们开发了随机反向传播 - 通过随机变量进行反向传播的规则 - 并使用它来开发一种算法,允许联合优化生成和识别大小单双倍投公式的参数。我们演示了几个真实世界的数据集,大小单双倍投公式生成了真实的样本,提供了对缺失数据的准确估算,是高维数据可视化的有用工具。
translated by 谷歌翻译
PDE系统的替代建模和不确定性量化任务通常被认为是监督学习问题,其中输入和输出数据对用于训练。这种仿真器的构造是通过定义一个小数据问题,这对于已经开发用于在大数据机制中运行的深度学习方法提出了挑战。即使已经证明这些大小单双倍投公式在高维度上具有良好的预测能力,它们也无法解决由PD大小单双倍投公式隐含的数据中的约束。本文提供了一种方法,将损失/可能性函数中的物理大小单双倍投公式的管理方程结合起来。得到的物理学约束的深度学习大小单双倍投公式在没有任何标记数据的情况下进行训练(例如仅使用输入数据),并且在遵守手头问题的约束的同时提供与数据驱动大小单双倍投公式的可比较的预测响应。这项工作采用卷积编码器 - 解码器神经网络方法以及基于条件流的生成大小单双倍投公式,用于解决偏微分方程,替代大小单双倍投公式构建和不确定性量化任务。方法论被认为是大小单双倍投公式预测密度与参考条件密度之间的反向Kullback-Leibler(KL)偏差的最小化问题,其中后者被定义为给定逆温度下的玻尔兹曼 - 吉布斯分布,其具有与PDE系统相关的潜在电位。出于兴趣。考虑这些大小单双倍投公式对分布外输入的泛化能力。针对许多问题提供了预测不确定性的量化和解释。
translated by 谷歌翻译
我们提出了一个深度学习框架,用于使用物理学知情神经网络对由非线性微分方程控制的系统进行量化和传播不确定性。具体而言,我们采用潜变量大小单双倍投公式来构建系统状态的概率表示,并输出用于训练数据的对抗推理程序,同时约束它们的预测以满足由部分微分方程表示的给定物理定律。这种物理知识约束提供了集成机制,用于有效地训练物理系统的深度生成大小单双倍投公式,其中数据获取的成本高,并且训练数据集通常很小。这提供了一个灵活的框架,用于表征物理系统输出中的不确定性,因为它们的输入中的随机性或观察中的噪声完全超过了重复采样昂贵的实验或数字模拟器的需要。我们通过一系列涉及非线性守恒定律中不确定性传播的例子证明了我们方法的有效性,并且发现了直接从噪声数据流过多孔介质的本构法则。
translated by 谷歌翻译
替代策略广泛用于地下水大小单双倍投公式的不确定性量化,以提高计算效率。然而,动态多相流问题的应用受到维度的诅咒,毛细管效应引起的饱和不连续性以及多输出响应的时间依赖性的阻碍。在本文中,我们提出了一种非常卷积的编码器 - 解码器神经网络方法来解决这些问题。代理建模任务转换为图像到图像的回归策略。该方法使用编码器从高维输入渗透率图像中提取高级粗糙特征,然后通过编码器细化粗糙特征以提供输出压力/饱和度图像。为了更好地逼近不连续饱和场,提出了一种结合回归损失和分段损耗的训练策略。为了表征动态系统的高维时间相关输出,时间被视为网络的附加输入,该输入使用成对的输入实现和在有限数量的时间实例处的相应系统输出来训练。使用具有2500维随机渗透率场的基于地质碳储存过程的多相流大小单双倍投公式来评估所提出的方法。通过相对较少数量的训练数据,替代大小单双倍投公式能够准确地表征压力和不连续CO2饱和场的时空演变,并且可以有效地用于计算系统响应的统计。
translated by 谷歌翻译
观测宇宙最有希望的方法之一是通过射电望远镜探测宇宙中性氢(HI)的21cm发射。只有在可获得准确的理论预测时,这些观测才能揭示基本的天体物理问题。为了最大化这些调查的科学回报,这些预测需要包括不同的可观测量,并且在非线性尺度上是精确的。目前,实现这一目标的最佳方法之一是通过宇宙流体动力学模拟;然而,这些模拟的计算成本很高 - 数以千万计的CPU时间。在这项工作中,我们使用Wasserstein生成对抗网络(WGAN)在$ z = 5 $生成新的高分辨率($ 35~h ^ { - 1} {\ rm kpc} $)3D实现。我们通过从发生器学习的100维流形进行采样,从最先进的模拟IllustrisTNG中表征宇宙HI的完全非线性丰度和聚类。确认所生成样本的不同统计特性 - 一维PDF,功率谱,双谱和空隙大小函数 - 与IlustrisTNG非常匹配,并且优于Halo OccupationDistributions(HOD)等最先进的大小单双倍投公式。我们的WGAN样品重现了9个数量级的HI丰度,从Ly $ \ alpha $森林到Damped Lyman吸收器。 WGANcan生成的新样本比流体动力学模拟快几个数量级。
translated by 谷歌翻译
我们提出了一种用于学习潜变量生成大小单双倍投公式viagenerative对抗性学习的算法,其中规范的均匀噪声输入被来自图形大小单双倍投公式的样本替换。该图形大小单双倍投公式由Boltzmann机器学习,该机器学习由鉴别器提取的数据的低维特征表示。量子退火炉D-Wave 2000Q用于从该大小单双倍投公式中取样。该算法加入了在深度学习中使用量子退火子程序的不断增长的算法族,并提供了框架来测试量子辅助学习在GAN中的优势。对于经典和定量采样方法,在引入的随机二值化MNIST数据集上比较完全连接的,对称的二分和奇美拉图形拓扑。量子辅助关联对抗网络成功地学习了用于所有拓扑的MNIST数据集的生成大小单双倍投公式,并且还应用于用于Chimera拓扑的LSUN数据集卧室类。使用Fr \'{e} chet起始距离和理论得分进行评估,发现该算法的量子和经典版本具有用于学习MNIST数据集的隐式生成大小单双倍投公式的等效性能。
translated by 谷歌翻译
地球物理反演试图通过在地表或其上方收集的观测来估计地球内部物理性质的分布。反问题通常被认为是高维参数空间中的最小二乘优化问题。现有方法主要基于确定性的基于梯度的方法,这些方法受到逆问题的非线性和非唯一性的限制。概率反演方法虽然在不确定性量化方面具有巨大潜力,但仍然是一项艰巨的计算任务。在本文中,我探讨了电磁反演的深度学习方法的潜力。该方法不需要计算梯度并立即提供结果。基于完全卷积结构的Deepneural网络在通过完整的3-D模拟获得的大型合成数据集上进行训练。该方法的性能在强有力的实际相关性大小单双倍投公式上得到了证明,该大小单双倍投公式代表了海岸控制的源电磁CO2监测方案。经过预先训练的网络可以可靠地估计异常的位置和横向尺寸,以及它们的电阻率特性。几个完全卷积的网络架构在准确性,概括性和培训成本方面进行了比较。具有不同测量几何和噪声水平的示例证实了深度学习反演的可行性,从而开启了在实时时间内估计地下电阻率分布的可能性。
translated by 谷歌翻译
大小单双倍投公式 This thesis describes the Generative Topographic Mapping (GTM) | a non-linear latent variable model, intended for modelling continuous, intrinsically low-dimensional probability distributions, embedded in high-dimensional spaces. It can be seen as a non-linear form of principal component analysis or factor analysis. It also provides a principled alternative to the self-organizing map | a widely established neural network model for unsupervised learning | resolving many of its associated theoretical problems. An important, potential application of the GTM is visualization of high-dimensional data. Since the GTM is non-linear, the relationship between data and its visual representation may be far from trivial, but a better understanding of this relationship can be gained by computing the so-called magniication factor. In essence, the magniication factor relates the distances between data points, as they appear when visualized, to the actual distances between those data points. There are two principal limitations of the basic GTM model. The computational eeort required will grow exponentially with the intrinsic dimensionality of the density model. However, if the intended application is visualization, this will typically not be a problem. The other limitation is the inherent structure of the GTM, which makes it most suitable for modelling moderately curved probability distributions of approximately rectangular shape. When the target distribution is very diierent to that, the aim of maintaining anìnterpretable' structure, suitable for visualizing data, may come in connict with the aim of providing a good density model. The fact that the GTM is a probabilistic model means that results from probability theory and statistics can be used to address problems such as model complexity. Furthermore, this framework provides solid ground for extending the GTM to wider contexts than that of this thesis.
translated by 谷歌翻译
Implicit models, which allow for the generation of samples but not for point-wise evaluation of probabilities, are omnipresent in real-world problems tackled by machine learning and a hot topic of current research. Some examples include data simulators that are widely used in engineering and scientific research, generative adversarial networks (GANs) for image synthesis, and hot-off-the-press approximate inference techniques relying on implicit distributions. The majority of existing approaches to learning implicit models rely on approximating the intractable distribution or optimisation objective for gradient-based optimisation, which is liable to produce inaccurate updates and thus poor models. This paper alleviates the need for such approximations by proposing the Stein gradient estimator, which directly estimates the score function of the implicitly defined distribution. The efficacy of the proposed estimator is empirically demonstrated by examples that include gradient-free MCMC, meta-learning for approximate inference and entropy regularised GANs that provide improved sample diversity.
translated by 谷歌翻译
The Gaussian process latent variable model (GP-LVM) provides a flexible approach for non-linear dimensionality reduction that has been widely applied. However, the current approach for training GP-LVMs is based on maximum likelihood, where the latent projection variables are maximised over rather than integrated out. In this paper we present a Bayesian method for training GP-LVMs by introducing a non-standard variational inference framework that allows to approximately integrate out the latent variables and subsequently train a GP-LVM by maximising an analytic lower bound on the exact marginal likelihood. We apply this method for learning a GP-LVM from i.i.d. observations and for learning non-linear dynamical systems where the observations are temporally correlated. We show that a benefit of the variational Bayesian procedure is its robustness to overfitting and its ability to automatically select the dimensionality of the non-linear latent space. The resulting framework is generic, flexible and easy to extend for other purposes, such as Gaussian process regression with uncertain or partially missing inputs. We demonstrate our method on synthetic data and standard machine learning benchmarks, as well as challenging real world datasets, including high resolution video data.
translated by 谷歌翻译
声学数据提供从生物学和通信到海洋和地球科学等领域的科学和工程见解。我们调查了机器学习(ML)的进步和变革潜力,包括声学领域的深度学习。 ML是用于自动检测和利用模式印度的广泛的统计技术家族。相对于传统的声学和信号处理,ML是数据驱动的。给定足够的训练数据,ML可以发现特征之间的复杂关系。通过大量的训练数据,ML candiscover大小单双倍投公式描述复杂的声学现象,如人类语音和混响。声学中的ML正在迅速发展,具有令人瞩目的成果和未来的重大前景。我们首先介绍ML,然后在五个声学研究领域强调MLdevelopments:语音处理中的源定位,海洋声学中的源定位,生物声学,地震探测和日常场景中的环境声音。
translated by 谷歌翻译
通过简单聚类算法或深度神经网络架构的生成大小单双倍投公式已经被开发为用于降维或用于模拟数据结构的基础属性的概率估计方法。虽然它们的明显用途主要局限于图像识别和分类,但生成机器学习算法可以成为旅行行为研究的有力工具。在本文中,我们研究了用于分析多个离散连续(MDC)旅行行为数据的生成机器学习方法,以理解潜在的异质性和相关性,从而增加这种旅行行为大小单双倍投公式的代表性能力。我们通过信息熵和变分贝叶斯推理表明,生成大小单双倍投公式在概念上类似于选择选择行为过程。具体来说,我们考虑一种基于限制Boltzmann机(RBM)的算法,该算法具有多个离散连续层,被公式化为变分贝叶斯推理优化问题。我们系统地描述了所提出的机器学习算法,并开发了一个从生成学习角度分析行为行为数据的过程。我们通过大小单双倍投公式分析和模拟测试显示了具有多个离散连续维度和293,330个观测值的开放数据集的参数。对于可解释性,我们推导出条件概率和弹性的分析方法。我们的结果表明,生成大小单双倍投公式中的潜在变量可以准确地表示联合分布,即多重离散连续变量。最后,我们表明我们的大小单双倍投公式可以生成与旅行预测和预测相似的数据分布。
translated by 谷歌翻译
Generative adversarial networks (GANs) provide a way to learn deeprepresentations without extensively annotated training data. They achieve thisthrough deriving backpropagation signals through a competitive processinvolving a pair of networks. The representations that can be learned by GANsmay be used in a variety of applications, including image synthesis, semanticimage editing, style transfer, image super-resolution and classification. Theaim of this review paper is to provide an overview of GANs for the signalprocessing community, drawing on familiar analogies and concepts wherepossible. In addition to identifying different methods for training andconstructing GANs, we also point to remaining challenges in their theory andapplication.
translated by 谷歌翻译