石油物探  2022, Vol. 61 Issue (2): 236-244, 320  DOI: 10.3969/j.issn.1000-1441.2022.02.005
0
文章快速检索     高级检索

引用本文 

杨久强, 林年添, 张凯, 等. 深度神经网络模型超参数选取及评价研究——以含油气性多波地震响应特征提取为例[J]. 石油物探, 2022, 61(2): 236-244. DOI: 10.3969/j.issn.1000-1441.2022.02.005.
YANG Jiuqiang, LIN Niantian, ZHANG Kai, et al. Hyperparametric selection and evaluation of deep neural network models: A case study of feature extraction of multi-wave seismic response in an oil-gas reservoir[J]. Geophysical Prospecting for Petroleum, 2022, 61(2): 236-244. DOI: 10.3969/j.issn.1000-1441.2022.02.005.

基金项目

山东省自然科学基金项目(ZR202103050722)和国家自然科学基金项目(41174098,41374126)共同资助

第一作者简介

杨久强(1997—), 男, 博士在读, 主要从事地震勘探理论及地震反演等方面的研究工作。Email: jiuqiangyang@qq.com

通信作者

林年添(1962—), 男, 博士, 教授, 主要从事地震信号处理、成像、反演方法及地质与地球物理综合研究工作。Email: linnt@sdust.edu.cn

文章历史

收稿日期:2021-07-27
深度神经网络模型超参数选取及评价研究——以含油气性多波地震响应特征提取为例
杨久强1, 林年添1, 张凯1, 田高鹏2, 崔岩1    
1. 山东科技大学地球科学与工程学院, 山东青岛 266590;
2. 核工业湖州勘测规划设计研究院股份有限公司, 浙江湖州 313000
摘要:深度神经网络通过分析由不同地质和地球物理来源获得的数据之间的相关性确定油气储层特征, 从而开展地震油气储层分布预测。经过适当的训练, 深度神经网络可以通过识别与样本数据相关的复杂非线性关系来预测油气储层性质, 然而目前仍缺少深度神经网络超参数的选取对地震油气藏分布预测结果影响的系统性研究。为此, 在分析深度神经网络隐含层数目、隐含层节点数及激活函数的基础上, 探讨了深度神经网络模型超参数选取对含油气性多波地震响应特征提取结果的影响, 并利用多种评价指标对不同网络结构模型的性能进行了对比。结果表明, 深度神经网络隐含层数目等超参数的选取会影响地震油气藏分布范围的预测精度; 同时, 深度神经网络在参数选取满足精度要求(即均方误差MSE小于0.001)的情况下, 可以取得良好的预测结果, 从而验证了深度神经网络用于含油气性多波地震响应特征提取的有效性和可行性。
关键词多波地震数据    深度神经网络    超参数选取    模型评价    特征提取    油气藏分布预测    
Hyperparametric selection and evaluation of deep neural network models: A case study of feature extraction of multi-wave seismic response in an oil-gas reservoir
YANG Jiuqiang1, LIN Niantian1, ZHANG Kai1, TIAN Gaopeng2, CUI Yan1    
1. College of Geological Sciences & Engineering, Shandong University of Science and Technology, Qingdao 266590, China;
2. Nuclear Industry Huzhou Engineering Survey Institute Co., Ltd., Huzhou 313000, China
Abstract: The main purpose of applying deep neural networks(DNNs) to seismic oil and gas reservoir distribution prediction is to determine the characteristics of oil and gas reservoirs by analyzing the correlation between data obtained from different geological and geophysical sources.With proper training, a DNN can predict reservoir properties by identifying complex nonlinear relationships associated with the sample data.However, there is still a lack of systematic analysis on the influence of hyperparameter selection of DNNs on reservoir prediction.Therefore, based on the number of hidden layers, number of nodes in hidden layers, and activation function of DNN, the influence of hyperparameter selection of the DNN model on the extraction of oil and gas reservoir characteristics was discussed, and the performances of different network structure models were compared using various evaluation indexes.The results showed that the selection of hyperparameters(such as the number of hidden layers) could affect the prediction accuracy of the oil and gas reservoir boundary distribution.In addition, the DNN model can achieve good prediction results when the parameter selection meets the accuracy requirements(i.e., MSE is less than 0.001), which verifies the effectiveness and feasibility of DNN in seismic reservoir characteristics extraction.This research result is helpful in creating a better configuration scheme when applying neural networks to other datasets in the future.
Keywords: multicomponent composite attribute    deep neural network    hyperparameter selection    model evaluation    characteristic extraction    oil and gas reservoir boundary distribution prediction    

机器学习因其具有自适应、自学习和自组织能力, 在油气地震勘探领域得到广泛应用。目前主要的机器学习方法有聚类分析[1-2]、遗传算法[3-4]、模糊理论[5-6]、支持向量机[7-9]、深度学习[10-12]等。此外, 人工神经网络在油气藏预测方面也发挥了重要的作用[13-14]。人工神经网络应用于油气储层分布地震预测的主要目的是通过其非线性拟合能力分析由不同地质和地球物理来源获得的数据之间的相关性, 以实现利用已知信息获取未知区域油气储层地震信息。

人工神经网络技术最早由MCCULLOCH等[15]提出。20世纪80年代, 人工神经网络技术逐渐应用到物探领域, 起初用于求解地震反演问题[16]。由于人工神经网络具有响应快、拟合能力强等特点, 被逐渐应用于储层预测[17-21]。ABDULAZIZ等[22]利用测井数据和地震属性资料通过神经网络进行了油气储层质量预测。王俊等[23]通过门控循环单元神经网络预测储层孔渗饱参数。为了解决传统的单层神经网络算法在训练过程中存在的收敛速度较慢、网络不收敛等问题, HINTON等[24]提出了多层前馈神经网络, 即深度学习。深度神经网络含有多个隐含层, 具有强大的自主学习能力, 经过不断学习取得的特征更能体现数据的本质。林年添等[25]以地震数据为驱动, 借助深度神经网络智能提取、分类并识别地震油气特征。GAO等[26]通过一种深度神经网络与迁移学习相结合的方法进行了气藏识别。

深度神经网络可以映射数据间复杂的非线性关系, 并且具有很强的鲁棒性。在油气藏分布地震预测中, 能够很好地反映样本与样点之间的关系, 提高地震油气藏分布的刻画精度。深度神经网络的性能可以通过超参数选取确定, 超参数是指在构建深度神经网络时需要确定的网络结构参数等, 这些参数的设置是在神经网络训练开始之前, 而不是在网络训练过程中得到(如权值、偏置等)[27-28]。超参数有很多, 如隐藏层的数目、神经元节点数、激活函数、优化算法、损失函数等。不同的超参数对网络模型的影响不同, 有的会影响网络预测结果的精度, 有的会影响网络的计算效率[29-30]。为了探讨深度神经网络超参数的取值对模型性能的影响, 本文以气藏多波地震响应特征提取为例, 研究了超参数的取值对油气藏分布边界的刻画精度的影响, 为寻找深度神经网络超参数最优配置方案提供思路。

1 理论基础 1.1 深度神经网络

深度神经网络(deep neural network, DNN)是一种利用误差反向传播算法训练的多层神经网络, 可以从原始数据中逐步提取更高层次的特征[31]。该网络共包含3个部分, 如图 1所示, 其中, 隐含层的数目不固定, 具有3个及以上隐含层的神经网络称为深度神经网络(亦称多层神经网络)。深度神经网络在训练过程中包括两个过程, 即信号前向传播过程和误差反向传播过程。在前向传播过程中, 样本进入到网络中, 经过隐含层处理后, 获得网络的预测输出。将网络的预测输出与期望输出进行比较, 若两者不一致, 则进行反向传播[32-34]。神经网络在该过程中, 通过各种参数优化方法, 不断更新各层的权值和偏置, 从而使网络的预测输出结果更加接近期望输出[35-36]

图 1 深度神经网络基本结构

深度神经网络某一神经元的输出为:

$ y_{j}^{k}=f\left(\sum\limits_{i=1}^{m} w_{i j}^{k} x_{i}^{k}+b_{j}^{k}\right)(j=1, 2, \cdots) $ (1)

式中: yjk为第k层的第j个神经元的输出; f为激活函数; wijh为第k-1层的第i个神经元到第k层的第j个神经元的连接权重; xik为输入样本xk的第i个分量; bjk为第k层第j个神经元的偏置项。

在误差反向传播中, 误差ek计算公式为:

$ e_{k}=\frac{1}{n} \sum\limits_{i=1}^{n}\left(d_{i}-y_{i}\right)^{2} $ (2)

式中: di为期望输出; yi为神经网络的预测输出。

由(1)式和(2)式可知, 误差函数ek由各神经元决定。因此需要对各层的权值和偏置进行优化, 使网络的预测值不断接近真实值。目前用来优化神经网络的权值和偏置的训练算法很多, 比较常用的算法是梯度下降算法, 但是该算法在训练过程中收敛速度比较慢, 并且易陷入局部极值。因此, 本研究采用比梯度下降算法更快、收敛更稳定的莱文贝格-马夸特算法(Levenberg-Marquardt algorithm, LMA)进行网络权值和偏置的优化[37]。LMA可以看作是最速下降算法和高斯-牛顿算法的结合。当公式(2)中的误差过大时, 即预测输出远离期望输出时, LMA类似于最速下降算法, 而当预测输出接近期望输出时, LMA类似于高斯-牛顿算法。LMA优化算法更新权重w和偏置b的过程如(3)式和(4)式所示[38]

$ w_{l+1}=w_{l}-\left[\boldsymbol{J}_{l}^{\mathrm{T}}(w) \boldsymbol{J}_{l}(w)+\mu \boldsymbol{I}\right]^{-1} \boldsymbol{J}_{l}^{\mathrm{T}}(w) e_{k} $ (3)
$ b_{l+1}=b_{l}-\left[\boldsymbol{J}_{l}^{\mathrm{T}}(b) \boldsymbol{J}_{l}(b)+\mu \boldsymbol{I}\right]^{-1} \boldsymbol{J}_{l}^{\mathrm{T}}(b) e_{k} $ (4)

式中: wl为当前的权值; wl+1为下一次更新后的权值; bl为当前的偏置; bl+1为下一次更新后的偏置; ek为误差; μ为正标量值或组合系数; I为单位矩阵; J为雅可比矩阵。

1.2 模型性能评价

通过均方误差(MSE)、平均绝对值误差(MAE)、拟合优度(R2)3个性能指标对模型的性能进行评价。这些指标的标准定义如下。

MSE: 衡量预测值与实际值之间的误差, MSE的值(RMSE)越小, 表明预测的精确度越高。

$ R_{\mathrm{MSE}}=\frac{1}{n} \sum\limits_{i=1}^{n}\left(y_{p}-y_{r}\right)^{2} $ (5)

MAE: 反映模型预测值的误差, MAE的值(RMAE)越小, 表明预测的精确度越高。

$ R_{\mathrm{MAE}}=\frac{1}{n} \sum\limits_{i=1}^{n}\left|y_{p}-y_{r}\right| $ (6)

R2: 表征模型的拟合效果, R2的值越大, 说明拟合效果越好。

$ R^{2}=1-\frac{\sum_{i=1}^{n}\left(y_{p}-y_{r}\right)^{2}}{\sum_{i=1}^{n}\left(\bar{y}_{r}-y_{r}\right)^{2}} $ (7)

式中: yr为真实值; yp为预测值; yryr的平均值; n是样本数据的总数。当模型为理想模型时, RMSE=0;RMAE=0;R2=1。

2 超参数选取 2.1 样本数据准备

合理选择输入变量是建立精确预测模型的重要步骤, 本研究拟以多波地震属性作为源数据进行相关数据处理与分析。地震属性的种类非常多, 不同地震属性对气藏描述的贡献不同(测试区主要为气藏), 将所有的地震属性都用来进行分析, 会造成信息的冗余, 影响网络的精度和计算效率, 因此, 需要优选出对气藏响应敏感的地震属性。根据前人的研究[39-41], 我们构建了3种影响气藏分布预测的输入变量来进行深度神经网络超参数研究, 即3种复合地震属性(比值属性F1, 比值属性F2, 乘积属性F3)[40-41], 如图 2所示。提取已知钻井含气区域的局部地震波形数据作为标准地震道, 再计算标准地震道与钻井周围区域的地震数据的相似度来表征含气概率结果。最后将80%的数据作为训练数据集, 将20%的数据作为测试数据集。

图 2 3种复合地震属性[40-41] a 比值属性F1; b 比值属性F2; c 乘积属性F3
2.2 隐含层数目的确定

增加深度神经网络隐含层数目会提高预测结果的精度, 但盲目增加隐含层数会使网络结构变复杂, 从而降低网络的训练效率, 增加时间成本。对不同隐含层数目下神经网络的均方误差的分析发现(图 3a), 随着隐含层数目的增加, 同一训练次数下的均方误差不断减小, 层数较少时误差下降比较快, 当大于7层时, 误差趋于稳定。隐含层数目为7和9的神经网络在训练时的均方误差基本一致。当训练次数为20000次时, 不同隐含层数目网络的误差下降到目标值, 如图 3b所示, 说明网络在含有7个隐含层时已经得到了较好的训练, 故本文确定隐含层的数目为7。

图 3 神经网络性能曲线 a 不同隐含层数性能曲线; b 不同训练次数性能曲线
2.3 隐含层节点数的确定

为了避免设计的训练网络过于复杂, 网络的神经元节点数不宜过多。我们对同一数据集进行了大量的试验工作, 设计了各种神经元数量的深度神经网络模型, 发现当某一隐含层神经元数量超过15时, 如(3-5-5-7-7-18-18-18-1), (3-5-5-11-11-18-18-18-1), (3-5-7-9-11-13-15-17-1), (3-7-7-11-11-15-15-15-1), (3-7-7-11-11-18-18-18-1), 网络的预测结果不理想, 网络的拟合度非常低(R2低于0.6), 因此, 隐含层节点数一般限制在3~15。我们利用性能指标对不同数量神经元(3~15)的深度神经网络模型的性能进行评估(表 1)。从表 1中可以看出, 深度神经网络模型为(3-5-5-7-7-9-9-9-1)时, MSE, MAE的值非常小, 表明该网络模型具有较高的预测精度, 同时, R2较高, 说明模型的拟合度较好, 因此, 我们选用结构为(3-5-5-7-7-9-9-9-1)的深度神经网络作为本研究中最佳的训练模型用于气藏地震响应特征的表征。

表 1 不同深度神经网络模型的性能分析
2.4 激活函数的确定

为了使深度神经网络每层的输出不是输入的线性组合, 提高整个神经网络的非线性拟合能力, 需要对神经网络进行激活。常用的激活函数有Sigmoid函数、Tanh函数和Relu函数等(图 4)。对3种激活函数分别进行误差测试, Sigmoid函数、Tanh函数和Relu函数训练1000次的误差分别为0.4293, 0.0677和0.0124, 可以看出Relu激活函数的误差最小。由图 4c也可看出, Relu函数会在神经网络的训练过程中将隐含层部分神经元的输出变为0, 降低了神经网络中参数之间的相互依存关系, 有效地缓解了网络训练过程中过拟合问题的发生, 同时极大地提高了网络训练的效率。

图 4 常用的激活函数 a Sigmoid函数; b Tanh函数; c Relu函数
2.5 深度神经网络模型的确定

采用LMA优化网络, 最大迭代次数为30000次。网络训练从权值和偏置的随机值开始, 因此刚开始进行迭代时的误差较大。在迭代过程中, 训练算法通过调整参数, 逐渐将MSE、MAE降低到非常小的值, 直到满足精度要求(即RMSE小于0.001), 训练停止, 获得最佳的网络模型。最终, 确定了7个隐含层的深度神经网络模型(3-5-5-7-7-9-9-9-1), 这是本研究气藏地震响应特征描述应采用的最佳深度神经网络模型, 其模型结构如图 5所示。在本模型图中, 输入变量(F1, F2, F3)分别由I1, I2, I3表示, 每个隐含层中隐藏神经元的数量分别由H1到H9表示, 用O1表示输出参数, 应用于神经元节点的偏置如图 5中的B1, B2, B3, B4, B5, B6, B7和B8所示。黑线表示正权重, 灰线表示负权重。线的粗细与权重大小成正比。

图 5 应用于含气性多波地震响应特征提取的最佳深度神经网络模型
3 预测结果分析与讨论 3.1 深度神经网络预测结果分析

图 6给出了测试数据集中深度神经网络预测值与实际值的比较。可以看出, 深度神经网络的预测数据点接近理想线(图中黑色实线), 表明深度神经网络模型的预测结果具有较高的拟合度, 同时, 深度神经网络的预测值与实际值基本一致, 说明深度神经网络具有良好的预测性能。这仅是数学意义上的评价, 下面结合实际钻井数据资料作进一步分析。

图 6 测试数据集中深度神经网络模型的预测值与实际值比较

测试区目标层共有11口井, 包括7口气井(P1, N3, N2, M1, M2, M3, M4)和4口干井(O1, O2, N1, N4)。将神经网络训练所得模型应用于实现以测试区多波复合地震属性数据为驱动的气藏的分布预测, 结果如图 7所示。在刚开始进行训练时(如100次, 500次, 1000次), 深度神经网络已经可以看到初步的气藏分布情况, 但是刻画的边界信息不丰富, 这与图 3b的性能曲线相对应, 在刚开始训练时, 深度神经网络的均方误差较大。随着训练次数的增加(如5000次, 10000次, 15000次), 深度神经网络的预测结果不断变化, 所刻画的气藏边界逐渐清晰, 信息逐渐丰富, 与钻井信息的吻合度越来越高。从性能曲线也可以看出, 随着训练次数的增加, 均方误差不断下降。当训练次数达到20000次时, 深度神经网络趋于稳定, 预测结果随训练次数的增加(如25000次, 30000次)变化不明显。可以看出, 深度神经网络的预测结果与性能曲线基本一致, 随着训练次数的增加, 深度神经网络的均方误差不断下降, 刻画的气藏边界也逐渐清晰, 与钻井信息的吻合度也越来越高。当训练超过20000次时, 深度神经网络的均方误差随着训练次数的增加下降不明显, 网络的预测结果也趋于稳定, 刻画的气藏边界信息与20000次时的预测结果基本一致。该结果表明, 深度神经网络训练次数等超参数的选取对气藏范围的预测结果存在一定的影响。

图 7 深度神经网络不同训练次数的预测结果 a 100次; b 500次; c 1000次; d 5000次; e 10000次; f 15000次; g 20000次; h 25000次; i 30000次
3.2 基于测试区目标层局部构造特征的评价分析

测试区目标层构造如图 8所示, 红色代表构造高部位, 蓝色代表构造低部位。结合钻井资料(除O1, O2, N1, N4为干井外, 其它7口钻井在目标层均有气藏响应), 可以看出, 气藏的基本位于构造高部位, 如图 8黄色圆圈区域。深度神经网络模型训练20000次的预测结果与构造高部位基本吻合, 如图 9黄色圆圈区域, 进一步说明了深度神经网络在参数选取合理的情况下, 可以取得良好的预测结果。其它有利于地区目前尚未钻井, 可以作为下一步的有利目标区进行布井。

图 8 测试区目标层构造
图 9 气藏分布与构造叠合显示
4 结论

本文对应用于气藏多波地震响应特征提取的深度神经网络模型超参数进行了探讨, 对不同隐含层数目的深度神经网络进行了误差分析, 结果表明, 随着隐含层数目的增加, 同一训练次数下的均方误差不断减小, 层数较少时误差下降的比较快, 当大于7层时, 误差趋于稳定。最终确定最佳的隐含层数为7层, 最佳训练次数为20000次。对比网络不同训练次数下的预测结果表明, 深度神经网络训练次数等超参数的选取对油气藏分布范围的预测结果存在一定的影响, 在今后将神经网络应用于其它数据集时, 应综合考虑超参数的影响, 做出更好的配置方案。

尽管本文方法取得了一定的效果, 但是深度神经网络部分超参数(如隐含层节点数等)的选取目前主要通过试错法来确定, 在未来工作中可以进一步针对隐含层节点数的寻优进行更深入探讨与研究。

致谢: 感谢中石化勘探开发研究院提供的资料。在论文的完成过程中, 王守进、张栋、文博、付超、彭杰、魏乾乾、赵传伟、杨修超、张建彬等同志先后都做了不少工作, 在此一并表示感谢。
参考文献
[1]
ZHAI G Y, LI J, JIAO Y, et al. Applications of chemostratigraphy in a characterization of shale gas sedimentary microfacies and predictions of sweet spots—taking the Cambrian black shales in Western Hubei as an example[J]. Marine and Petroleum Geology, 2019, 109: 547-560. DOI:10.1016/j.marpetgeo.2019.06.045
[2]
HADDADPOUR H, NIRI M E. Uncertainty assessment in reservoir performance prediction using a two-stage clustering approach: Proof of concept and field application-ScienceDirect[J]. Journal of Petroleum Science and Engineering, 2021, 204: 108765. DOI:10.1016/j.petrol.2021.108765
[3]
KAMARI E, MOHAMMADI S, MOHAMMADI M M, et al. Prediction of two-phase compressibility factor in gas condensate reservoirs using genetic algorithm approach[J]. International Journal of Oil Gas and Coal Technology, 2017, 20(3): 266-281.
[4]
HOSSEIN M, ALI R M. A nonlinear approach for predicting pore pressure using genetic algorithm in one of the Iranian petroleum carbonate reservoirs[J]. Arabian Journal of Geosciences, 2020, 13(14): 688-688. DOI:10.1007/s12517-020-05692-1
[5]
MARTIN V, GBENGA O, ANDREI P. Fuzzy logic applied to value of information assessment in oil and gas projects[J]. Petroleum Science, 2019, 16(5): 1208-1220. DOI:10.1007/s12182-019-0348-0
[6]
BAOUCHE R, NABAWY B S. Permeability prediction in argillaceous sandstone reservoirs using fuzzy logic analysis: A case study of triassic sequences, Southern Hassi R'Mel Gas Field, Algeria[J]. Journal of African Earth Sciences, 2021, 173: 104049. DOI:10.1016/j.jafrearsci.2020.104049
[7]
张向君, 张晔. 基于支持向量机的交互检验储层预测[J]. 石油物探, 2018, 57(4): 597-600.
ZHANG X J, ZHANG Y. Reservoir prediction through cross-validation based on support vector machine[J]. Geophysical Prospecting for Petroleum, 2018, 57(4): 597-600. DOI:10.3969/j.issn.1000-1441.2018.04.014
[8]
OTCHERE D A, GANAT A A, GHOLAMI R, et al. Application of supervised machine learning paradigms in the prediction of petroleum reservoir properties: Comparative analysis of ANN and SVM models[J]. Journal of Petroleum Science and Engineering, 2021, 200: 108182. DOI:10.1016/j.petrol.2020.108182
[9]
付超, 林年添, 张栋, 等. 多波地震深度学习的油气储层分布预测案例[J]. 地球物理学报, 2018, 61(1): 293-303.
FU C, LIN N T, ZHANG D, et al. Prediction of reservoirs using multi-component seismic data and the deep learning method[J]. Chinese Journal of Geophysics, 2018, 61(1): 293-303.
[10]
曹俊兴. 深度学习及其在深层天然气储层预测中的应用实验[J]. 物探化探计算技术, 2017, 39(6): 775-782.
CAO J X. Deep learning and its application in deep gas reservoir prediction[J]. Computing Techniques for Geophysical and Geochemical Exploration, 2017, 39(6): 775-782. DOI:10.3969/j.issn.1001-1749.2017.06.10
[11]
丁燕, 杜启振, QAMAR Y, 等. 基于深度学习的裂缝预测在S区潜山碳酸盐岩储层中的应用[J]. 石油物探, 2020, 59(2): 267-275.
DING Y, DU Q Z, QAMAR Y, et al. Fracture prediction based on deep learning: Application to a buried hill carbonate reservoir in the S area[J]. Geophysical Prospecting for Petroleum, 2020, 59(2): 267-275. DOI:10.3969/j.issn.1000-1441.2020.02.013
[12]
陈芊澍, 文晓涛, 何健, 等. 基于极限学习机的裂缝带预测[J]. 石油物探, 2021, 60(1): 149-156, 174.
CHEN Q S, WEN X T, HE J, et al. Prediction of a fracture zone using an extreme learning machine[J]. Geophysical Prospecting for Petroleum, 2021, 60(1): 149-156, 174. DOI:10.3969/j.issn.1000-1441.2021.01.014
[13]
VERMA A K, CHAKI S, ROUTRAY A, et al. Quantifying sand fraction from seismic attributes using modular artificial neural network[J]. SPG 10th Biennial International Conference and Exposition, 2013, P399.
[14]
BRANTSON E T, JU B, ZIGGAH Y Y, et al. Forecasting of horizontal gas well production decline in unconventional reservoirs using productivity, soft computing and swarm intelligence models[J]. Natural Resources Research, 2019, 28(3): 717-756. DOI:10.1007/s11053-018-9415-2
[15]
MCCULLOCH W S, PITTS W. A logical calculus of the ideas immanent in nervous activity[J]. The Bulletin of Mathematical Biophysics, 1943, 5(4): 115-133. DOI:10.1007/BF02478259
[16]
ZHAO X F, MENDEL J M. Minimum-variance deconvolution using artificial neural networks[J]. Expanded Abstracts of 58th Annual Internat SEG Mtg, 1988, 738-741.
[17]
WINER J M. Predicting carbonate permeabilities from wireline logs using a back-propagation neural network[J]. Expanded Abstracts of 61st Annual Internat SEG Mtg, 1991, 285-288.
[18]
印兴耀, 吴国忱, 张洪宙. 神经网络在储层横向预测中的应用[J]. 石油大学学报(自然科学版), 1994, 18(5): 20-26.
YIN X Y, WU G C, ZHANG H Z. The application of neural networks in the reservoir prediction[J]. Journal of China University of Petroleum(Edition of Natural Science), 1994, 18(5): 20-26.
[19]
陆文凯, 李衍达, 牟永光. 误差反传播神经网络法地震反演[J]. 地球物理学报, 1996, 39(S1): 292-301.
LU W K, LI Y D, MU Y G. Seismic inversion using error-back-propagation neural network[J]. Chinese Journal of Geophysics, 1996, 39(S1): 292-301.
[20]
REZAEE M R, ILKHCHI A K, BARABADI A. Prediction of shear wave velocity from petrophysical data utilizing intelligent systems: An example from a sandstone reservoir of Carnarvon Basin, Australia[J]. Journal of Petroleum Science & Engineering, 2007, 55(3/4): 201-212.
[21]
朱剑兵, 王兴谋, 冯德永, 等. 基于双向循环神经网络的河流相储层预测方法及应用[J]. 石油物探, 2020, 59(2): 250-257.
ZHU J B, WANG X M, FENG Y D, et al. Predicting fluvial reservoirs using seismic data based on a Bi-recurrent neural network[J]. Geophysical Prospecting for Petroleum, 2020, 59(2): 250-257. DOI:10.3969/j.issn.1000-1441.2020.02.011
[22]
ABDULAZIZ A M, MAHDI H A, SAYYOUH M H. Prediction of reservoir quality using well logs and seismic attributes analysis with artificial neural network: A case study from Farrud reservoir, Al-Ghani field, Libya[J]. Journal of Applied Geophysics, 2018, 161(1): 239-254.
[23]
王俊, 曹俊兴, 尤加春, 等. 基于门控循环单元神经网络的储层孔渗饱参数预测[J]. 石油物探, 2020, 59(4): 616-627.
WANG J, CAO J X, YOU J C, et al. Prediction of reservoir porosity, permeability, and saturation based on a gated recurrent unit neural network[J]. Geophysical Prospecting for Petroleum, 2020, 59(4): 616-627. DOI:10.3969/j.issn.1000-1441.2020.04.012
[24]
HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554. DOI:10.1162/neco.2006.18.7.1527
[25]
林年添, 张栋, 张凯, 等. 地震油气储层的小样本卷积神经网络学习与预测[J]. 地球物理学报, 2018, 61(10): 4110-4125.
LIN N T, ZHANG D, ZHANG K, et al. Predicting distribution of hydrocarbon reservoirs with seismic data based on learning of the small-sample convolution neural network[J]. Chinese Journal of Geophysics, 2018, 61(10): 4110-4125. DOI:10.6038/cjg2018J0775
[26]
GAO J H, SONG Z H, GUI J Y, et al. Gas-bearing prediction using transfer learning and CNNs: An application to a deep tight dolomite reservoir[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 19(99): 1-5.
[27]
吴莎, 汪健, 谢新, 等. 基于深度神经网络构建风电机组性能模型的超参数选择[J]. 太阳能, 2020(9): 25-30.
WU S, WANG J, XIE X, et al. Selection of hyperparameters for wind turbine performance model based on deep neural network[J]. Solar Energy, 2020(9): 25-30. DOI:10.3969/j.issn.1003-0417.2020.09.003
[28]
熊玄辰, 曹俊兴, 周鹏, 等. 基于双向长短期记忆神经网络的岩相预测方法[J]. 成都理工大学学报: 自然科学版, 2021, 48(2): 226-234.
XIONG X C, CAO J X, ZHOU P, et al. Lithofacies prediction method based on bidirectional long short memory neural network[J]. Journal of Chengdu University of Technology(Science & Technology Edition), 2021, 48(2): 226-234. DOI:10.3969/j.issn.1671-9727.2021.02.10
[29]
ANIFOWOSE F, ABDULRAHEEM A, AL-SHUHAIL A. A parametric study of machine learning techniques in petroleum reservoir permeability prediction by integrating seismic attributes and wireline data[J]. Journal of Petroleum Science and Engineering, 2019, 176(4): 762-774.
[30]
DAVID C, LIU Y, DING C Z, et al. First break picking method based on artificial intelligence and apparent velocity constraint[J]. Oil Geophysical Prospecting, 2021, 56(3): 419-435.
[31]
DENG L, DONG Y. Foundations and trends® in signal processing[J]. Signal Processing, 2014, 7(1): 3-4.
[32]
HAKLIDIR F S T, HAKLIDIR M. Prediction of reservoir temperatures using hydrogeochemical data, western anatolia geothermal systems(Turkey): A machine learning approach[J]. Natural Resources Research, 2020, 29(4): 2333-2346. DOI:10.1007/s11053-019-09596-0
[33]
MOOSAVI S R, WOOD D A, AHMADI M A, et al. Ann-based prediction of laboratory-scale performance of CO2-foam flooding for improving oil recovery[J]. Natural Resources Research, 2019, 28(4): 1619-1637. DOI:10.1007/s11053-019-09459-8
[34]
SHANG Y, NGUYEN H, BUI X N, et al. A novel artificial intelligence approach to predict blast-induced ground vibration in open-pit mines based on the firefly algorithm and artificial neural network[J]. Natural Resources Research, 2020, 29(2): 723-737. DOI:10.1007/s11053-019-09503-7
[35]
NGUYEN H, BUI X N. Predicting blast-induced air overpressure: A robust artificial intelligence system based on artificial neural networks and random forest[J]. Natural Resources Research, 2019, 28(3): 893-907. DOI:10.1007/s11053-018-9424-1
[36]
NGUYEN H, DREBENSTEDT C, BUI X N, et al. Prediction of blast-induced ground vibration in an open-pit mine by a novel hybrid model based on clustering and artificial neural network[J]. Natural Resources Research, 2020, 29(2): 691-709. DOI:10.1007/s11053-019-09470-z
[37]
HAGAN M T, MENHAJ M B. Training feedforward networks with the Marquardt algorithm[J]. IEEE Transactions on Neural Networks, 1994, 5(6): 989-993. DOI:10.1109/72.329697
[38]
REYNALDI A, LUKAS S, MARGARETHA H. Backpropagation and Levenberg-Marquardt algorithm for training finite element neural network[J]. 20126th UKSim/AMSS European symposium on computer modeling and simulation(EMS), 2012, 89-94.
[39]
林年添, 付超, 张栋, 等. 无监督与监督学习下的含油气储层预测[J]. 石油物探, 2018, 57(4): 601-610.
LIN N T, FU C, ZHANG D, et al. Supervised learning and unsupervised learning for hydrocarbon prediction using multiwave seismic data[J]. Geophysical Prospecting for Petroleum, 2018, 57(4): 601-610. DOI:10.3969/j.issn.1000-1441.2018.04.015
[40]
YANG J Q, LIN N T, ZHANG K, et al. Reservoir characterization using multi-component seismic data in a novel hybrid model based on clustering and deep neural network[J]. Natural Resources Research, 2021, 30(5): 3429-3454. DOI:10.1007/s11053-021-09863-z
[41]
ZHANG K, LIN N T, FU C, et al. Reservoir characterization method with multi-component seismic data by unsupervised learning and colour feature blending[J]. Exploration Geophysics, 2019, 50(3): 269-280. DOI:10.1080/08123985.2019.1603078