文章快速检索     高级检索
  中国石油勘探  2020, Vol. 25 Issue (5): 71-81  DOI:10.3969/j.issn.1672-7703.2020.05.010
0

引用本文 

马涛, 张仲宏, 王铁成, 丁建宇, 黄兆越, 项建, 辛麒, 王建宇, 朱明新. 勘探开发梦想云平台架构设计与实现[J]. 中国石油勘探, 2020, 25(5): 71-81. DOI: 10.3969/j.issn.1672-7703.2020.05.010.
Ma Tao, Zhang Zhonghong, Wang Tiecheng, Ding Jianyu, Huang Zhaoyue, Xiang Jian, Xin Qi, Wang Jianyu, Zhu Mingxin. Architecture design and implementation of E & P Dream Cloud platform[J]. China Petroleum Exploration, 2020, 25(5): 71-81. DOI: 10.3969/j.issn.1672-7703.2020.05.010.

基金项目

中国石油天然气股份有限公司投资信息化重点项目"勘探开发一体化协同研究及应用平台(一期)建设"(PetroChina-IT-2017-N104)

第一作者简介

马涛(1962-),男,河北涿州人,1990年毕业于成都地质学院,教授级高级工程师,主要从事石油上游业务信息化及数字油田、智慧油田研究与建设工作。地址:北京市石景山区京原路7号东方地球物理公司信息技术中心,邮政编码:100043。E-mail:matao@cnpc.com.cn

文章历史

收稿日期:2020-07-21
修改日期:2020-08-17
勘探开发梦想云平台架构设计与实现
马涛1,2, 张仲宏3, 王铁成1,2, 丁建宇3, 黄兆越1,2, 项建1,2, 辛麒1,2, 王建宇4, 朱明新1,2     
1. 中国石油东方地球物理勘探有限责任公司;
2. 北京中油瑞飞信息技术有限责任公司;
3. 中国石油勘探与生产分公司;
4. 中国石油大港油田公司
摘要: 石油行业已步入数字化、智能化高速发展新阶段,面对数字化和智能化发展迫切需求,如何数字化和智能化?已成为油气上游企业研究和探索的重要课题。受全球信息技术最新发展趋势的影响和国际最佳实践案例的启示,中国石油上游业务板块制定了上游业务信息与应用共享平台建设蓝图规划,组织开展了勘探开发梦想云平台化建设。梦想云平台采用云计算、微服务架构设计,融合企业数据治理理念及技术体系,集成大数据、人工智能等先进技术,构建了梦想云"平台+能力+应用"生态,建成上游业务开放共享的"数据+技术+应用"环境,初步形成了上游业务智能共享能力,为上游业务应用提供敏捷的数字化、智能化服务。云平台及其应用采用DevOps、敏捷开发等技术实现高效一体化开发,保障了上游业务数据互联、技术互通、业务协同。梦想云平台作为中国石油上游业务智能共享平台,为落地"共享中国石油"战略,支撑上游业务数字化转型、智能化发展探索了一条可持续发展之路。
关键词: 勘探开发    梦想云平台    微服务    容器    DaaS    PaaS    SaaS    DevOps    
Architecture design and implementation of E & P Dream Cloud platform
Ma Tao1,2 , Zhang Zhonghong3 , Wang Tiecheng1,2 , Ding Jianyu3 , Huang Zhaoyue1,2 , Xiang Jian1,2 , Xin Qi1,2 , Wang Jianyu4 , Zhu Mingxin1,2     
1. BGP Inc., CNPC;
2. Richfit Information Technology Co., Ltd;
3. PetroChina Exploration & Production Company;
4. PetroChina Dagang Oilfiled Company
Abstract: The petroleum industry has entered a new stage of high-speed development of digital and intelligent. With the urgent requirement of digital and intelligent development, how to achieve digitalization and intellectualization? This has become an important topic for the upstream oil and gas enterprises to study and explore. Influenced by the latest development trend of global information technologies and inspired by international best practice cases, PetroChina's upstream business segment has formulated the blueprint planning for the platform construction of upstream business information and application sharing, and organized the construction of E & P Dream Cloud platform. E & P Dream Cloud platform has adopted the cloud computing and microservice architecture design, merged the enterprise data governance concept and technology system, integrated big data, artificial intelligence and other advanced technologies. As a result, it has constructed the "platform + capability + application" ecology of Dream Cloud and established the open and sharing environment of "data + technology + application" for upstream business. It has initially formed the intelligence sharing capability of upstream business, providing agile digital and intelligent services for upstream business applications. This cloud platform and its application use Devops, agile development and other technologies to achieve efficient integrated development, which support the upstream business data interconnection, technology interoperability and business collaboration. As an intelligent sharing platform for PetroChina's upstream business, E & P Dream Cloud platform has explored a sustainable development road for the implementation of "sharing PetroChina" strategy and support for the digital transformation and intelligent development of upstream business.
Key words: Exploration and development    Dream Cloud platform    microservice    container    DaaS    PaaS    SaaS    DevOps    
0 引言

当今时代,"大、物、云、移、智"已成为时代发展的主旋律,数字化、自动化、智能化、可视化、协同化、共享化是现阶段信息技术发展的主要趋势。面对扑面而来的新兴信息技术大潮,基于企业发展战略,中国石油研究探索了平台化发展的技术路线,为上游业务数字化转型和智能化稳健发展奠定了基础。

勘探开发作为中国石油主营业务,经过30多年的信息化建设,陆续建成第一代以数据资产管理为核心的信息系统和第二代以经营管理与业务运行为核心的生产运行管理系统,并通过以经营管理为核心的应用集成系统建设,推动了企业管理的数字化、信息化发展,加快了生产组织方式、管理与决策模式的变革,为上游业务提质增效提供了助力。但是,受技术发展水平和项目管控等方面的局限,上游业务信息化遵从按业务域划分的顶层设计、集团公司统建与油田公司自建相结合的循序渐进、滚动提升的建设方法,基本实现了数字化、自动化、网络化建设目标。但也由于长期采用专业化管理及按业务域划分的分散建设模式,导致油田公司及油服企业均面临数据库多、平台/系统多、孤立应用多的"三多"问题和信息孤岛现象,难以满足企业级勘探开发一体化、地质工程一体化、动静态一体化资源共享需求,不能很好地支撑智能油气田建设与智慧油气田[1-2]未来发展。

2017年埃森哲指出[3],云计算能够打破企业业务职能的孤岛状态,提高企业敏捷性; 以创新方式综合利用物联网、大数据、人工智能等技术,能够成倍增强其能力,为未来油气业务运营增加新的互联智能层。惠春琳认为[4],在石油行业新一轮数字化浪潮下,诸多传统石油企业都已纷纷牵手IT公司、互联网公司、数字公司,深入开展油气田操作与维护、提高传统油气公司的运营效率、能源与科技创新等方面的合作。

斯伦贝谢公司作为全球领先的油服企业,联手谷歌公司,利用谷歌公司基础设施和人工智能技术,在谷歌公司公有云平台上,开发出云原生的勘探与生产应用程序,帮助客户从数据中获得可行的见解、知识并发掘其价值。基于开放的PaaS(Platform as a Service)云平台技术,整合结构化数据、非结构化数据和公共数据,为认知应用提供开放、安全的数据环境,支撑开放生态建设。面向勘探、开发、钻井工程、油气生产和经济评价的全生命周期认知应用,研发了DELFI勘探开发认知环境,支持云原生应用和其原有产品的整合,构建勘探开发全过程应用链,支撑流程优化。

全球另一油服企业巨头哈利伯顿公司联合微软公司,基于共享地质模型,面向勘探开发、地面地下、地质工程三位一体,研发了DSP技术平台,包括核心数据整合平台DSIS(虚拟数据库)、DecionSpace 365云平台、Ienergy共享社区(知识共享、专家支持)、基于PaaS技术的联合社区Open Earth创新环境。

IBM公司作为全球著名IT公司,集成了其数据治理、数据分析体系及其产品; 基于成熟的容器技术,构建了PaaS平台云,支持公有云、私有云部署实施; 基于人工智能技术打造了Watson认知计算系统,成为认知计算领域的引领者,并与多家石油公司和油服企业开展合作,拥有石油行业成功案例。

华为公司与IDC公司联合发布的白皮书中认为,数字平台是"破局"数字化转型的关键[5]。数字平台横向链接产业链上、下游,纵向链接企业组织机构,为企业提供快速、灵活数字化能力的中枢。

IDC公司的数字平台除作为聚合数据、融合技术和赋能服务的中枢,同时,有利于指导企业信息化建设步入从N到1的时代。

为此,中国石油上游业务板块制定了上游业务信息与应用共享平台的蓝图规划,开启了上游平台化建设、数字化和智能化发展探索实践。

系统平台架构作为互联网时代的关键核心技术,对"互联网+"发展起到了至关重要的作用。

1 互联网时代信息系统架构 1.1 SOA与ED-SOA

SOA(Service Oriented Architecture)即面向服务的架构,是2000年以后随着互联网技术兴起而发展起来的一种以服务为中心的企业IT架构方法[6],其主要特征是将业务单元拆分为一系列相对独立的流程和服务,服务过程中需预先定义与业务功能或数据相关的接口及约束该接口的契约,这些服务可通过企业服务总线(ESB)服务注册功能,按照服务之间的接口及契约进行组装,实现服务查询、定位和路由。接口和契约基于中立和标准原则定义,应独立于实现服务的操作系统、编程语言和硬件平台,以便于通过统一和通用的方式在不同系统中实现交互。

基于SOA可以敏捷地组合产生的新服务,使企业在构建应用程序或业务流程时更具灵活性,有利于企业更好、更从容地应对业务的快速变化。

SOA架构方法在国内外数字油田、智能油田系统建设中得到深入应用,然而随着物联网技术在油气工业中的普及,油气田企业对安全生产智能化和实时性需求日趋迫切,对业务过程中复杂事件自动化响应和处理(CEP)能力提出了更高需求,一种具有事件驱动机制(Event Driven)的面向服务的体系架构(简称ED-SOA)方法应运而生。

ED-SOA是将事件驱动机制与SOA融合的产物,或者说是使SOA具有事件驱动异步响应机制特性的架构方法[7-9]。在ED-SOA架构系统中,当一个事件产生,如一项新数据诞生、一个用户触发、一个接口调用或一个消息到达等,事件中心会触发对该事件的进一步处理过程,这类似于"连锁反应",在该过程中诸多服务被调用或被激活。服务本身也可以根据自身需要产生某种事件,这样就把这些静态的功能动态地联系起来,形成"事件触发—处理响应—再触发—再响应"机制,从而满足对系统建设实时性、协同性和复杂性事件处理的需求。

中国石油长庆油田公司数字化油气藏研究与决策系统RDMS,以及中国石油西南油气田公司磨溪区块龙王庙组气藏数字气田系统,均采用ED-SOA架构设计,并整合了ESB(企业服务总线)、DSB(数据服务总线)、BPM(业务流程管理)、DSE(数据服务和信息共享引擎)、ASI(应用软件适配器)、eMQ(消息队列)等配套技术,实现了订阅(Subscribe)、发布(Publish)/推送(Push)、一键式(One-click)自动成图、油气生产动态分析与预测、随钻分析与安全预警等复杂业务操作的自动化过程。

1.2 微服务架构

微服务架构是最近几年兴起并逐渐成熟的一项在云环境中部署应用和服务的新技术。

微服务架构是传统SOA架构的进化,强调的重点是"业务需要彻底的组件化和服务化",将原有的单个业务系统拆分为多个可以独立设计、开发、运行的小应用,这些小应用之间通过服务完成交互和集成。

两种典型的微服务架构如图 1图 2所示。

图 1 微服务架构示意图(一) Fig. 1 Schematic diagram of microservice architecture (1)
图 2 微服务架构示意图(二) Fig. 2 Schematic diagram of microservice architecture (2)

微服务架构通常需要通过软件工程自动化工具(如DevOps,能够完成软件构建、测试和发布)和容器技术(如Docker,使用沙箱机制,能够承载微服务、中间件、组件等独立运行的可虚拟化的环境)等落地,解决租户隔离和统一开发平台的需求。

微服务架构的主要特性为:每个系统由一系列的微服务有机组合而成; 每个微服务可独立运行在独立的进程中; 每个微服务需独立开发且只关注单一的特定功能,如订单管理、用户管理等; 微服务之间通过一些轻量的通信机制进行通信,如对REST API接口的调用; 可以使用不同的编程语言与存储技术; 具有全自动的部署机制。

微服务架构设计原则包括:单一职责原则; 服务自治原则; 轻量级通信原则; 接口明确原则。

微服务架构和传统SOA架构的区别为:微服务架构要求业务系统彻底组件化和服务化; 微服务架构强调去中心化,不再依赖传统SOA架构中的企业服务总线ESB,但SOA的思想会应用到单个业务系统内部,实现真正的组件化。

1.3 云计算架构

云计算(Cloud Computing)是继20世纪80年代大型计算机向客户端/服务器(C/S)模式大转变后,信息技术的又一次革命性变化。

云计算是并行计算、分布式计算、网格计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术融合发展的产物,但对复杂的企业环境支持不足,因此,进一步发展了云计算架构。

实践证明,在不同厂商、不同行业对云计算基本架构认识趋同的前提下,具体设计和构建云计算架构时,会按照自身的特征,加入个性化或行业属性。目前,比较公认和通用的云计算架构包括基础设施即服务层(IaaS)、平台即服务层(PaaS)、软件或应用即服务层(SaaS)3个层次(图 3)。

图 3 云计算架构示意图 Fig. 3 Schematic diagram of cloud computing architecture

IaaS(Infrastructure as a Service)含义为基础设施即服务,其中的虚拟化技术对IaaS的成熟起到了核心作用。虚拟化技术可以将计算机服务器计算资源、存储资源、网络资源统一虚拟化为虚拟资源池中的计算资源,这些计算资源可以被用户订购并打包提供给用户,从而实现基础设施的按需配给服务。代表性产品有Amazon EC2、IBM Blue Cloud等。

PaaS(Platform as a Service)含义为平台即服务,为用户提供了类似操作系统和开发工具的功能。美国国家标准与技术研究院NIST认为,PaaS是面向应用的核心平台,类似于PC时代的软件开发模式,程序员可在一台装有Windows或Linux操作系统的PC机上使用开发工具开发并部署应用软件。随着PaaS技术的高速发展,企业级私有PaaS平台为解决大型企业信息孤岛问题提供了统一开发、统一管理和统一运营的平台。代表性产品有微软公司的Windows Azure和谷歌公司的GAE等。

在企业级应用中,基于SOA的PaaS更适合解决信息孤岛问题、消除部门壁垒和利旧信息资产; 基于微服务架构的PaaS能够更有效地利用计算资源,其应用更快且更容易更新。

SaaS(Software as a Service)含义为软件即服务,是一种通过互联网提供软件应用的服务模式。在这种模式下,用户只需要支付一定的租赁费用,就可以通过互联网享受到软件附带硬件等系列应用的服务。

1.4 主流云计算架构

随着云计算技术的逐步成熟,越来越多的企业尝试使用云计算技术加快企业的数字化转型。云计算等新兴技术的发展,催生出Kubernetes、Docker及微服务等相互融合的云平台技术,可以有效解决企业平台多、系统多、资源不能共享等一系列痛点问题。通过大数据、人工智能等先进技术为平台赋能,为构建企业统一的数字化、智能化平台奠定了良好基础。

Docker作为一款成熟并被广泛认可的、成功的开源容器技术软件,已形成了完整的生态系统。Docker公司2018年发布的数据报告显示,Docker自从2013年3月首度亮相后,Docker技术网站上的容器镜像下载次数已超过了370亿次,容器化的应用高达350万个,在Linkedin网站上的Docker相关职位空缺达到15000个; 全球活跃的Docker使用者社群有200多个,全球使用企业版Docker EE的企业用户超过450家。随着Docker技术的流行与推广,Docker技术已经成为最主流的容器技术。

Kubernetes是Google开源的、用于管理云平台中多个主机上容器化应用的平台和容器编排引擎,提供了应用规划、部署、更新和维护的流程化机制,支持资源管理的自动化和跨数据中心的资源利用最大化,让已容器化的微服务应用部署更加简单高效。2015年4月,Kubernetes一经开源就一鸣惊人,并迅速称霸容器技术领域。据Redmonk公布的数据,全球财富百强企业当中有71%在使用容器,而超过半数财富世界百强企业利用Kubernetes作为其容器业务流程平台,多达11258位开发贡献者,GitHub上拥有75000多次提交以及全球Meetup组中的158000名成员。目前Kubernetes已经是使用最为广泛的容器编排技术。

2 梦想云平台架构设计 2.1 上游业务信息化蓝图与梦想云建设总体方案

伴随着信息技术高速发展的大潮,中国石油不断探索数字化、智能化发展之路。"十二五"末,中国石油上游板块在充分研究分析国内外油公司及油服公司成功经验、总结上游板块"十二五"信息化建设成果的基础上,结合企业发展需求和最新的IT技术发展趋势,为落实集团公司"共享中国石油"的发展战略,提出了2016—2020年上游业务信息化发展规划。该规划融合了最新的信息技术,制定了上游业务信息与应用共享平台的建设蓝图[10-11],为中国石油数字油气田、智能油气田、智慧油气田建设和上游业务"数字化、自动化、协同化、智能化"可持续、高质量创新发展奠定了基础,明确了目标和方向。

上游业务信息化建设存在以下问题:①信息系统多,缺少统一平台技术; ②数据库多,数据横向共享困难; ③应用多,业务协同困难; ④系统分散,软硬件资产利用率低等。针对上述问题,上游板块提出了"两统一、一通用"的顶层设计方案,将勘探开发梦想平台建设列为上游业务数字化转型发展的重点项目。通过上游业务统一数据湖、统一云平台和六大通用业务应用建设,打造一流的数字化、智能化平台,实现上游全业务链数据互联、技术互通、业务协同与智能化发展,支撑油气勘探和开发生产等七大业务领域的科学决策和一体化运营,构建共创、共建、共享、共赢的智能新生态,开启上游业务资源共享、业务需求敏捷响应的平台化发展新时代。

为实现上游业务信息化建设目标,中国石油上游板块通过勘探开发一体化协同研究与应用平台项目(简称A6),开启了勘探开发梦想云平台的设计与建设,包括基础设施IaaS云、统一技术平台PaaS云、勘探开发一体化数据湖DaaS云、通用业务应用环境SaaS云,形成上游业务统一的勘探开发梦想云平台"IaaS+PaaS/DaaS+SaaS"及其生态,为业务提供一体化云化应用服务,如图 4所示。

图 4 中国石油勘探开发梦想云(IaaS + PaaS/DaaS+SaaS)总体架构 Fig. 4 Overall architecture of PetroChina E & P Dream Cloud (IaaS + PaaS/DaaS + SaaS)
2.2 梦想云平台总体设计 2.2.1 基础设施IaaS云

基础设施IaaS云是企业基础设施类资源的共享中心,中国石油结合自身的数据中心布局,自主设计、研发了支持多区域、多数据中心资源统一管控的云管理平台,开发了面向业务应用和运维管理的十四大类云服务,实现资源服务化供给,满足用户按需自助服务需求。

在提供计算资源、存储、网络、操作系统、虚拟化、安全控制等基础设施云化服务的基础上,扩展数据库、中间件、Web发布等基础软件与平台云化服务,使之具备"IaaS+"的能力,如图 5所示。

图 5 中国石油云计算基础设施及基础平台服务"IaaS +" Fig. 5 PetroChina cloud computing infrastructure and basic platform service "IaaS +"
2.2.2 统一技术平台PaaS云

统一技术平台PaaS云是针对整个上游业务的支撑平台和赋能中心,包括技术平台及管理、勘探开发专业服务、专业软件云服务、公共技术服务等服务组件,以及全局可用的大数据分析、认知计算和人工智能算法组件等,为上游业务应用开发提供统一、标准的技术框架,实现对业务应用需求的敏捷响应,为上游业务用户提供统一的应用入口(图 6)。其中,Docker+Kubernetes为PaaS提供满足微服务、编排、调度和运行的资源及环境,DevOps开发流水线为基于Java语言等技术开发者提供敏捷开发、自动化测试、应用上线和持续交付能力,业务用户通过App商店和服务目录获取可用的服务资源,系统开发人员通过SDK/组件目录检索可用的微服务及组件API接口,平台运维人员通过上架审核、配额管理、日志审计等对平台运行进行运维管理。

图 6 勘探开发梦想云统一技术平台技术架构图 Fig. 6 Technology architecture of unified technical platform of E & P Dream Cloud
2.2.3 勘探开发一体化数据湖DaaS云

勘探开发一体化数据湖DaaS云是企业核心业务资源的汇聚与应用服务中心。中国石油针对当前分散建库、数据孤岛的现状,基于上游统一的勘探开发数据存储模型EPDM V2.0+及数据交换模型EPDMX,应用数据湖技术,实现上游全业务链数据的标准统一、互联互通,支持跨专业、跨地域、跨组织的协作与数据共享,其逻辑架构如图 7所示。

图 7 勘探开发梦想云统一数据湖逻辑架构图 Fig. 7 Logical architecture of unified Data Lake of E & P Dream Cloud A1、A2等为中国石油统建项目编号
2.2.4 通用应用环境SaaS云

通用应用环境SaaS云是用户的应用共享中心,用户通过多种访问方式单点登录到梦想云统一门户中,使用门户中已有的"私人定制"或进入应用商店查找新的授权App应用。主要应用场景包括:油气勘探、开发生产、工程技术、协同研究、生产运行、安全环保、经营管理与决策等通用业务场景(含项目、岗位、任务、资源等)。

基于开放、可扩展的PaaS/DaaS+SaaS应用环境,用户可根据本油气田的业务特征或地质工程特点定制开发优秀应用,创建符合自身需求的业务流程、业务场景和特色业务应用。

按照企业IT治理体系方法,在组织管理、制度保障、技术标准与流程管理、技术实现4个方面,以业务需求为主导,实现业务与数据管理的统一; 落实管理制度,规范业务流程,提高标准化程度; 统一开发规范,构建开放、共享的新生态。

3 梦想云平台实现 3.1 基础设施IaaS云——依托中国石油"三地四中心"云计算资源

梦想云依托中国石油"三地四中心"云计算资源,利用虚拟化、核心—边缘存储网络架构及大二层网络技术,建成了统一管控、灵活共享、按需分配的基础设施资源池和能源行业规模最大的企业私有云计算平台。其中,云计算资源中心配备4000台以上服务器、15PB以上的存储的服务能力,可以提供10多类云服务。

通过商业套件、OpenStack等开放架构软件,形成虚拟计算的分级服务体系,建立高SLA(服务等级协议)和中高SLA基础架构资源池。

计算资源全部使用X86服务器,从而避免与厂商的绑定,大幅降低了设备采购成本。同时,提供虚拟化计算服务和物理机计算服务,能够全面满足各类应用系统的使用需要。

采用集中式存储技术,满足数据库等共享存储的需求; 采用软件定义存储技术,实现存储资源的弹性伸缩。

基于多链路透明互联(Trill)网络技术,在大幅提高网络接入能力的同时,构建高带宽、无阻塞的大二层网络,实现数据中心模块内和模块间的虚拟机在线调度。通过应用SDN控制器等软件定义网络技术,提升对网络资源的自动化管控水平,提高云计算网络资源供给的灵活性。

建立以数据安全和私有保护为目标、面向云计算数据中心的整体云安全技术框架,包括虚拟化安全、网络安全、应用安全、数据安全和运维安全等9个方面,形成从底层基础设施到顶层应用、从资源池建设到运行维护的安全防护体系。

中国石油"三地四中心"提供的基础设施云平台及服务部署如图 8所示。

图 8 中国石油"三地四中心"基础设施云服务部署图 Fig. 8 Infrastructure cloud service deployment of "three places and four centers" of PetroChina
3.2 统一技术平台PaaS/DaaS云——提供"技术+数据+能力"

梦想云统一技术平台采用PaaS+DaaS相结合的技术路线,构建以服务为核心的基础底台、数据中台、业务中台和技术中台。一方面,基于PaaS云框架,以Docker容器、Kubernetes资源编排与调度为基础,整合微服务架构、服务注册与发现、服务配置与服务治理、API网关等服务,集成了DevOps开发流水线,形成了平台的基础服务能力。另一方面,基于PaaS微服务、中间件等平台管理技术,引入MongoDB、MySQL、Redis缓存、RabbitMQ消息、Activiti/Bpm流程管理、Hadoop大数据等通用技术,开发了身份认证、权限管理、日志管理等公共服务; 面向多源数据管理,构建了数据库即服务DBaaS能力,支持统一的数据服务和数据全过程管理; 面向知识与分析研发了知识库、数据分析、数据算法等服务组件; 面向业务管理研发了组织机构、区块、项目、地震、井筒、油藏、站库、管线等业务对象的全生命周期管理组件; 面向业务过程研发了流程管理、方案管理、文件管理等辅助服务组件; 面向专业应用研发了专业软件接口、专业算法和专业图像可视化等组件。在智能技术应用方面,集成了自然语言识别、知识图谱、机器学习、深度学习等人工智能引擎,有效支撑上游全业务链通用业务应用和油气田特色或个性化业务的敏捷构建。梦想云所有能力及功能通过梦想云门户、应用商店及服务目录等形式,提供给各类用户使用。

依托梦想云PaaS平台,基于统一的勘探开发数据存储模型EPDM V2.0+及数据交换模型EPDMX,统一数据库及其服务层整合了虚拟数据库、ElasticSearch(ES)、PostgreSQL(PG)、Hadoop等技术,构建了上游业务统一的数据湖,支撑多源数据接入,综合数据治理和安全、高效、高质量的"一站式"数据服务,并为大数据分析、认知计算等智能化应用提供数据服务,其技术架构如图 9所示,应用架构如图 10所示。

图 9 勘探开发梦想云统一数据湖技术架构图s Fig. 9 Technical architecture of unified Data Lake of E & P Dream Cloud
图 10 勘探开发梦想云统一数据湖应用架构图 Fig. 10 Application architecture of unified Data Lake of E & P Dream Cloud

基于上游数据治理理念,对数据进行分级管控,将组织单元(总部、油气田公司、采油气厂等)、项目、地质单元、工区、井/井筒、站/库等实体对象由主数据湖统一管理,对业务活动所产生的数据由油气田级区域湖集中管理,总部主数据湖与油气田级区域湖构成连环湖架构。按照统一的数据管理办法和质控规则,对数据的采集与集成、质控与清洗、存储与管理、应用与服务进行授权与安全分享。面向专业化应用,一方面通过应用软件接口技术实现与项目库的无缝数据交换,另一方面对钻井设计、测井解释、地震解释等领域的认知计算、大数据分析、AI应用需求,通过领域知识库提供实体对象、专家知识/经验、知识图谱、算法模型等方面的创建、存储、管理与应用等智能化服务。

统一数据湖管理了油气勘探、井筒工程、采油气工程、地面工程与生产、油气藏研究与评价、经营管理与决策等领域共计15个专业的数据,数据资产达1.7PB。建立了四大工作环境:开放的数据集成环境、统一数据治理环境、大数据分析环境、统一数据应用环境,全面应用于中国石油16家油气田企业与两大研究机构。

基于梦想云PaaS/DaaS平台,为业务用户及系统建设者提供了一体化环境,包括应用开发工作平台、应用集成平台、专业软件共享平台、智能化AI创新平台、业务协同工作平台, 支持油气勘探等上游业务领域工作环境的快速构建。

3.3 通用应用平台SaaS云——提供面向业务应用场景的快速构建

基于梦想云PaaS/DaaS平台、勘探开发应用软件云服务平台及专业软件接口技术,支持快速构建勘探开发一体化协同研究环境(SaaS),提供按研究业务流程定制的数据推送、成果管理与可视化、在线成图与统计分析、专业软件云化管理与集成应用等App功能,支持跨地域、跨组织、跨专业的协同研究与决策应用业务场景构建(图 11)。

图 11 基于模型、软件共享的一体化协同研究与决策环境 Fig. 11 Integrated collaborative research and decision-making environment based on model and software sharing

截至2020年6月,梦想云应用商店中已上架120多款常用工具,集成了36款第三方专业软件,应用于1963个勘探开发研究项目/环境,取得了显著应用效果(图 12)。基于梦想云平台已启动对上游统建A1、A2、A5、A8、A11等系统的全面云化改造,覆盖了油气勘探、开发生产、生产经营等各领域。

图 12 勘探开发梦想云平台协同研究环境应用效果 Fig. 12 Application effect of collaborative research environment of E & P Dream Cloud platform
4 结语

通过中国石油勘探开发梦想云平台建设,首次提出梦想云(IaaS+PaaS/DaaS+SaaS)技术方案,实践证明梦想云方案具有可靠性、有效性、开放性和适用性。

中国石油通过梦想云等平台化建设,与世界前沿信息技术发展基本保持了同步。并通过自主设计、自主协作开发,形成了油气上游业务新一代数据存储及数据交换标准(EPDMV2.0+及EPDMX),研发了勘探开发一体化数据湖技术,建设了中国石油上游

开放数据生态及其服务标准和体系。基于Docker+Kubernetes+DevOps、微服务、中间件等开源技术集成研发的梦想云技术平台,一方面,与中国石油成熟的基础设施云IaaS进行无缝对接,形成了iPaaS(IaaS+PaaS)的一体化云服务能力; 另一方面,与上游统一数据湖及服务体系DaaS进行融合建设,形成了面向数据应用的dPaaS(PaaS/DaaS)数据服务能力和面向业务应用的aPaaS(PaaS/DaaS+SaaS)业务集成能力。通过对大数据分析与人工智能等技术的内嵌,扩展了数据分析、生产优化、安全预警、业务智能化功能,初步形成了iSaaS(DaaS+Intelligence+App)支撑能力; 基于App技术,研发了面向业务应用的应用商店App Store,形成了上游业务应用新生态SaaS。因此,梦想云平台技术方案及建设实践全面扩展和提升了传统IaaS+PaaS+SaaS云平台的理念和内涵。

利用勘探开发梦想云平台的数据集成、智能化服务与应用集成、敏捷迭代、快速扩展能力,可以有效支撑油气田企业的"数字油气田—智能油气田—智慧油气田"建设和绿色可持续发展。

勘探开发梦想云技术与建设方案,具有较强的普适性,可以作为油气行业乃至整个能源行业数字化转型、智能化发展的最佳实践加以借鉴。

参考文献
[1]
王宏琳, 马涛. 新兴信息技术综述(一)[J]. 石油工业计算机应用, 2015(2): 8-19.
Wang Honglin, Ma Tao. Summary of emerging information technology(PartⅠ)[J]. Computer Applications of Petroleum, 2015(2): 8-19.
[2]
王宏琳, 马涛. 新兴信息技术综述(二)[J]. 石油工业计算机应用, 2015(3): 7-18.
Wang Honglin, Ma Tao. Summary of emerging information technology(PartⅡ)[J]. Computer Applications of Petroleum, 2015(3): 7-18.
[3]
埃森哲. 石油和天然气行业的数字化转型倡议[J]. 软件和集成电路, 2017(10): 62-81.
Accenture. Digital transformation initiatives for the oil and gas industry[J]. Software and Integrated Circuits, 2017(10): 62-81.
[4]
惠春琳. 能源数字化: 重塑全球能源发展态势[N]. 学习时报, 2019-06-21(A2).
Hui Chunlin. Energy digitalization: reshaping global energy development situation[N]. Learning Times, 2019-06-21(A2).
[5]
华为, IDC.拥抱变化, 智胜未来: 数字平台破局企业数字化转型[R/OL]. (2019-03-23)[2020-07-20].https://e.huawei.com/cn/publications/cn/ict_insights/201809301120/Analysts/201904120903.
Huawei, IDC. Embracing change and winning the future-breaks the digital transformation of enterprises with digital platform[R/OL]. (2019-03-23)[2020-07-20]. https://e.huawei.com/cn/publications/cn/ict_insights/201809301120/Analysts/201904120903.
[6]
毛新生. SOA原理·方法·实践 [M]. 北京: 电子工业出版社, 2007.
Mao Xinsheng. SOA principle·method·practice [M]. Beijing: Electronic Industry Press, 2007.
[7]
李臣亮.事件驱动架构及应用[R/OL]. (2009-03-16)[2020-07-20]. http://www.uml.org.cn/soa/201001295.asp.
Li Chenliang. Event driven architecture and application[R/OL].(2009-03-16)[2020-07-20]. http://www.uml.org.cn/soa/201001295.asp.
[8]
马涛, 许增魁, 王铁成, 等. 数字油田软件系统架构研究[J]. 信息技术与信息化, 2010(6): 41-45.
Ma Tao, Xu Zengkui, Wang Tiecheng, et al. Research on software architecture of digital oilfield[J]. Information Technology and Informatization, 2010(6): 41-45.
[9]
许增魁, 马涛, 王铁成, 等. 数字油田技术发展探讨[J]. 中国信息界, 2012(9): 28-32.
Xu Zengkui, Ma Tao, Wang Tiecheng, et al. Exploration and discussion on the development of digital oilfield technology[J]. Information China, 2012(9): 28-32.
[10]
杜金虎, 张仲宏, 章木英, 等. 中国石油上游信息共享平台建设方案及应用展望[J]. 信息技术与标准化, 2017(8): 66-71.
Du Jinhu, Zhang Zhonghong, Zhang Muying, et al. CNPC upstream information sharing platform constructing scheme and application prospect[J]. Information Technology & Standardization, 2017(8): 66-71.
[11]
杜金虎, 时付更, 张仲宏, 等. 中国石油勘探开发梦想云研究与实践[J]. 中国石油勘探, 2020, 25(1): 58-66.
Du Jinhu, Shi Fugeng, Zhang Zhonghong, et al. Research and practice of Dream Cloud for exploration and development of PetroChina[J]. China Petroleum Exploration, 2020, 25(1): 58-66.