一、产品背景
油田正在开展智慧油田的规划和建设。如何提升油田科研、生产、管理等业务智能化水平？
油田积累了以A2为基础的大量数据资源，如何充分挖掘数据资源的潜在价值，发挥数据资源在开发生产中的作用？
大数据从巨量的各种类型的数据中，快速获得有价值信息，并整理成为帮助企业经营决策更积极目的的资讯。开展油气生产大数据分析平台的研究与应用，为充分利用油田数据资源，提升油田业务智能化水平提供示范和应用基础。
对油气生产大数据的理解
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达获取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 因此，从巨量的各种类型的数据中，快速获得有价值信息的能力，就是大数据技术。
大数据有4个主要特征：数据容量大、数据种类多、信息反馈快、价值密度低
大数据与传统方式的区别
|
传统方式 |
大数据 |
说明 |
|
|
数据量 |
小样本 |
大样本 |
(1)主要是依靠数据的丰富程度提高计算精度。 如：Google的机器翻译、象棋软件、机票查询， (2)用大量历史数据的特征值，取代传统算法中人工经验确定的参数。如权重值、分类样本。 (3)需要对现有的各种算法进行改进，也可新旧结合，利用大数据为传统算法寻找最优样本、最优参数，实现老算法、新应用。 |
|
数据类型 |
以结构化数据为主 |
可处理各种非结构化数据 |
(1)大量的数据来自网页、文档； (2)要处理大量的音频、视频数据。 (3)建立结构化的元数据库（知识库） |
|
计算速度 |
对速度要求不高 |
大多要求实时反应 |
为了提高速度，通常要进行复杂的数据预处理： (1)网页、文档等进行收集、切词、标引、预统计； (2)预先进行特征值抽取； (3)引入高性能计算技术，如云计算、集群。 |
|
价值度 |
获取的是数据的基本价值。 |
获取的是数据潜在价值 |
传统方式基于查询、报表、统计分析，数据的价值用户是已知的，只是不知道结果。大数据通过建立实时动态数据仓库，进行智能分析，获取数据的新价值。 |
开展油气勘探开发大数据技术的研究和应用，具有重要的意义：
(1)提高油气勘探开发业务的智能化水平。大数据采用新的智能计算模式，为勘探开发生产、科研、管理提供新的方法。当传统的方法被数据模型的突破所限制，或在局部地方被部分参数所限制时，利用大数据可取得事半功倍的效果。大数据计算模式具有数据资源高度共享、计算方法相互共享，同时还需要进行海量的计算，实现快速反应，这必将促进云计算在勘探开发业务中的应用，通过各种资源和方法相互共享和补充，可实现方法的创新。这也是智能油田发展的关键。
(2)充分挖掘现有数据资源的价值。但当前数据资源的应用仍是一种简单的应用，体现的数据的原始价值。通过大数据关联分析，可对数据进行多次利用，挖掘新的价值。
(3)为实施大数据工程提供技术支撑。通过勘探开发大数据总体框架设计、关键技术研究、典型示范应用，解决大数据应用的基本技术问题，为进一步开展勘探开发大数据工程提供支持。
二、总体技术路线
总体架构
三、大数据分析平台
一、数据仓库
面向大数据分析的数据仓库
多维度数据模型定义与管理
数据抽取：
数据抽取是从源头数据库中抽取数据，保存到数据仓库中。
数据抽取的关键是数据映射、数据筛选、数据清洗。
数据预处理：
数据预处理也是一种数据分析，其目的是为下一步大数据分析计算提供规范的数据。
数据预处理主要有以下几种：
数据规格化
大数据分析算法库
通用分析方法
专用分析方法
四、大数据应用案例
