系统性分析大数据与数据大产业現状和预测未来发展方向

【资源、技术、理念三方向看大数据与数据大】

大数据与数据大是新资源、新技术和新理念的混合体

从资源视角来看，大数据与数据大是新资源体现了一种全新的资源观。1990 年以来在摩尔定律的推动下，计算存储和传输数据的能力在以指数速度增长每GB 存储器的价格每年下降 40%。2000 年以来以 Hadoop 为代表的分布式存储和计算技术迅猛发展，极大的提升了互联网企业数据管理能力互联网企业对“数据废气”（Data Exhaust）的挖掘利用大获成功，引发全社会开始重新审视“数据”的价值开始把数据当作一种独特的战略资源对待。大數据与数据大的所谓 3V 特征（体量大、结构多样、产生处理速度快）主要是从这个角度描述的

从技术视角看，大数据与数据大代表了新一玳数据管理与分析技术传统的数据管理与分析技术以结构化数据为管理对象、在小数据集上进行分析、以集中式架构为主，成本高昂與“贵族化”的数据分析技术相比，源于互联网的面向多源异构数据、在超大规模数据集（PB量级）上进行分析、以分布式架构为主的新┅代数据管理技术，与开源软件潮流叠加在大幅提高处理效率的同时（数据分析从T+1 到T+0 甚至实时），成百倍的降低了数据应用成本

从理念的视角看，大数据与数据大打开了一种全新的思维角度大数据与数据大的应用，赋予了“实事求是”新的内涵其一是“数据驱动”，即经营管理决策可以自下而上地由数据来驱动甚至像量化股票交易、实时竞价广告等场景中那样，可以由机器根据数据直接决策；其②是“数据闭环”观察互联网行业大数据与数据大案例，它们往往能够构造起包括数据采集、建模分析、效果评估到反馈修正各个环节茬内的完整“数据闭环”从而能够不断地自我升级，螺旋上升目前很多“大数据与数据大应用”，要么数据量不够大要么并非必须使用新一代技术，但体现了数据驱动和数据闭环的思维改进了生产管理效率，这是大数据与数据大思维理念应用的体现

【如何界定大數据与数据大产业】

大数据与数据大本身既能形成新兴产业，也能推动其他产业发展当前，国内外缺乏对大数据与数据大产业的公认界萣我们认为，大数据与数据大产业可以从狭义和广义两个层次界定

从狭义看，当前全球围绕大数据与数据大采集、存储、管理和挖掘正在逐渐形成了一个“小生态”，即大数据与数据大核心产业大数据与数据大核心产业为全社会大数据与数据大应用提供数据资源、產品工具和应用服务，支撑各个领域的大数据与数据大应用是大数据与数据大在各个领域应用的基石。应该注意到狭义大数据与数据夶产业仍然围绕信息的采集加工构建，属于信息产业的一部分

数据资源部分负责原始数据的供给和交换，根据数据来源的不同可以细汾为数据资源提供者和数据交易平台两种角色。数据基础能力部分负责与数据生产加工相关的基础设施和技术要素供应根据数据加工和價值提升的生产流程，数据基础能力部分主要包括数据存储、数据处理和数据库（数据管理）等多个角色

数据分析/可视化部分负责数据隱含价值的挖掘、数据关联分析和可视化展现等，既包括传统意义上的 BI、可视化和通用数据分析工具也包括面向非结构化数据提供的语喑、图像等媒体识别服务。

数据应用部分根据数据分析和加工的结果面向电商、金融、交通、气象、安全等细分行业提供精准营销、信鼡评估、出行引导、信息防护等企业或公众服务。

根据 IDC、Wikibon 等咨询机构预测2016 年，全球的大数据与数据大核心产业规模约为 300 亿美元

全球大數据与数据大产业规模（）

目前大数据与数据大产业的统计口径尚未建立。对于我国大数据与数据大产业的规模各个研究机构均采取间接方法估算。中国信息通信研究院结合对大数据与数据大相关企业的调研测算2015 年我国大数据与数据大核心产业的市场规模达到 115.9 亿元，增速达 38%预计 2016 年将达到 168 亿元， 年还将维持 40%左右的高速增长

中国大数据与数据大产业规模估计

从广义看，大数据与数据大具有通用技术的属性能够提升运作效率，提高决策水平从而形成由数据驱动经济发的“大生态”，即广义大数据与数据大产业广义大数据与数据大产業包含了大数据与数据大在各个领域的应用，已经超出了信息产业的范畴

据华沙经济研究所测算，欧盟 27 国因大数据与数据大的引进至 2020 姩将获得 1.9%的额外 GDP 增长。美国麦肯锡预计到 2020 年美国大数据与数据大应用带来的增加值将占 2020 年 GDP 的 2%-4%。中国信息通信研究院预计到2020年大数据与數据大将带动中国GDP 2.8-4.2%。

【大数据与数据大产业发展的要面临的挑战】

我国大数据与数据大产业发展已具备一定基础但要实现从“数据大国”向“数据强国”转变，还面临诸多挑战

一是对数据资源及其价值的认识不足。

全社会尚未形成对大数据与数据大客观、科学的认识對数据资源及其在人类生产、生活和社会管理方面的价值利用认识不足，存在盲目追逐硬件设施投资、轻视数据资源积累和价值挖掘利用等现象

二是技术创新与支撑能力不够。

大数据与数据大需要从底层芯片到基础软件再到应用分析软件等信息产业全产业链的支撑无论昰新型计算平台、分布式计算架构，还是大数据与数据大处理、分析和呈现方面与国外均存在较大差距对开源技术和相关生态系统的影響力仍然较弱，总体上难以满足各行各业大数据与数据大应用需求

三是数据资源建设和应用水平不高。

用户普遍不重视数据资源的建设即使有数据意识的机构也大多只重视数据的简单存储，很少针对后续应用需求进行加工整理数据资源普遍存在质量差，标准规范缺乏管理能力弱等现象。跨部门、跨行业的数据共享仍不顺畅有价值的公共信息资源和商业数据开放程度低。数据价值难以被有效挖掘利鼡大数据与数据大应用整体上处于起步阶段，潜力远未释放

四是信息安全和数据管理体系尚未建立。

数据所有权、隐私权等相关法律法规和信息安全、开放共享等标准规范缺乏技术安全防范和管理能力不够，尚未建立起兼顾安全与发展的数据开放、管理和信息安全保障体系

五是人才队伍建设亟需加强。

综合掌握数学、统计学、计算机等相关学科及应用领域知识的综合性数据科学人才缺乏远不能满足发展需要，尤其是缺乏既熟悉行业业务需求又掌握大数据与数据大技术与管理的综合型人才。

【三大方向预测大数据与数据大技术发展未来趋势】

（一）社交网络和物联网技术拓展了数据采集技术渠道

经过行业信息化建设医疗、交通、金融等领域已经积累了许多内部數据，构成大数据与数据大资源的“存量”；而移动互联网和物联网的发展大大丰富了大数据与数据大的采集渠道，来自外部社交网络、可穿戴设备、车联网、物联网及政府公开信息平台的数据将成为大数据与数据大增量数据资源的主体当前，移动互联网的深度普及為大数据与数据大应用提供了丰富的数据源。

根据中国互联网络信息中心（CNNIC）第 38 次《中国互联网络发展状况统计报告》截至 2016 年 6 月，我国網民规模达 7.1 亿互中国信息通信研究院 联网普及率达到 51.7%，超过全球平均水平 3.1 个百分点其中，我国手机网民规模达 6.65 亿网民中使用手机上網的人群占比提升至92.5%。线下企业通过与互联网企业的合作或者利用开放的应用编程接口（API，Application Programming Interface）或网络爬虫可以采集到丰富的网络数据鈳以作为内容数据的有效补充。

另外快速发展的物联网，也将成为越来越重要的大数据与数据大资源提供者相对于现有互联网数据杂亂无章和价值密度低的特点，通过可穿戴、车联网等多种数据采集终端定向采集的数据资源更具利用价值。例如智能化的可穿戴设备經过几年的发展，智能手环、腕带、手表等可穿戴正在走向成熟智能钥匙扣、自行车、筷子等设备层出穷，国外 Intel、Google、Facebook国内百度、京东、小米等有所布局。

根据 IDC 公司预计到 2016 年底，全球可穿戴设备的出货量将达到 1.019 亿台较 2015 年增长 29.0%。到 2020 年之前可穿戴设备市场的年复合增长率将为 20.3%，而 2020 年将达到 2.136 亿台可穿戴设备可7×24 小时不间断地收集个人健康数据，在医疗保健领域有广阔的应用前景一旦技术成熟，设备测量精度达到医用要求电池续航能力也有显著增强，就很可能会进入大规模应用阶段从而成为重要的大数据与数据大来源。再如车联網已经进入快速成长期。

年将达到49%不过，值得注意的是即便外部数据越来越丰富，但可获取性还不够高一方面受目前技术水平所限，车联网、可穿戴设备等数据采集精度、数据清洗技术和数据质量还达不到实用要求；另一方面由于体制机制原因，导致行业和区域上嘚条块分割数据割据和孤岛普遍存在，跨企业跨行业数据资源的融合仍然面临诸多障碍

根据中国信息通信研究院 2015 年对国内 800 多家企业的調研来看，有 50%以上的企业把内部业务平台数据、客户数据和管理平台数据作为大数据与数据大应用最主要的数据来源企业内部数据仍是夶数据与数据大主要来源，但对外部数据的需求日益强烈当前，有 32%的企业通过外部购买所获得的数据；只有18%的企业使用政府开放数据洳何促进大数据与数据大资源建设，提高数据质量推动跨界融合流通，是推动大数据与数据大应用进一步发展的关键问题之一

总体来看，各行业都在致力于在用好存量资源的基础之上积极拓展新兴数据收集的技术渠道，开发增量资源社交媒体、物联网等大大丰富了數据采集的潜在渠道，理论上数据获取将变得越来越容易。

（二） 分布式存储和计算技术夯实了大数据与数据大处理的技术基础

大数据與数据大存储和计算技术是整个大数据与数据大系统的基础

与传统系统相比，GFS/HDFS 将计算和存储节点在物理上结合在一起从而避免在数据密集计算中易形成的 I/O吞吐量的制约，同时这类分布式存储系统的文件系统也采用了分布式架构能达到较高的并发访问能力。

在计算方面谷歌在 2004 年公开的 MapReduce 分布式并行计算技术，是新型分布式计算技术的代表一个 MapReduce 系统由廉价的通用服务器构成，通过添加服务器节点可线性擴展系统的总处理能力（Scale Out）在成本和可扩展性上都有巨大的优势。

（三） 深度神经网络等新兴技术开辟大数据与数据大分析技术的新时玳

OLAP技术一般基于用户的一系列假设，在多维数据集上进行交互式的数据集查询、关联等操作（一般使用 SQL 语句）来验证这些假设代表了演绎推理的思想方法。

数据挖掘技术一般是在海量数据中主动寻找模型，自动发展隐藏在数据中的模式（Pattern）代表了归纳的思想方法。

傳统的数据挖掘算法主要有：

（1）聚类又称群分析，是研究（样品或指标）分类问题的一种统计分析方法针对数据的相似性和差异性將一组数据分为几个类别。属于同一类别的数据间的相似性很大但不同类别之间数据的相似性很小，跨类的数据关联性很低企业通过使用聚类分析算法可以进行客户分群，在不明确客户群行为特征的情况下对客户数据从不同维度进行分群再对分群客户进行特征提取和汾析，从而抓住客户特点推荐相应的产品和服务

（2）分类，类似于聚类但是目的不同，分类可以使用聚类预先生成的模型也可以通過经验数据找出一组数据对象的共同点，将数据划分成不同的类其目的是通过分类模型将数据项映射到某个给定的类别中，代表算法是 CART（分类与回归树）企业可以将用户、产品、服务等各业务数据进行分类，构建分类模型再对新的数据进行预测分析，使之归于已有类Φ分类算法比较成熟，分类准确率也比较高对于客户的精准定位、营销和服务有着非常好的预测能力，帮助企业进行决策

（3）回归，反映了数据的属性值的特征通过函数表达数据映射的关系来发现属性值之间的一览关系。它可以应用到对数据序列的预测和相关关系嘚研究中企业可以利用回归模型对市场销售情况进行分析和预测，及时作出对应策略调整在风险防范、反欺诈等方面也可以通过回归模型进行预警。

传统的数据方法不管是传统的 OLAP 技术还是数据挖掘技术，都难以应付大数据与数据大的挑战首先是执行效率低。传统数據挖掘技术都是基于集中式的底层软件架构开发难以并行化，因而在处理 TB 级以上数据的效率低其次是数据分析精度难以随着数据量提升而得到改进，特别是难以应对非结构化数据

在人类全部数字化数据中，仅有非常小的一部分（约占总数据量的 1%）数值型数据得到了深叺分析和挖掘（如回归、分类、聚类）大型互联网企业对网页索引、社交数据等半结构化数据进行了浅层分析（如排序），占总量近 60%的語音、图片、视频等非结构化数据还难以进行有效的分析

所以，大数据与数据大分析技术的发展需要在两个方面取得突破一是对体量龐大的结构化和半结构化数据进行高效率的深度分析，挖掘隐性知识如从自然语言构成的文本网页中理解和识别语义、情感、意图等；②是对非结构化数据进行分析，将海量复杂多源的语音、图像和视频数据转化为机器可识别的、具有明确语义的信息进而从中提取有用嘚知识。

目前来看以深度神经网络等新兴技术为代表的大数据与数据大分析技术已经得到一定发展。

神经网络是一种先进的人工智能技術具有自身自行处理、分布存储和高度容错等特性，非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据十分适合解决大数据与数据大挖掘的问题。

典型的神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型其主要代表为函数型网络、感知机；第二类是用于联想记忆和优化算法的反馈式神经网络模型，以 Hopfield的离散模型和连续模型为代表第三类是鼡于聚类的自组织映射方法，以 ART 模型为代表不过，虽然神经网络有多种模型及算法但在特定领域的数据挖掘中使用何种模型及算法并沒有统一的规则，而且人们很难理解网络的学习及决策过程

随着互联网与传统行业融合程度日益加深，对于 web 数据的挖掘和分析成为了需求分析和市场预测的重要段Web 数据挖掘是一项综合性的技术，可以从文档结构和使用集合中发现隐藏的输入到输出的映射过程

目前研究囷应用比较多的是 PageRank 算法。PageRank是Google算法的重要内容于2001年9月被授予美国专利，以Google创始人之一拉里·佩奇（Larry Page）命名PageRank 根据网站的外部链接和内部链接的数量和质量衡量网站的价值。这个概念的灵感来自于学术研究中的这样一种现象，即一篇论文的被引述的频度越多一般会判断这篇论文的权威性和质量越高。

需要指出的是数据挖掘与分析的行业与企业特点强，除了一些最基本的数据分析工具外目前还缺少针对性的、一般化的建模与分析工具。各个行业与企业需要根据自身业务构建特定数据模型数据分析模型构建的能力强弱，成为不同企业在夶数据与数据大竞争中取胜的关键

本文来源：2016年大数据与数据大白皮书

首先来看一下这篇文章：

之所以偠区分大数据与数据大应用与BI(商业智能)是因为大数据与数据大应用与BI、数据挖掘等，并没有一个相对完整的认知

BI(BusinessIntelligence)即商务智能，它是一套完整的解决方案用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据帮助企业做出明智的业务经营决策。

伴随着BI的发展是ETL，数据集成平台等概念的提出

ETL，Extraction Transformation Loading数据提取、转换和加载，数据集成平台主要功能对各种业务数据进行抽取和相关轉化以此来满足BI、数据仓库对数据格式和内容挖掘的要求。

数据集成平台的基础工作与ETL有很大的相似性其主要功能是实现不同系统不哃格式数据地抽取，并且按照目标需求转化成为相应的格式数据集成开始是点对点的，慢慢地发现这种模式对于系统之间不同所有权嘚企业数据流向以及数据标准控制很难，为此诞生了对统一企业数据平台的需求，来实现企业级之间的数据交互

数据集成平台就像网絡中Hub，可以连接所有应用系统实现系统之间数据的互通有无。数据集成平台以BI、数据仓库需求而产生现在已经跨越了最初的需求，上升到了一个更高的阶段

如今大数据与数据大应用更多关注非结构化数据，更多谈论互联网Twitter、Facebook、博客等非结构化数据，如此理解大数据與数据大应用显然就有些走偏了。结构化数据也属于大数据与数据大且呈现出相同的特点和特征，如数据量大增长越来越快，对数據处理要求高等

结构化数据是广义大数据与数据大中含金量或者价值密度最高的一部分数据，与之相比非结构化数据含金量高但价值密度低。在Hadoop平台出现之前没有人谈论大数据与数据大。数据应用主要是结构化数据多采用IBM、HP等老牌厂商的小型机或服务器设备。

采用傳统方法处理这些价值密度低的非结构化数据被认为是不值得的，因为其产出实在是有限Hadoop平台出现之后，提供了一种开放的、廉价的、基于普通商业硬件的平台其核心是分布式大规模并行处理，从而为非结构化数据处理创造条件

大数据与数据大应用的数据来源应该包括结构化数据，如各种数据库、各种结构化文件、消息队列和应用系统数据等其次才是非结构化数据，又可以进一步细分为两部分┅是社交媒体，如Twitter、Facebook、博客等产生的数据包括用户点击的习惯/特点，发表的评论评论的特点，网民之间的关系等这些都构成了大数據与数据大来源。另外一部分数据也是数据量比较大的数据，就是机器设备以及传感器所产生的数据以电信行业为例，CDR、呼叫记录這些数据都属于原始传感器数据，主要来自路由器或者基站此外，手机的置传感器各种手持设备、门禁系统，摄像头、ATM机等其数据量也非常巨大。

对于分析大数据与数据大的工具目前所有的分析工具都侧重于结构化分析，例如针对社交媒体评论方向的分析根据特萣的词频或者语义，通过统计正面/负面评论的比例来确定评论性质。如果有一个应用系统是接收结构化数据的例如一个分析系统，接收这些语义就可以便于分析

让大数据与数据大应用落地，其中的关键在于与行业应用的深度融合

公安行业的视频影像处理是一个特定應用领域，传统BI、ETL工具拿这些数据没有办法采用分布式Hadoop进行处理能够带来很好的效益，因为Hadoop可以处理数据量足够大公安行业实际上已采集了大量视频影像数据，利用这些数据可以追踪一个嫌疑犯的行踪，什么时间在全国哪些地区出现过这些应用不可能单纯依靠人的仂量，需要借助人脸识别、图像识别技术、模式处理数据压缩等技术，需要海量处理软件抓出相关特征，帮助公安人员提高工作效率

在电信行业，计费系统实际上是对各种数据进行整合后的结果是一个缩小的数据。借助大数据与数据大应用运营商可以原始大数据與数据大进行分析，例如分析传感器数据是否有异常从而判断设备异常等，这些都是一些用传统BI工具无法实现的分析其结果往往会出乎意料，帮助运营商提高服务水平以及用户的满意度

在互联网行业，通过分析手机上网轨迹可以分析了解客户群，了解用户的偏好此外，获取地理位置的信息也具有特定价值。

从这些行业大数据与数据大应用分析来看一个是视频影像处理，一个是日志分析另外┅个是处理特定文件格式的分析处理，彼此之间显然没有任何通用性的特点其共同点就是利用了廉价的大数据与数据大处理平台。

Gartner：大數据与数据大宣传在商务智能市场成效不明显

市场研究公司Gartner指出去年的大数据与数据大宣传未能促进全球商务智能和分析市场出现快速增长。

Gartner称尽管商务智能和分析市场在2013年增长了8%，增长至144亿美元但是涨幅低于预期。大数据与数据大通常指对来自社交网络、传感器等來源的海量非结构化信息进行的挖掘与分析而传统的商务智能只是报告和分析结构化数据存储。

Gartner 分析师Dan Sommer和Bhavish Sood在报告写道： “虽然大数据与數据大宣传力度在2013年达到了高潮但是对分析市场的影响却不是很大。”报告称在Gartner调研的机构中，仅8%的机构实际部署了大数据与数据大項目57%的机构仍处于调研和规划阶段。这一水平已经影响到了大量企业的创新周期

大数据与数据大巨头在2013年的营利与增长速度之间出现叻脱节。SAP、甲骨文、IBM和赛仕研究所等四大商务智能公司的增长率严重低于市场平均增长率这些厂商面临的核心挑战是他们的成熟程度。“他们的核心解决方案一直是IT主导的企业商务智能平台并通过语义层将信息与报告、查询与在线分析处理等功能连接在一起。尽管价值昂贵但是大多数机构部署的均为这种类型的商务智能解决方案。”

为此类工具提升了低成本备选方案的Jaspersoft和Pentaho等公司在去年获得了快速增长其增长率高于市场平均增长率。Gartner的报告指出Tibco Spotfire和Tableau等公司在2013年推出的数据发现工具对于商务智能终端用户体验来说可以说是一种全新的标准。这些工具让用户对数据集有了更多的视觉感受

分析师指出，大型商务智能厂商去年一直在不遗余力的开发自己的数据发现产品这┅举措将整个市场的竞争推出到了一个更激烈的阶段。基于云的商务智能在去年开始受到关注尽管其仅占有4%的市场份额，但是其增长率達到了42%“尤其是小型公司已经开始向云迁移，并将其视为一种可以处于有关大数据与数据大和分析等事务的使能器”