恒源中证在数据分析表格和算法交易方面有何优势?

(报告出品方/作者:国泰君安证券,李沐华)1. 中国证券 IT 龙头1.1. 二十余年发展,成就行业龙头地位恒生电子是中国证券 IT 行业龙头,细分产品市占率均名列前茅。恒生电子以证券 IT 起家,1997 年推出了中国最早一批的证券柜台交易系统 BTRV5.0 和 windows 版本 97Sybas,同时针对柜台下单、现金交易等弊端开发了银证转账、网上交易系统。此后针对基金行业的需求,重新开发了一套基金交易系统软件,占据了资管领域主要的市场份额。二十多年来,恒生电子坚持深耕金融 IT 行业,不断推出新产品,在各个细分赛道都做到了龙头地位。1.2. 业务主要分为六大类根据产品或服务的类型,公司将经营活动划分为六大类业务板块。公司 业务分为大零售 IT 业务、大资管 IT 业务、银行与产业 IT 业务、数据风 险与基础设施 IT 业务、互联网创新业务和非金融业务共六大类。其中零 售 IT 业务以柜台交易系统 UF2.0 为核心,资管 IT 业务以 O32 资管交易 系统为核心,成为客户的核心生产系统,通过每年的政策性改造和产品 持续迭代更新不断为恒生电子创造收入。通过六大类业务,恒生覆盖了主流的金融客户。目前恒生电子客户包括 129 家证券公司、126 家公募基金、104 家期货公司、129 家保险及资管 公司、104 家三方理财公司、66 家信托公司、307 家商业银行以及超过 800 家私募基金。从客户角度说,恒生电子已经成为中国金融行业创新 的技术底座。1.3. 创始团队掌握经营话语权蚂蚁金服持有恒生电子 20.72%股权,创始团队负责日常经营。2014年, 马云通过浙江融信获得恒生集团 100%的股份,间接持有恒生电子 20.62% 的股权,成为恒生电子的实际控制人。2015 年 6 月,蚂蚁金服认购浙江 融信 100%股权,间接持有恒生电子 20.62%股权。2019 年 3 月浙江融信 将其持有的恒生集团 100%的股权转让给蚂蚁金服。目前蚂蚁金服与恒生 电子存在技术上的协同效应,尤其在新一代产品开发上。公司日常经营 由恒生电子创始团队负责,2022 年,公司进行董事长换届,选举刘曙峰 先生为公司董事长,选举范径武先生为公司副董事长。1.4. 历年收入和利润增速复盘复盘恒生电子上市至今的收入和利润增速,一直保持了稳定的成长。可 以看到,在过去 20 年中,只有 2006-2007 以及 2015 年恒生电子收入有 偏离 20%左右中枢的爆发式增长(2020-2021 年是会计准则调整导致的 变化),因此我们可以认为除了大盘指数数千点上涨的大牛市以外,恒生 电子的收入增速会稳定在 20%左右,伴随着产品化程度提升带来的利润 率提高,恒生的利润增速会高于收入增速。 驱动恒生电子收入持续增长的因素包括以下几个:第一、金融产品的增 加带来 IT 产品的需求;第二、金融政策及制度的变化带来 IT 产品的需 求;第三、金融客户的增加或收购、兼并等带来 IT 产品的需求;第四、 IT 技术本身的发展带来客户对产品更新的需求;第五、客户因差异化竞 争带来的个性化需求。1.5. 外延并购补全产品线恒生电子近年来通过外延并购,不断加强自身产品线。在本身高研发投 入基础上,恒生电子近年来保持了较高的投资并购频率,尤其是引入了 一些海外先进产品,提升自身的产品竞争力。(报告来源:未来智库)2. 卡位核心交易系统,龙头地位难以撼动2.1. 核心交易系统具备客户粘性交易系统是金融机构的核心生产工具,牵一发而动全身,具有极强的客 户粘性。金融机构的业绩来自于交易行为,交易系统也就成了核心生产 工具。交易系统的稳定性是头等大事,交易时间内交易系统即使是短时 间内中断,也可能会导致客户利益的严重损失,导致监管层的注意或者 惩罚措施。因此,在正常情况下,金融机构的核心交易系统具有极强的 客户粘性,不到万不得已不会进行更换。在需要进行厂商替换或者产品 升级换代时往往需要公司一把手审批同意,与其他 IT 产品或者软件项 目的执行形成了鲜明对比。因此,在交易系统这个赛道注定了强者恒强, 龙头公司通过客户的不断积累和产品不断优化,逐渐占有大部分市场份 额,获得定价权。恒生电子的交易系统主要分为证券交易系统和资管交易系统两类。前者 服务于广大的证券公司 C 端业务,后者服务于资管机构(公募基金、保 险资管等)。由于服务对象的不同,两种交易系统也存在差异。交易是金 融机构最基本的业务需求,在此之上有衍生出很多其他业务。正是由于 恒生电子在交易系统上的高市占率(证券交易系统市占率 50%左右,资 管交易系统市占率 90%以上),才奠定了今天的行业龙头地位。此外,恒 生还有上述两种交易系统之外的极速交易系统,主要是为量化机构客户 提供极速交易通道。2.2. 恒生电子证券交易系统走向 UF3.0 时代2.2.1. 证券交易系统经历从分散到集中的过程 证券公司柜台交易系统包括核心服务器、数据库、应用服务器以及报盘 程序和报盘系统。柜台交易系统有两个核心功能:一、客户帐簿功能, 记录了完整的会计帐簿信息。二、交易数据路由功能,就是在实时交易 过程中如何保证快速的将客户的买卖委托准确的发往正确的位置。柜台 系统的核心服务器一般是性能较高的小型机,这些服务器一般都运行 Oracle 数据库,数据库内是由恒生等公司设计的数百张数据表格(客户 信息表、资金账号表、资金余额表、资金变动表、股票余额表、股份变 动表等等)。数据库系统就是不断的对这几百个数据表利用数千个不同的业务行为 不停查询和更新,实现对交易行为的记录,这个过程实现账簿功能。报 盘程序以毫秒为量级扫描 Oracle 数据库中的 entrust 表,一旦发现新 委托,马上取出,写入交易所的接口表中。交易所的报盘程序也在不停 的扫描这个接口表,一旦发现新委托,马上通过 DDN 专线发给交易所通 信中心,直到交易所主机,这个过程实现交易数据路由功能。证券交易系统经历了从分散到集中的过程。在中国证券市场发展初期, 交易系统分散在各个营业部。在上世纪 90 年代证券市场发展初期,证券 经纪业务以营业部为单位开展,每家营业部都有自己的证券交易系统, 单独保存自己的业务数据。也就是说每个营业部有自己独立的柜台服务 器,电话委托、网上委托、银证转帐等业务都是营业部单独开展。粗放 的管理模式带来了巨大的业务隐患,出现了诸如修改客户结算数据、挪 用客户保证金、伪造客户交易指令等风险事件。2005 年左右集中交易系统开始逐渐登上历史舞台。经过整改以后,证券 公司开始采用集中交易系统,由技术部门统一运营管理,所以柜台交易 系统也可以叫做集中交易系统。集中交易系统在设计时,必须要满足以 下特性:极强的稳定性和高可用性,尤其是在交易时段的高可用性;有 竞争力的性能指标,保障客户的交易指令能快速到达交易所;主要业务 都在开盘时间内集中处理,因此需要有足够的系统容量,并能随着业务 规模的扩大灵活扩容。以恒生电子 UF2.0 为例,2008 年起,诸如华泰证券等大型券商由于以散 户为主,客户量大增,对原有集中交易系统造成较大压力,产生了对高 性能、可扩展、高吞吐量的需求。原有的集中交易系统一般分为三层结 构(终端+中间件+数据库),UF2.0 提出了四层结构,将中间件拆分为逻 辑层和原子层,将一部分的计算放到逻辑和原子层来完成,以分担数据 库压力,并且引入多交易中心,可并行扩展。UF2.0 采用“大管理、小交 易”的松耦合结构,各个系统之间尽量解耦,不同系统升级扩展和原来 系统关联度不大,能支持千万级的客户容量和并行扩展。过去所有性能和高可用都要依赖底层数据库,成本高而且性能存在瓶颈。 从前文可以看到,集中交易系统软件部分的核心就是底层数据库加上报 盘系统,硬件部分需要依赖 IBM 小机。整个成本非常高,Oracle 数据库 和小机这种系统非常笨重,一个节点要三五百台服务器,只能容纳三五 百万客户。分布式转型就是把数据迁移到普通 X86 服务器上面,性能保 障就是依靠分布式技术,每个服务器上面跑一个实例,超过 50%的投票 就认为是可靠的。分布式技术能够降低时延,可以采用 MySQL 数据库, 未来会迁移到分布式数据库,但是在这个体系里面数据库已经不是关键 部件了。为什么数据库以前是核心,这是上一代的技术架构决定的,万 一设备坏了要靠数据库本身的高可用机制解决。现在通过分布式技术把 它从核心部件中剔除出去了,以往的小机、数据库在分布式架构里面已 经不是最核心的了。2.2.2. UF3.0 登上历史舞台 恒生电子新推出的一站式经纪业务平台UF3.0基于分布式技术打造,阿 里云和 Oceanbase 参与研发,正在逐渐向客户端渗透。作为证券公司新 一代核心业务系统,UF3.0 的设计原则是“以用户为中心”,形成包括用 户、账户、资金、认证、经营管理等六大业务中心,具备微服务、云原 生的领先技术架构。UF3.0 是基于恒生分布式技术平台JRES3.0开发的。 2020 年 9 月 23 日,阿里云、OceanBase 参与构建的恒生电子新一代证 券分布式核心交易系统 UF3.0 在联合压测中表现出色,每秒交易委托次 数创下行业纪录,达到 37.9 万笔,是现有交易峰值的 10 倍以上。通过 部署这一整套分布式解决方案,单一券商将拥有服务 1 亿以上股民的能 力。2021 年 1 月 31 号,UF3.0 在招商证券 300+全营业部上线,覆盖融 资融券、股权期权、理财等重点业务,标志着券商交易系统转型升级的 开始。UF3.0 助力券商开展信创实践。恒生UF3.0主要承载了券商核心业务下 的账户、资金、证券交易、信用交易、期权交易、理财产品销售、清算、 查询等场景。从服务器、操作系统、数据库,到中间件、业务系统,助力券商实现软硬件一体化自主可控,迈出关键信息基础设施应用创新路 上的一步。2.3. 资管交易系统从 O32 向 O45 演进2.3.1. 恒生电子资管交易系统已经迭代近二十年时间 从 S1.0 到 O45,二十年时间迭代而来。O32系统即基金投资管理系统, 最开始是为基金公司开发的系统,后来逐步普及到券商、券商资管、保 险、信托、期货等行业,时至今日在行业内形成了较大的影响力。在 2003 年之前,由于使用的是 SQL Server 数据库,当时还叫做 S1.0、S2.0; 2003 年 3 月恒生推出 O3 系统,开始引入 Oracle 数据库,在 S2.0 系统 基础上升级,所以改叫 O3;2007 年恒生将 O3 系统多个业务模块重新开 发升级,推出 O3 升级版 O32 系统;2015 年起恒生考虑通过内存化交易 从而提高交易速度,向市场推出了O4系统(也叫UFT, Ultra Fast Trade, 极速交易);2020 年 9 月 25 日,恒生电子发布了资产管理一站式解决方 案 O45。2.3.2. O32 系统采用紧耦合架构 恒生电子 O32 技术架构主要分三层。从技术架构上说,O32 主要分为终 端、应用服务器和数据库服务器。O32 支持基金公司直连或分仓连接沪 深交易所,支持市场数据的自动导入,比如从万德、聚源获得基础数据, 从中债登获得估值数据等。日终,系统从中登获得结算数据,导入估值 系统提供的估值表进行对账,导入 TA 的申购赎回数据。O32 的特点是业务功能深度耦合。O32 主要模块包括风险控制、经理指 令、交易员管理、财务管理、日终处理、信息查询和系统管理等,覆盖 投资交易的全流程。O32 系统内部业务功能深度耦合,如果改动需要全 面评估影响,此外,与外围系统对接通过数据表进行,因此耦合也很深。(报告来源:未来智库)2.3.3. O45 实现模块松耦合 随着金融市场改革的不断深入,中国资产管理行业日新月异的发展,资 管规模快速扩大,对投资交易系统提出了更高的要求。具体表现在要求 系统能够全面覆盖日趋复杂的业务模式,同时也要求交易速度全面提升。 在这种情况下,过去的投资交易系统就无法满足新时代的要求。过去的 紧耦合架构存在升级测试复杂、容易引入风险的问题,相对封闭的技术 架构也限制了客户的自主创新。在这种时代背景下,以恒生 O45 为代表 的新一代买方投资交易系统应运而生,在系统架构、耦合性、系统性能、 系统容量、接口开放性、技术平台、版本管理、运营管理等诸多方面进 行全面革新。O45 拆分了核心系统与外围系统,实现解耦合。1、核心系统就是红色框 图部分。恒生 O45 将投资系统平台化,定位为数据平台、风控平台、头 寸控制平台,围绕核心投资系统打造系统功能生态圈,外围功能都是可 选的、可定制的,甚至是客户可以参与到其中做一些功能。2、对于 O32 而言,外围与核心系统通过表结构进行交互,导致的结果就是,核心系 统与外围功能深度耦合在一起,一个修改就要涉及多个业务功能,需要 多个开发组进行评估,如果评估不到位,就会存在缺陷,这么一个庞大 的系统没有人敢改,没人敢动,无法快速影响客户需求。而 O45 开放接 口,通过接口交互,只要保证接口不变,核心系统再怎么修改和演进也不会对外围功能产生影响,实现投资系统与外围功能的松耦合。根据我 们的产业调研,多家头部基金公司为了业务的个性化,正在与合作伙伴 一起尝试解耦合 O32,O45 是恒生电子自行迈出的解耦合一步,具有重要 的历史意义。与 O32 设计理念不同,恒生电子投资管理系统O45是一个松耦合的产品 功能群。O45 按产品功能划分为权益子系统、固收子系统、衍生品子系 统等不同业务子系统。无法拆分的模块按统一规范整体协调,也拆分了 中央风控中心、综合业务处理子系统、人员账户权限子系统、基础数据 子系统等子系统。所有子系统可以分开独立部署,单独升级,通过接口 交互,高效协作。业务品种、业务流程双维解耦,业务品种可独立部署、 单独升级。其中每个业务子系统都包含客户端、指令、风控、交易管理、 报盘、清算全流程的业务处理、数据交互接口。O45 改变了 O32 的传统三层架构。系统采用 SOA 的技术架构,对已有业 务进行梳理和分析,整理出数据访问和操作所需的原子服务,每个业务 服务都由基本的原子服务拼装构建。这种分层,强制保证业务和数据的 分离,这种架构有效的保证了独立业务处理逻辑、业务开发升级互相不干扰,能够实现独立升级、测试、交付。客户端层面,O45 呈现的是一个 瘦客户端,对网络带宽占用非常低,O45 系统的业务逻辑全部都在逻辑 服务、逻辑函数层实现,客户端前台最终只是作为一个展现层,不做具 体的数据处理和逻辑处理。同时,未来用户可以基于该技术架构体系自 研相关的原子服务,嵌入到恒生投资交易平台中,实现个性化需求自主 开发的要求。045 系统采用极速交易平台,支持 UFT 全内存的极速指令、交易、风控, 满足多产品管理、指数化、量化投资,日内高频交易,瞬时套利等业务 场景的高并发、低延时的系统性能需求。内存交易子系统有以下特点: 1、极速下单性能:并发处理能力强。2、超大委托容量。3、极低单笔延 时。3、多活灾备支持:采用热备架构,真正做到硬件故障切换零耗时。 4、全面业务覆盖:支持股票、基金、个股期权、期货等全业务的内存交 易系统,支持跨市场交易、混合下单。O45 的功能和用户体验全面超越 O32。我们将两个产品进行了对比,O45 的交易性能、清算性能相比 O32 有全面提升,此外,在风控、投资、流 程管理等功能上,用户体验也有明显改善。应该说,O45 是恒生电子在 下一个十年的杀手级产品,能够满足头部客户在个性化和产品性能上的 要求。目前 O45 已经在华宝基金正式上线,有了标杆案例,预计 2022 年 开始 O45 落地进程将加速。2.3.4. O45 在华宝基金率先落地 2021 年 12 月 20 日,在华宝基金,恒生新一代资产管理系统O45正式上 线。O45 支持全产品、全业务,覆盖境内外交易品种,助力华宝基金打 通了境内外实时风控系统,是集境内外资产的指令、交易、风控、清算 于一体的资产管理平台。O45 的打造,还引入了全球领先的金融科技公 司 Finastra在投资决策业务方面的经验,助力投研管理更快实现从Howto-buy 到 What-to-buy 再到 Auto-buy 的跨越。除此之外,O45 提供了 一个开放的生态系统,具备高度兼容性,通过统一的标准,不同的协议 和对接模式,助力华宝基金实现“投研一体化”的目标,共同构建资管 科技生态。华宝基金 O45 项目的难点还在于要将原本分割的境内、境外两套系统统 一起来,实现境内外资产的统一管理。华宝基金的交易区域不断扩大, 交易时间从原来的 9:00 到 15:00 几乎扩展到了 24 小时;交易日历从原 来国内的交易日,几乎扩展到了现在除了周六周日以外的每一天。因此 基础信息作为境内外公共使用时,对于境内外交易日不同时、业务操作、 报表乃至清算流程都会带来变化,对系统的整体架构和设计逻辑提出了 更高的要求。双方共投入 200 多人,跨越 21 个月的周期,迭代 27 个大小版本,涉及 20 万+测试的案例,百万行级的代码量,4 次周末上线演练。最终实现了 项目成功上线运行。3. 分布式新技术带来更新迭代机遇分布式技术架构能够突破传统集中式架构的局限性。分布式架构,是指 将不同的服务模块部署在多台不同的服务器上,用一组计算机集群替换 大型机,然后通过远程调用协同工作,共同完成服务。分布式架构拥有 高可用,低延时,高并发,灵活横向扩展等优势,是突破集中式性能瓶 颈的最佳技术手段。中国证券行业的分布式转型探索从 2016 年开始。深交所于2016年成功 发布基于分布式低时延架构的第五代交易系统 STS V5,在技术架构上实 现突破,交易笔数连续 4 年全球第一。一批券商陆续上线分布式交易系 统,成为了进一步创新的证券公司。在新一轮分布式转型的浪潮中,恒 生依旧扮演着“技术先锋”的角色,以敏锐的市场洞察力和扎实的技术 创新能力,打造分布式金融基础设施及业务产品,助力金融机构完成技 术革命。恒生将资源极大地投入进基础设施的自主研发当中,并创建了自主技术 品牌 LIGHT。恒生 LIGHT 拥有十大技术栈,在分布式技术方面,包括分 布式微服务技术中台 JRES3.0,分布式低时延平台 LDP、金融分布式数据 库 LightDB 等底层平台。 一套真正的分布式系统,需要由分布式的底层架构、中间件以及数据库 共同组成,三者缺一不可。凭借 JRES3.0、LDP 和 LightDB,恒生已在微 服务、低时延、数据库上拥有完善的分布式组件,可为金融机构打造分 布式系统提供自下而上全面的技术底座支持。3.1. 分布式微服务技术中台 JRES3.0 打造开发底座十年来,恒生技术平台经历着从 JRES1.0 到 JRES3.0的迭代更新。2008 年,JRES1.0 推出。2008 年,恒生研发中心刚刚成立,第一时间组成公 司面向企业级、WEB 应用的技术团队,推出 JRES1.0,让金融机构在做企 业应用整合之时可以快速地实现业务上的要求。2013 年,JRES2.0 发布。移动互联网时代,用户前端体验成为更受关注的焦点,恒生技术团队在 互联网应用中关注分布式资源的弹性资源池,在 Java 平台上增加各种 各样弹性资源池的技术组件来适应变化。恒生电子在互联网应用平台上 增加了移动应用开发平台——Light,为金融机构开发 APP 提供更多便 利性和组件化的实现方式。2018 年,JRES3.0 发布。新一代分布式技术 平台 JRES3.0,不仅全面支持恒生的应用,为金融机构提供走向互联网 化的应用;它还将开放给金融机构,以及开放给为金融机构提供服务的 其他的合作伙伴,共同服务好金融机构的用户。JRES3.0 技术平台由五个部分组成:混合云管控平台。私有云、公有云在从整个架构来看,需要一体化 的管控。不仅如此,很多金融机构希望原来传统 IOE 的东西也能够 通过平台进行管理。即使不同的金融机构可能底下选择的技术选项 不一样,但可以通过混合云管控平台整体管理。应用服务开发平台。恒生电子积累了很多研发工具和实践,也将在 JRES3.0 中开放出来。开发效能平台。对于金融机构的资源团队及合作伙伴所关注的问题: 金融级应用软件怎样做才最高效?怎么做才最符合金融机构所需? JRES3.0 中包括了开发过程管理相关的平台,即开发效能平台。统一的运维监控平台。系统应用性,金融业务特别强调的业务连续 性,以及分布式的系统运用,都使得运维管控变得分外重要。而统 一的运维监控平台,将是业务连续性保障的十分重要的基础设施。数字化运营平台。互联网的应用下,会逐渐沉淀下大量数据。 JRES3.0 能够帮助用户利用好数据。运营、开发效能、运维管控、 互联网组件,都包含其中。JRES 平台中深度融合了蚂蚁提供的分布 式的组件。JRES3.0 并不是一个中间件,而是完整的金融企业级应 用开发的套件。(报告来源:未来智库)3.2. LDP:低时延技术平台低时延平台在量化投资中越来越重要,恒生已经开发出LDP低时延技术平台。由于交易所撮合成交遵循价格优先、时间优先的原则,低时延在量化交易比重日益增加的投资领域中显得愈加重要,低时延也成为了机构评判交易系统的重要标准。目前,券商在低时延系统开发方面的投入加大,分布式低时延技术平台也正在成为证券公司的新一代基础设施。恒生以可靠组播、分布式一致性、内存数据库等为核心技术,自主研发分布式低时延技术平台 LDP。LDP 平台采用分布式高可用架构,可以进行交易的分片,在拓展的同时 实现不同分片的差异化配置和差异化管理。高并发,吞吐量超 3000 万 笔/秒,支持进一步垂直、水平扩展。高可用,支持双活、同步/异步复 制等多种模式,切换数据无丢失;高可用特性可以下沉到与业务无关的 基础层。LDP 平台可实现端到端时延突破 100 纳秒,组播网络端到端时 延低于 1.5 微秒。LDP 平台采用 FPGA 硬件加速、软硬一体相结合的方 式。目前,恒生 LDP 极速交易实测全链路时延 12.7 微秒。恒生 FPGA 极 速行情实测全链路时延 1.3 微秒。 LDP 平台支持插件开发、组件开发等多种开发模式。恒生团队抽取历代 恒生开发工具中的精华部分,打造低延时开发工具和公共组件,助力系 统的质量健壮以及开发易用。同时,LDP 平台从接口设计、代码管理、 研发测试到系统上线等,提供全流程开发、运维管理机制。LDP 平台能 够通过重演落地、并行上线、灰度升级等能力,可以保证软件更新迭代 过程中的正确性和业务连接性。LDP 平台作为开放技术平台,可支持恒生产品资源,也支持机构自研的 策略、算法、智能路由、数据或第三方资源,可通过开放 API 形式接入。 LDP 平台基于恒生全自研组件,不依赖第三方库,基础坚实,同时全面 适配国产硬件生态,支持麒麟 OS 国产操作系统,支持华为鲲鹏、中科海 光等国产处理器。LDP 支持丰富的开发语言和运行平台,包含 C/C++, Java、Python 等,支持 Linux、Windows 等主流操作系统。 3.3. LightDB:金融分布式数据库 在数字化转型的进程中,数据量随着业务发展而激增,仅凭传统关系型 数据库已经很难满足业务需求,分布式数据库的发展势在必行。2021年 12 月 1 日,恒生电子召开的 2021 LIGHT 开发者云大会上,公司正式发 布自主研发的金融分布式数据库 LightDB、金融科技创新的协作共享平 台--Light 云平台。LightDB 是恒生电子股份有限公司研发并将长期支 持的一款同时支持在线事务处理与在线分析处理的融合型分布式数据 库产品,具备 SQL 兼容性高、容量弹性伸缩、金融级高可用、现代硬件 融合、纯内存计算等核心特性,主要适用于对可用性、一致性要求较高 的系统。LightDB 具有众多优异特性。 1)为金融场景优化。对金融行业来说,快和安全是最重要的特性。快 体现到系统中,就是各种低延时。低延时是 LightDB 最重要的维度之 一,更低的延时意味着更快的委托和申报,进而影响着委托的成交优 先级,LightDB 能确保在吞吐量达到 50000 tps 时延时稳定在 5-8 毫 秒。如今没有一个数据库是独立、不和上下游数据同步的,保证高并 发下低延时(如 1 秒内)地同步到下游也是 LightDB 独有的创新之 处。安全意味着所有对数据的操作和访问可查证,体现到系统中就是 审计,在满足各种审计要求的同时、对系统额外带来的负载尽可能 低,也是 LightDB 为金融行业带来的独有特色。2)为分布式架构设计。一个号称分布式的数据库如果仅仅只是实现了 分布式事务、数据分片、采用多副本存储,那么它称不上是一个成熟的分布式数据库,只是把原来由 DBA 和运维完成的工程自动化了而 已,对业务带来的价值比较有限。为了最大程度提升即席查询的性 能,LightDB 将 SQL 语句尽可能 Pushdown 到存储节点完成本地化的关 联、聚合及映射。3)现代硬件融合。LightDB 充分利用现代硬件如 NVMe、RDMA、多核心 等的优势,以实现低延时和高吞吐量,尽可能达到和本地文件系统一 样的性能。4)丰富的 SQL 兼容性。兼容 ANSI SQL 主流版本语法及特性,Oracle 常用语法如 ROWNUM、DUAL 等。应用无需修改或者只需修改少量代码即 可从 Oracle 迁移到 LightDB。5)HTAP 架构。LightDB 中提供行式存储引擎、列式存储引擎及内存存 储引擎,不同的应用可以选择任何时候运行一个或多个引擎,满足用 户在一个数据库中同时解决 OLTP 和 OLAP 问题。6)智能数据库优化。LightDB 提供 Top SQL 分析、等待事件分析、SQL 调优、索引创建建议,实例和共享内存优化建议,数据库统计信息收 集建议,数据库设计合理性建议,锁等待,文件 I/O 等待等,全面覆 盖数据库优化的各方面。7)生态开放。LightDB 提供丰富的周边工具、云管理台,并提供 Redo 日志解析接口,提供到 MQ、Redis、ES 的同步适配器。用户还可以通 过插件机制扩展 LightDB 核心,比如 SQL 重写、自定义审计,同步到 Redis 等。高可用是金融领域关键应用的基本要求,LightDB 架构采用对等节点的 分布式集群架构,集群中每一个节点都拥有计算引擎、存储引擎, 利用 分布式一致性算法协议实现多副本技术来实现系统的高可用。同时,采 用数据分区分布和负载均衡技术实现系统的高性能和容量的弹性伸缩。4. 重点企业分析除了传统金融 IT 系统业务外,恒生电子很早就开始布局互联网创新业 务。恒生电子互联网创新业务主要服务客户对象为基金、证券、信托、 期货、保险、新兴、境外等各类金融机构,主要核心产品为一站式云服 务解决方案,IaaS+PaaS+SaaS 层云计算服务,主要功能为基于云的投资 交易、估值、托管清算、投资监督、信息披露、绩效评估及风险管理、 算法交易等。恒生电子收入超过 1 亿元的创新业务子公司主要是恒生聚 源,鲸腾网络和云毅网络。4.1. 恒生聚源:国内领先的金融数据资讯服务商上海恒生聚源数据服务有限公司是国内领先的金融、产业数据资讯服务 提供商。恒生聚源数据服务有限公司成立于 1995 年,是由国内金融信息 服务业的资深人员组建,拥有金融数据库、智能小梵、聚源终端等丰富 的产品线,公司自成立以来致力于对国内外金融信息资源进行搜集处理, 服务范围涉及信息采集加工、互联网信息服务以及信息产品技术开发等。 经过 20 年的市场耕耘,恒生聚源对金融市场的需求理解、产品设计、客 户拓展和专业服务都有着扎实的能力和丰富的经验,与 700 多家券商、 基金、保险、信托、银行、期货、资产管理公司等金融机构建立了广泛 的业务合作,深得客户好评。聚源数据库是恒生聚源的主力产品,对标万得金融数据终端。聚源数据 库以金融证券为核心,数据内容涵盖股票、基金、债券、金融衍生品、 期货、港股、宏观、行业、公告、资讯、新闻法规、海外经济数据等, 为专业企业、金融机构和消费者提供财经信息服务及数据中心解决方案。 恒生聚源金融数据库将专业知识同创新技术结合,立足于准确及时的金 融证券信息,不断向新的领域、新的产品和新的服务战略等方面拓展。随着数据库性能及内容的不断完善、服务及维护的不断加强,已经培养 出了国金证券、兴业证券、工银瑞信、中国人寿、平安资产、中国银行、 建设银行、农业银行、晨星、蚂蚁金服等一大批数据库用户,该产品的 市场占有率逐年攀升。 与同类产品相比,聚源数据库主要具有以下优势:覆盖全面:市场上品 种丰富的数据库;完整准确的历史数据;数据准确:计算机智能处理系 统;18 年专业数据处理经验;数据及时:当天处理所有数据;聚源数据 传输技术,让数据完整、快速传输到客户;规范性强:命名规范,便于 理解;科学的库表结构,已形成统一的数据标准。(报告来源:未来智库)恒生聚源推出的“智眸”平台为金融机构提供组合监控、主体画像、舆情 预警服务,帮助客户监控市场动态,规避金融风险。它拥有强大的风险 数据集市,利用 NLP、知识图谱、情感分析等技术,将海量信息基于业 务场景聚合,并精准打造舆情标签等十余个细分企业画像模块,实现主 体关联及多维数据监控,无死角监控风险。此外,“智眸”平台通过基于 “铁三角模型” 驱动下的智能预警,规避“债券违约、经营异常、财务粉 饰”等三大信息风险,将提升机构管理层和风控人员对风险信息的获取、 识别、研判的效率。“智眸”拥有全面的风险数据,结合恒生电子多年的 积累,具有全量的股债基数据、工商数据,并且对非结构化数据进行标 准化处理,然后在此基础上进行模型分析和提炼归纳,最后能够帮助客 户在不同的业务应用场景当中做辅助决策,此外,恒生电子还能针对特 定业务场景为客户进行定制服务。4.2. 鲸腾网络:金融客户端服务商鲸腾网络曾是恒生电子股份有限公司旗下产品部,拥有自主产品品牌 “投资赢家”。因发展迅猛且有自己的主营产品,同时为进一步落实恒生 电子员工投资“创新业务子公司”的持股计划,于 2015 年获批,与关联法 人宁波云汉投资管理合伙企业(有限合伙)共同投资成立创新业务控股 子公司。目前,拥有一支二百多人的高素质专业队伍,其中研发人员约 占 85%,在规划咨询、软件开发实施、技术服务、系统集成及系统维护 服务等方面,具备强劲实力和竞争优势。投资赢家专注于互联网金融 IT 服务 10 多年,在银行、证券、期货、基 金、信托、交易所、互联网金融等泛金融领域,做过将近 200+成熟的项 目。产品形态包括 PC 桌面客户端、APP 客户端、WEB 客户端及 HTML5客 户端。例如:证券行业有光大证券金阳光、东方证券东方赢家、平安证 券、方正证券小方 2.0、华创证券 e 智通等;期货行业有永安期货逸永 安财,弘业期货的弘运通、银河期货银河星云等;交易所行业有上海黄 金交易所易金通等。鲸腾网络主要面向金融机构服务领域,为证券公司、 期货公司、交易所、私募等金融机构以及互联网金融公司等客户,提供 行情、交易、资讯、财富管理、线上业务办理等专业化、层次化的产品 运营和产品服务。4.3. 云毅网络:深耕财富资管领域云毅网络以“成为中国财富资管领域首选的一体化平台”为愿景。云毅网 络是恒生电子股份有限公司控股子公司,成立于 2015 年 12 月,注册资 本 1 亿元人民币,公司总部位于杭州,设置上海、深圳 2 个办事处,是 财富资产管理领域的创新金融科技公司。云毅网络以“成为中国财富资管 领域首选的一体化平台”为愿景,以“服务财富资管机构、驱动金融科技 创新”为使命,专业为基金、证券、保险、期货、三方财富、境外等金融 机构开展财富和资产管理业务提供专业化、一体化的 Live Online 解决 方案和服务。云毅网络旗下核心产品服务包括投资管理产品、机构投资服务产品、策 略交易产品、管理人估值产品、外包估值产品、绩效风控产品、信息披 露产品、监管报送、登记过户产品、理财销售产品、营销服务产品、开 基电子化平台、云支付、毅直播、视频双录等服务。云毅网络自成立以 来不断驱动金融科技创新,协助金融机构在有限的资金投入下,快速搭 建财富资管平台、快速上线系统并进行展业以应对瞬息万变的金融市场和业务创新,助力金融机构开启云上金融时代。(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)精选报告来源:【未来智库】
DT 时代“数据即资产”的概念深入人心,拥有高价值数据源的企业在大数据产业链中占有至关重要的核心地位。“巧妇难为无米之炊”,大数据产业链发展后期,当整个产业链条逐渐打通拓宽,成熟的大数据生态形成之后,拥有数据源的企业将掌控数据链上游核心资源,并有望通过数据直接变现迎来历史发展机遇。 中国大数据资源丰富,挑战和机遇并存发达国家认识到大数据的重要意义,纷纷将开发运用大数据作为 夺取新一轮互联网信息化竞争制高点的重要抓手。美国 2012 年出台《大数据的研究和发展计划》,将大数据上升为事关国家核心竞争力的国家战略,这是继“信息高速公路计划”之后在信息科学领域的又一重大计划,投资 2 亿多美元启动该计划。中国拥有全球第一的人口数、互联网用户数和移动互联网用户数,大数据应用前景广阔,成为全球最重要的大数据市场之一,已经成为名副其实的“世界数据中心”,中国大数据“金矿”的价值和规模都是其它国家所不能比的。首先,巨大的数据资源带来黄金发展机遇( Opportunities)意味着巨大的财富,变现潜力巨大。我国信息产业目前依然维持高增长,大数据商业价值日益深入人心,大数据资源的变现能在民生、生产、生活等众多领域造福国民,创造巨大价值。其次,我国目前的大数据数据资源依然存在诸多不足( Weaknesses)。由于我国大数据相较于美国等西方发达国家起步较晚,大数据基础设施建设依然处于初级阶段,因此数据的收集、存储以及即时性分析都还存在着诸多不足。我国的数据资源丰富,但分布比较分散,往往跨行业跨区域存在。如何将各种分散的数据资源整合起来, 避免有价值数据的丢弃,让它们得到充分、有效的利用,这是大数据市场发展的重要问题。第三,我国大数据资源上存在巨大优势。首先,我国大数据资源丰富,已经成为全球最重要大数据市场之一,创造的数据规模远超其他国家,为中国大数据产业提供了丰富资源。另外,目前为止中国的企业信息化建设时间不长,IT 架构相对简单,便于新技术、新解决方案的推广和应用。随着云计算建设的深入,用户会逐渐看到新技术给他们带来的价值,这有利于大数据理念的推广,更有利于及早地完善大数据采集阶段,避免有价值的数据流失。最后,海量的数据管理难度巨大,也给数据安全提出了更高的要求。 大数据孕育着很多商机,如何在商业化的过程中既保证个性化,又保护隐私这是一个对立的问题,给开发者提出很大挑战。利用大数据获取商机显然十分重要,但如何防止这些数据被过度泛滥、被公开和被不法分子利用,则是大数据发展过程中必须思考的新课题。 大数据资源获取难度不一,与价值密度成正比数据资源随着互联网以及信息化的快速发展而继续高歌猛进,数据量和数据类型都继续高速增长。 DT 时代,基本上所有的企业、机构甚至每个个体都在不断的产生有价值数据。但是,需要注意的是数据资源所蕴含的价值不尽相同。同时,根据我们前期的调研结果来看,数据资源的获取程度与数据本身所蕴含的价值密度成正比。我们选取互联网数据、运营商数据和社保数据来进行具体分析说明。互联网大数据:互联网厂商数据基本上是目前最容易获取到的数据,我们调研了解到一般互联网厂商已经开始意识到大数据所能带来的巨大价值,同时由于处于信息技术前沿,因此对于数据交换、共享、合作持非常开放的合作态度。但是,由于互联网数据分散、用户多样以及存在一定的匿名性等原因,互联网数据的数据价值较低,目前来看最主流的应用依然主要集中在大数据营销上面。同时,由于数据密度较低,只有大型互联网企业拥有相当体量的数据量才能引领互联网大数据,其中我们熟知的 BAT 都是凭借多年海量数据积累才因此具备大数据资源对内对外应用实力。运营商大数据:运营商凭借所处的数据交换中心地位,能搜集到与用户息息相关的最有价值、更为准确的数据,包括:地理位臵、商业活动、搜索历史、社交网络等,其 DT 时代的战略地位是 BAT 等互联网巨头所无法企及的。再者,电信大数据天然具有用户最为相关的信息,在国家力推用户实名制后,电信数据更准确的涵盖了用户方方面面真实且完整的信息。受益于移动终端数量的快速普及以及移动用户数量的大幅增长,运营商多年来已形成有效的用户大数据。虽然目前运营商为摆脱“增量不增收” 以及在互联网厂商进军 OTT而被管道化困境,大数据的出现为电信行业带来了新一轮的技术革命。有关大数据在技术、应用和商业模式的讨论在多个层面展开,大数据已经成为电信行业未来发展的重要支撑之一。但是,运营商的数据所有权界定不明,同时基于用户隐私保护等原因,运营商的数据在应用上特别是对外合作上面困难重重,运营商非敏感数据获取据调研需要平均花费半年到一年的审批时间。数据的开放共享是大势所趋,我们已经看到了运营商大数据在不涉及具体用户隐私的应用实例,以中国联通为例:截止到 2015 年底,联通大数据体系共涵盖了 3,000 余个用户标签,能够轻松识别 3.8 亿条 URL、 6 万个互联网产品、约 3,000 个手机品牌、 8.2 万个终端型号,并已逐步在风险控制、金融服务、快消品、终端、汽车、旅游等细分领域实现了行业的创新应用。2015 年高通通过联通提供的数据量化分析,不但能够更准确的了解手机市场的发展规律,将各种数据、指标和信息的不同指数进行量化,还能够找出数据背后的信息,并构建有效的量化分析体系,将数据真正变为对企业决策有用的信息,让他们对移动终端市场的发展不仅做到了知其然,也做到了知其所以然。36 氪则是通过中国联通提供的用户的画像数据,用户的活跃数据,统一的用标准化处理的方式,处理成人工能够直接理解,通过机器能够处理的纬度,再输入到机器学习的模型中去,最终得到用于判断一个公司的发展趋势和爆发力的指数,来帮助他们完成潜力公司的挖掘,也帮助投资者更好的量化评估一个企业。作为大数据的拥有者,运营商更应该承担其相应的责任,在确保客户信息安全的条件下,通过开放共享的方式,积极参与大数据生态体系的建立,通过创造大数据价值应用,有效地连接个人,企业和政府,让大数据真正服务于社会。社保大数据:关系每一个个体,不仅具有实名的特点,更是涵盖了个人在社会上面的几乎所有有价值的信息,社保卡涵盖持卡人姓名、性别、公民身份证号码、相片等基本信息,卡内还标识了持卡人个人状态,可以记录持卡人社会保险缴费情况、养老保险个人账户信息、医疗保险个人账户信息、职业资格和技能、就业经历、工伤及职业病伤残程度等。社保信息在金融、营销、医疗、保险等行业的巨大价值不言而喻,但是由于这些信息过于敏感同时归属于国家和个人,如何获取信息并在不触碰个人隐私的情况下用好这些数据依然是个难题。由于我国的社会保障制度建立时间不长,制度本身又是采取分人群设计、分部门管理、分地区实施,同时各部门大多实行封闭监管模式,彼此之间管理信息不能有效共享,数据、凭证传递不及时,各方账目、数据常有出入,造成社会保障信息管理协调难度加大。另外,我国现在的社保数据依然是各个省市分而治之,信息孤岛的情况依然存在,如果一个企业希望获得覆盖足够广的社保数据,就必须和每一个省市的相关单位机关进行沟通,这一公关成本将会非常巨大,获取信息的难度也是极高。但是,我们看到相关的政策已经在推进社保等民生数据的开放共享上面的努力。2015 年,国务院通过通过《关于促进大数据发展的行动纲要》,要推动政府信息系统和公共数据互联共享,消除信息孤岛,加快整合各类政府信息平台,避免重复建设和数据“打架” ,增强政府公信力,促进社会信用体系建设。优先推动交通、医疗、就业、社保等民生领域政府数据向社会开放,在城市建设、社会救助、质量安全、社区服务等方面开展大数据应用示范,提高社会治理水平。数据价值的提现不经在于数据量“大” 更需要数据覆盖范围大,只有将足够多的来自于各方面的数据集中到一起才能更彻底的发挥大数据的威力,才能更精准的进行用户画像。各类大数据的聚集不仅能带来大数据量的增加,更重要的是全面的数据将会带来质变,将大数据挖掘过程放到更大的处理环境,新的洞察数量/质量都将呈指数级增长,从而会进一步巩固大数据的核心价值。因此,我们认为在数据变现通道打通,大数据应用加速的情况下,大数据资源所占据的行业制高点的位臵将得以巩固和加强。同时,全面数据的的共享、共通将会有助大数据资源价值的急剧增加。同时,掌握数据资源的企业和机构将面临日益降低的数据变现门槛,同时随着技术的进步,数据价值的挖掘将会变得更加彻底,届时大数据资源所有者将真正掌握产业链价值流动。我们认为,大数据工具和分析方法的完善和演进在大数据产业链发展初期建设阶段十分重要。类比于电信网络的发展,同样网络硬件的铺设以及通信技术的发展在早期占据着产业链核心位臵。但是,随着网络覆盖接近完成,通信带宽的进一步增加,硬件网络及通信的价值却不见明显增长却直接带来了移动互联网及网络相关应用的大繁荣时代。我们判断在目前大数据产业的建设阶段,大数据底层设施到数据分析作为信息变现通道将继续加强建设得到拓宽,因此依然具有较大价值。随着大数据生态的逐渐成熟,大数据底层分析将会向着工具化、管道化的角色发展,从而引导产业链价值加速流动到数据源以及数据应用端,数据源以及数据应用将会在不远的未来迎来繁荣时代。 正视产业发展问题领先布局,抓住大数据应用爆发新机遇虽然大数据变现通道已经初步形成,大数据生态在经过几年飞速建设之后依然处于初级阶段。我们认为,在大数据产业继续完善这一阶段,产业发展依然存在许多痛点。目前, 市场上近乎所有大数据企业和客户都面临一个难题,由于外部数据质量、企业用户数据敏感度、企业管理方式、商业数据人才等问题,数据解决方案同客户业务结合的深度不够,数据对业务整体推动效果不如期望。大大数据企业如果想发展壮大并成为行业领先的企业,其必须放弃短期利益,深入到客户的运营中去,了解客户的数据、业务、商业需求。再者, 数据和业务深度结合的核心是掌握正确的数据、正确的方法、正确的工具。业务人员要懂数据,技术人员要懂业务。复合型数据人才是数据生意的关键, 业务人员掌握数据技术的门槛较高,但是技术人员了解业务的门槛很低,复合性人才倾向于从技术人才培养开始。企业内部的数据人才和大数据企业的数据人才需要互相学习,了解对方环境和需求,在同一个平台上进行对话和沟通。数据团队需要深入了解业务场景和背后的规律,从业务出发,从场景出发,从数据出发,将大数据解决方案同业务深度结合,利用数据推动业务发展,发挥大数据预测规律的核心价值。在大数据应用加速爆发前夜,大数据资源战略资产地位将确立之前,阻碍大数据生态良性发展的痛点需要先得到解决。 因此, 市场需求反过来为大数据产业带来新机遇,解决行业痛点助力大数据产业的加速发展,有望迎大数据产业爆发前最后一波机会。 我们下面结合行业的几大痛点或缺陷,重点分析大数据产业链未来依然存在的巨大机遇。 垂直化行业应用相对缺失,大数据+行业理解开创新机遇大数据发展至今,大数据软件和分析的发展目标一直都是为了尽量支持多的需求,所以主要集中在大数据分析和底层技术层面。纵观目前的大数据产业,产业佼佼者依然以传统软件商如 IBM、 Oracle 和普适化行业软件商如 Tableau、Splunk 为主。数据之所以成为新商业经济社会的必争之物,在于它实际场景中的应用 价值。数据只有被应用到具体的商业场景和产业生产中才具有价值和意义,企业之所以将建立的交易数据库、客户数据库等视为企业核心竞争力,是因为得数据者得用户、得用户者得天下。企业之间的激烈竞争是商业社会优胜劣汰的必经之路,如何利用好数据,将之转化为有价值的数据财富应用到产业化场景中,是当下企业建立竞争壁垒的首要问题。我们认为,底层软件+数据分析发展到现在已经足以支撑起行业应用,但是技术方面与具体行业方面存在较大脱节,导致垂直化大数据应用的缺失。从这个角度上来说,做垂直化的大数据才能最有效的最彻底的挖掘单一行业的大数据价值。在完全渗透某一行业之后,也有望凭借行业发展经验辐射周边行业,进而以小博大实现在大数据发展上的弯道超车。垂直化应用的前提和必要条件是拥有过硬的大数据综合实力以及对某一垂直行业的深入了解。然后,着手建设行业应用生态并逐步扩张,且形成可持续且盈利的商业模式。最后,在大数据行业应用生态形成之后可以创建以自身大数据技术以及对行业上下游的把控为基础数字标准,从而最终占据行业细分龙头地位。DataEye 专注于泛娱乐领域的大数据分析和挖掘获 5,000 万 A 轮投资DataEye 成立于 2013 年 9 月 9 日,发布了 D-OAP 游戏分析平台、 D-OAP 渠道分析平台、 D-HAPHTML5 游戏分析平台和 D-EAP 游戏体验分析平台。截止目前,DataEye 合作企业超过 600 家,如小米金山云、乐视、人人游戏、中国手游、乐逗、网易游戏、谷得游戏等企业,合作游戏六千多款。DataEye 认为,能持续保持对游戏专注的数据服务,正是移动游戏行业所缺少的,更是移动游戏行业所需要的。 DataEye 还是 HTML5 游戏分析平台的数据服务商, 未来战略主要方向是对前端累积到数据仓库的大量数据进行深度挖掘,助力移动游戏产业链各个环节的运营优化和利润提升。DataEye 对行业高度的持续聚焦与专注赢得了业内知名厂商的青睐,与中国移动、网易、腾讯、阿里巴巴、中手游、乐逗、 TCL、酷派、 360 等建立广泛而深度的合作关系,服务 8,000 多家厂商。目前已经形成泛娱乐全方位大数据生态。阿里巴巴成立新公司“友盟+” 打造全域数据服务平台2016 年 1 月 ,移动开发者服务平台友盟、中文网站统计分析平台 cnzz 及互联网数据服务平台缔元信网络数据宣布合并,成立新公司 “友盟+” ,致力于打造全域数据服务平台。三家公司的共同出资方都是阿里巴巴集团。新公司成立后,三家公司现有的产品、功能、联系方式及沟通渠道可以正常使用,不会受新公司成立所影响;同时,新公司友盟+将聚合强大数据资源和能力,从数据采集、数据资产、数据产品及数据应用四个层面,为广大客户提供全域( PC、无线、线下&IOT)数据一体化服务,让多端数据连接,服务更加流畅,实现 1+1+1 > 3 的聚合效应,帮助企业快速成长,共享数据时代的福利。我们认为,三家公司选择合并符合阿里巴巴集团在大数据垂直化服务方面的布局,新公司 “友盟+” 的成立将极大增加数据覆盖能力并形成从数据采集、挖掘、分析、应用的完整生态链。 数据流通存在壁垒,第三方数据运营企业有望占据产业链上游有利位臵数据即资源的概念已经形成共识,数据资源一直占据着大数据产业的核心位臵。同时,数据资源由于不具备实体,因此可以多次复制并多次交易。另 外,大数据相对于传统的战略储备资源如石油等,具有持续可再生的特性,大数据对数据时效性的要求帮助数据资源方实现不断的变现,数据财富可以说是取之不尽用之不竭。但是,大数据资源的共享共同流通等交易依然存在问题,大部分的数据交易以传统的以物换物等较原始的方式进行。很多大数据企业拥的数据都是片段的数据,很难形成完整的,具有商业价值的数据。大数据市场的数据质量和企业的数据需求有较大的差距。外部数据大多处于孤岛状态,数据之间很少流动和整合; 孤立、不流动、没有整合的数据很难帮到企业,很多需要数据的企业不得不从多个大数据企业采购数据,效率很低,采购来的数据价值不高,数据整合的难度较大,数据采购的整体费用过高。数据与数据之间的碰撞会产生一个核聚变的过程,可引爆大数据产业发展,推动大数据应用的真正加速,数据源这一产业原始燃料交易和流通的问题必须得以解决。国家正加大对大数据开放共享的政策支持和引导2015 年 8 月 19 日国务院发布《关于促进大数据发展的行动纲要》指出要加快政府数据开放共享,推动资源整合,提升治理能力。这一方面将推动政府数据资源共享,从而形成政府数据统一共享平台。另一方面,政府也通过这一行动以身作则推动数据共享,消除信息孤岛,其示范作用巨大。针对具体开放的领域,会议指出,优先推动交通、医疗、就业、社保等民生领域政府数据向社会开放,在城市建设、社会救助、质量安全、社区服务等方面开展大数据应用示范,提高社会治理水平。具有海量数据资源企业内部数据流通闭环是数据流通主流构成目前来看,大部分数据流动发生在企业内部,也就是说企业内部的数据流动闭环已经逐步成型。在企业内部形成数据流通闭环的前提是企业自身掌控海量数据资源,同时本身具有丰富的应用需求以及过硬的大数据技术。其中的代表企业主要有 BAT 三家互联网领军企业,其内部本身数据资源充足,技术行业领先,可以支撑自身的众多需求。同时,正如我们第一部分分析, BAT 都纷纷开始完成开发基于自身技术和数据资源的大数据服务平台并开始对接外部服务,实现变相的数据流通。 打造开放大数据交易平台的第三方数据资源交易公司迎来新发展机遇“数据堂” 开创数据银行享万亿数据交易市场数据堂成立于 2011 年,为国内上市的大数据资源服务龙头企业,致力于成为全球最大的数据服务商,旨在盘活和融合各类大数据资源,挖掘数据价值,为客户产品和服务增值,为社会发展和进步献策。通过获取线下大数据、行业大数据以及政府大数据,数据堂整合了涵盖科技、信用、交通、医疗、卫生、通信、天气、地理、质监、环境、商户、电力等数十大领域的大规模数据。以此为基础,为客户提供专业数据采集处理、共享交易及数据云服务。当前数据堂已为百度、腾讯、阿里巴巴、平安、 Microsoft、 Facebook、 Intel、 NEC、Canon、 Samsung 等国内外知名企业,以及众多国内外创新创业公司提供数据服务。大数据交易所打造数据流通交易平台在贵阳国际大数据产业博览会暨全球大数据贵阳峰会召开的一个月前,中国首家大数据交易所落户贵阳,贵阳众筹金融交易所、贵阳大数据征信中心、贵阳大数据资产评估中心也在数博会期间挂牌运营。该大数据交易所以电子交易为主要形式,通过线上大数据交易系统,撮合客户进行大数据的交易,为大数据交易提供一个公平、可靠的环境交易系统。此后,多家大数据交易所在国内如雨后春笋般建立,大数据交易所的运作以及数据交易也开始步入正轨并呈快速上升趋势。未来的 5 到 10 年内,随着物联网、工业 4.0 等新兴概念的发展和应用,大数据将起到信息工业化的依托作用。届时数据交易将成为常态,作为全国第一个数据交易所,数据交易量年达 1 万 PB,相当 100 个阿里,日均交易金额突破100 亿元,年总额 3 万亿。交易所旗下的做市商至少 200 家,围绕交易所平台的创业公司超过 1 万家。很明显,中国质量最好的数据在金融行业、 BAT、电信运营商,这些企业比较谨慎,很难向外部输出数据。这三大行业自身的主营业务也不在数据,其数据产品生产和输出的愿望也不强烈。政府的数据正在逐步开放,但是其数据质量、集中度、输出方式等多存在很大挑战。挑战意味机遇,第三方公司作为数据中立方如果能打通各个数据孤岛,引导数据向需求方流动,不仅能解决这一限制大数据发展的问题,更能通过交易平台尽享大数据流通所带来的巨大盈利空间。 大数据安全、隐私保护、数据交易定价三大遗留问题亟待解决正如我们前面分析提到 ,大数据资源将继续呈现爆发式和多样化增长,这一方面为大数据产业链提供了丰富的燃料,而另一方面大数据引发的个人、机构甚至国家的信息安全问题也逐渐显露出来。首先,海量数据将难以统一管理,数据泄漏已经成为威胁企业发展和生存的主要隐患之一。大数据安全由大数据技术守护从下图中,我们看到 2015 年信息安全事件频发,以数据泄漏、数据盗取为主。在大数据时代,企业数据安全问题尤其突出,越来越多的黑客正在“商业化” ,愈发成熟的黑色产业链一次次的证明数据的价值。首先,企业数据自身是宝贵的数据资产,数据泄漏不仅有害公司声誉,也使得公司的数据资产流失,甚至威胁公司的生死存亡;另外,企业安全架构日趋复杂,各种类型的安全设备、安全数据越来越多,传统的分析能力明显力不从心;最后,大数据技术发展本身也助长了黑客发现和盗取的能力,传统数据防护技术在当下面对日益严峻的安全威胁之下显得捉襟见肘。2012 年 3 月, Gartner 发表了一份题为《Information Security Is Becoming a Big DataAnalytics Problem》 的报告,表示信息安全问题正在变成一个大数据分析问题,大规模的安全数据需要被有效地关联、分析和挖掘,并预测未来将出现安全分析平台,以及部分企业在未来五年将出现一个新的岗位——“安全分析师” 或“安全数据分析师” 。大数据技术的发展给黑客升级了“矛”, 同时大数据技术也给数据安全防护行业带来了新的更强大的防护技术升级。传统以防御为核心( Signature Based)的安全策略已经过时,信息安全正在变成一个大数据分析问题,大规模的安全数据需要被有效地关联、分析和挖掘。DT 时代已经有众多基于大数据的防护技术帮助保护企业的数据安全,让安全黑洞无处遁形。企业需要更安全、更强大全分析平台,不仅可以搜集和管理这些和安全相关的海量资源,还可以更快、更准确地调查安全事件,生成合规报告以及清楚地了如何改进现有的安全流程和系统。瀚思安信:大数据时代的安全专家瀚思安信拥是国内最早实践 Hadoop 开发与运维的企业,成员多来自国内外知名安全公司。瀚思基于大数据框架对企业的系统、应用和用户访问行为数据进行存储与分析,并采用机器学习和算法来检测异常行为,是业界公认的抵御新型外部攻击( APT, Advanced Persistent Threat)和内部人员恶意窃取核心数据( Insider Attacks)的最有效方式,可以最大限度的保护企业信息资产安全。瀚思坚信唯有通过海量数据的深度挖掘与学习,才能使企业适应千变万化的安全威胁,并实现由“被动防御”到“主动智能” 的信息安全战略升级。未来,瀚思还会将产品和服务模式逐步向 SAAS 模式、云化以及向中型企业进行迁移。瀚思成立至今,凭借自身在信息安全与企业软件产品领域的经验建立了独有的安全理念和长远的战略目标, 而在大数据安全分析领域的内在价值也已被企业用户和投资者认可。不到两年的时间,瀚思已经成为 Hadoop 领导者美国 Hortonworks 公司在华的技术合作伙伴,并迅速获得光速中国创投( LightSpeed)首轮千万融资。隐私保护机制落后大数据技术,仍需技术+立法双管齐下目前,在大数据价值日益凸显的刺激之下,数据收集受到了史无前例的关注,人们在享受大数据带来的进步和便利之时也无时无刻不在通过产生个人数据的方式为大叔发展添加数据燃料。消费者受惠于海量数据:更低的价格、更符合消费者需要的商品以及从改善健康状况到提高社会互动顺畅度等。同时,随着个人购买偏好、健康和财务情况的海量数据被收集,人们对隐私的担忧也在增大。“棱镜门”事件爆发后,尴尬的美国总统奥巴马辩解道:“你不能在拥有 100%安全的情况下,同时拥有 100%隐私和 100%便利。”不论愿意与否,我们日常的个人行为、内容等数据正在不间断地被企业、个人搜集和使用。个人数据的网络化和透明化已经成为不可阻挡的大趋势,掌控大量公民数据的机构不再限定于政府机构,许多企业如 BAT 甚至个人都已经拥有海量数据,同时数据收集能力帮助他们可持续性地获取更多数据。大数据时代,关联图谱挖掘技术进展迅猛使得元数据中能挖掘的隐私越来越多,个人信息在网上泄漏已经成了不可避免的难题。如上图所示,利用一个QQ 号码在不需要密码的情况就能通过大数据找全所有的群组关系。我们认为,隐私保护机制的缺失以及对个人隐私的不断侵害,最终会导致人们讳疾忌医,过于谨慎而不再分享数据,同时畏惧大数据技术本身,这都将最终影响大数据产业的发展和进步。因此,如何保护个人数据隐私将成为大数据产业发展必须要面临的问题。为了解决这一问题,政府尽快完善相关立法的同时,企业自身也必须设定相关规则实现自律,如 IBM、微软、柯达、花旗、 Facebook、宝洁、 360 等都已经设有“首席隐私官” 。数据脱敏——在保存数据原始特征的同时改变它的数值,从而保护敏感数据免于未经授权的访问,同时又可以进行相关的数据处理。您可以在保留数据意义和有效性的同时保持数据的安全性并遵从数据隐私规范。借助数据脱敏,信息依旧可以被使用并与业务相关联,不会违反相关规定,而且也避免了数据泄露的风险。Gartner 分析师在《数据脱敏技术魔力象限》报告中就指出:“有越来越多的企业在通过战略方法进行数据脱敏。目前,全新的数据脱敏应用案例也在快速的涌现出来。 ” 报告还建议企业应将数据脱敏技术及其最佳实践集成为软件生命周期 (SLC)和数据管理过程中不可缺少的组成部分。数据脱敏不只是另一种的数据操作,它正在成为软件生命周期和数据管理的核心内容。Informatica 数据脱敏领导者估值超 50 亿美金Informatica, 1993 年创立于美国加利福尼亚州,并于 1999 年 4 月在纳斯达克上市。作为全球领先的独立企业数据集成软件提供商, Informatica 帮助世界各地的组织为其首要业务提供及时、相关和可信的数据,从而在当今全球信息经济中获得竞争优势。借助 Informatica 全面、统一、开放且经济的数据集成平台,组织可以在改进数据质量的同时,访问、发现、清洗、集成并交付数据,以提高运营效率并降低运营成本。在业内领先的 IT 研究与咨询公司 Gartner 于 2015 年 11 月刚刚发布的客户数据解决方案主数据管理魔力象限报告中, Informatica 凭借卓越的执行能力和前瞻性位居领导者象限。 Informatica 已连续六年位居领导者象限,在 2015 年的报告中, Informatica 同时在“执行能力 ” 和“前瞻性” 两个方面获得最高分。我们认为,对大数据隐私的愈加重视不仅需要政府加大监督力度并完善相关立法,更对企业自律提出了较高要求。同时,数据脱敏作为保护隐私的最佳手段在大数据产业爆发期间也必将迎来爆发式的发展机遇。 数据交易定价困难限制数据流动共享为了解决数据流通困境,各大省市大数据交易所相继设立,九次方、数据堂等企业开始凭借交易平台实现新的可盈利商业模式。但是,大数据大量、多样、高速的基本特征,加上其价值的不确定性、稀缺性和多样性,导致了大数据定价中传统定价模式和定价策略难以解决的双向不确定性问题。目前看来,数据交易定价依然存在诸多困难,也极大的限制了各大数据交易平台对数据流通共享的促进实力。首先,由于数据应用场景不一,数据的商品化交易需要先完善相关数据标准。其次,市场缺乏行之有效的数据交易市场机制,数据流通尚不成熟。第三,数据商品定价和资产估值困难,买卖双方存在信息不对称。第四,数据隐私保护和数据安全机制不够完善,导致数据交易受限。 新一轮技术革命在酝酿,基于大数据的数据挖掘重新定义人工智能过去一年,大数据分析特别是随着深度学习相关技术迈向成熟后,业界正愈加注重大数据在人工智能方向上面的应用和拓展,各种形式的应用和接口都慢慢被开发出来了 。“深度学习”是指多层的人工神经网络和训练它的方法。一层神经网络会把大量矩阵数字作为输入,通过非线性激活方法取权重,再产生另一个数据集合作为输出。这就像生物神经大脑的工作机理一样,通过合适的矩阵数量,多层组织链接一起,形成神经网络“大脑”进行精准复杂的处理,就像人们识别物体标注图片一样。虽然神经网络在几十年前就有了,直到最近才形势明朗, 主要因为前期大量“训练” 缺失导致神经网络无法有效地发现矩阵中的数字价值。对早期研究者来说,想要获得不错效果的最小量训练都远远超过计算能力和能提供的数据的大小。得益于互联网、移动互联网和越发廉价且变得无处不在的传感器,这个世界产生的数据量急剧增加,最近几年一些能获取海量资源的团队重现挖掘神经网络,就是通过“大数据”技术来高效训练。人工智能的概念由来已久,人工智能所能带来的未来世界已经多次被人们所畅想,各种各样的人工智能几乎成了以未来为题材的科幻电影的标配。得益于基于大数据的数据挖掘、机器学习以及深度学习技术的发展,我们第一次如此近距离的接近那个原本只存在电脑中的人工智能技术。 2015 年,不仅是大数据应用的元年,同时也是大数据帮助人工智能提升从研究转化实际应用的一个新的良好开端。目前的人工智能主要应用 还实在在游戏、电商、广告等较为传统商业模式上的。 但是, 这些对于整个人工智能的发展来说只是冰山一角, 人工智能的巨大潜在价值还有待进一步挖掘。 我们认为, 人工智能之于人类的价值不亚于人类的再一次进化,将有望通过人工的方式解决限制人类发展的智力瓶颈。过去的一年里,人工智能领域风起云涌,大大小小的初创公司频繁被 Google、Apple 等传统互联网企业收购从而引入人才和技术,构筑人工智能时代的领先技术。同时,中国的初创公司也开始凭借技术和广阔的市场空间吸引越来越多注意。苹果频繁收购人工智能公司,打造苹果智能生态2015 年 10 月 4 日, 苹果收购了英国的人工智能创业公司 VocalIQ,意在打造更加“善解人意” 的 Siri 智能助理。 VocalIQ 利用人工智能技术来提升人机交互中的自然语言处理能力,使得机器能不断学习并提高对人类自然语言的理解能力。 VocalIQ 的主要业务是向 APP 开发者提供自然语言处理数据库服务,通过汇集处理海量的 APP 用户的人机会话, VocalIQ 能不断提升其人机自然语言处理服务的智能化水平。目前,苹果公司正在越来越多的产品中整合 Siri 个人助理技术,尤其是那些不方便手指输入命令的产品,例如 Apple Watch 智能手表和最新发布的 Apple TV,都将非常依赖 Siri 的语音控制。两天后,苹果公司再度出手收购专注图像辨识的小型初创公司 Perception。该公司的技术,能帮助企业客户在智能手机上运行先进的人工智能系统,同时不必分享大量的用户数据。Perceptio 的创始人 Nicholas Pinto 和 Zak Stone 分别是哈佛大学和麻省理工学院的人工智能专业博士,研究领域为基于深度学习技术的图像识别系统。 Perceptio 的目标是开发智能手机端的人工智能图像分类系统,同时无需大量的外部数据。这符合苹果的策略,即对用户数据的利用最小化,并将尽可能多的技术放在手机端。2016 年 1 月 8 日, Apple 再接再厉宣布已收购致力于通过面部表情分析来判定人的情绪人工智能技术公司 Emotient。视频显示, Emotient 利用人工智能扫描人脸,然后可在数秒钟内解读出他们的面部表情所代表的意义,这种技术过去主要是帮助广告商和销售人员判断消费者对广告或产品的反应。Emotient 曾在视频中介绍这种技术可被用于各种领域。广告主可利用其评估人们对广告或新产品的反应,媒体公司可利用其评估观众对电影或电视剧的看法,零售商则可利用其衡量人们对某种“零售体验” 的感想等。此外,这种技术还可被用于医疗领域,用于判断病人的感受。 Emotient 技术的关键是能够扫描人脸识别表情,但不会储存有关这些人的任何个人身份信息。对于许多初创企业来说,面部扫描技术的使用很容易引发隐私担忧。Google 收购 DeepMind 布局人工智能DeepMind 是位于伦敦一家成立仅三年的人工智能初创公司,该公司专注于机器学习和神经精神科学的研究,将算法应用到电子商务推荐系统的各种电子产品中去,主要涉及模拟程序、电子商务和游戏等领域。DeepMind 拥有一个约 50 人的团队,并已获得超过 5,000 万美元的融资, DeepMind 的投资方包括Founders Fund,以及李嘉诚旗下维港投资。这家公司引得 Google、 Facebook 等互联网巨头竞相追逐,最终 Google 在 2014 年以约 4 亿美元完成收购。通过开发尖端的自主学习软件, DeepMind 已经通过旗下名为 AlphaGo 的人工智能在没有任何让子的情况下以 5:0 完胜欧洲冠军、职业围棋二段樊麾,为自己建立起了声誉。同时, DeepMind 正努力向医疗技术领域推进,希望把自己的技术能够应用于医疗保健领域。人工智能初创公司 “出门问问” 获谷歌 5,000 万美元投资,估值达 3 亿美金2015 年 10 月 20 日, 成立仅三年的人工智能创业公司出门问问宣布获得谷歌投资约 5,000 万美元,目前公司估值已达 3 亿美金。出门问问团队成员 80%均是工程师,公司的强大研发团队不仅由 Google 前科学家、人工智能专家领衔,组成成员也均为来自斯坦福、剑桥、清华等名校或雅虎北京、 BAT、诺基亚的顶尖软硬件工程师。迄今为止,出门问问依然是中国市场上唯一一家拥有自主语音识别、语义分析、垂直搜索技术的创业公司。出门问问的语义分析应用了深度学习,依赖于大数据,有非常好的可扩展性。 出门问问利用大数据来理解各种场景和口音,进行智能化判断。 此外,用户利用 GPS 传感器搜索、导航、收听音乐都能产业巨大数据流量,服务器能对这些流量进行收集和分析从而增强公司人工智能实力,未来可为用户提供更智能、快捷服务。我们认为,在机器学习、深度学习等技术发展的推动之下,人工智能已经成为大数据应用的一大主要方向。人工智能有望彻底解放人类在智力上束缚,目前能看到甚至想象到的人工智能应用依然还只是其未来应用的冰山一角。大数据技术作为重燃人工智能希望的核心技术,其未来应用空间也将随着人工智能的普及应用而继续扩大。 因此,在相当长的一段时间里面,大数据和人工智能将形成有效的相会推动。总之,大数据变现通道已初步打通,大数据应用一触即发,大数据资源将占据核心位臵,此时我们需要着手未来继续探索人工智能给大数据发展带来的全新机遇和巨大市场空间,也需要正视限制大数据产业发展的诸多困难和产业存在,如数据保护、隐私保护、信息孤岛等。解决这些问题不仅将释放大数据的生产力促进大数据更好更快发展, 同时行业痛点的存在也以为产业发展机遇,数据清洗、隐私保护、安全防护这些都是新的发展领域且有较大成长空间。结论:2015 年是大数据应用启动元年,虽然大数据产业链还没有迎来预期的爆发,但是我们调研中发现大数据产业链依然在高速成长,未来一到两年内实现大数据应用的全面爆发确定度较高。目前,大数据底层软件到数据分析技术发展已经趋于成熟,大数据生态逐渐形成,大数据产业变现通道已经打通。产业价值将加速向产业链两端即数据源和数据应用跃迁,大数据底层到数据分析将向着工具化、管道化发展,依然存在较大拓宽空间。大数据产业向生产力平台方向演进,产业链价值从底层设施加速向产业上下游跃迁: 近几年大数据行业迎来了高速发展,大数据挖掘、强化、分析这些中间技术环节由于构成产业必要工具而一直是产业的发展重点,也已率先走向成熟并打通大数据变现通道。我们认为,随着大数据变现通道的打通以及后期拓宽,产业链价值正由数据分析工具加速向数据源以及数据应用两个具备巨大可持续变现的产业链上下游跃迁。目前,整个生态依然处于初级阶段, 继续解决行业痛点将助力产业加速发展也隐藏着大数据产业发展新机遇。大数据底层软件和分析逐渐工具化/产业化,需求上升带来产业发展空间: 大数据底层工具以及分析处理市场随着分析需求数量和种类的增多而迎来更广阔的市场并催发新一轮技术创新。大数据分析作为大数据应用的必经之路,由于数据源以及数据应用的不同存在两个主要发展方向: 1 、向普适化软件发展; 2、结合具体行业向咨询、管理工具发展。我们认为, 大数据应用集中爆发将导致数据分析需求多样化和定制化,结合具体场景深入行业分析将更具优势。应用层作为变现最终阶段将迎来加速发展,拥有数据源将在大数据生态形成后占据产业链制高点: 数据源到应用变现通道加速形成,大数据应用模式创新加速在精准营销、征信金融、影视娱乐、医疗健康等行业崭露头角,并开始从线上走向线下帮助传统行业如房产、汽车、零售等打造闭环生态。单纯以大数据技术为主业的业务创新模式开始抬头并迅速被各行业接受,如大数据安全、咨询等。随着大数据产业链条逐渐打通拓宽,成熟大数据生态形成后拥有关键数据源的企业将掌握数据链上游核心资源,将迎来数据直接变现带来的发展机遇。产业价值爆发将继续促进大数据基础设施建设从而拓宽变现通道:传统行业如医疗健康、工业等在本身数据管理等硬需求推动下加强基础设施建设,为大数据底层软件、云计算企业带来成长机遇。“大数据+行业”垂直化应用将快速发展,数据拥有者掌控产业链上游:大数据应用开始从线上走向线下,行业数据价值挖掘最有效手段的垂直一体化应用将有望颠覆传统行业带来发展机遇。大数据生态渐成,数据本身价值将得到更充分的挖掘,拥有数据源的公司将有望掌控核心资源。行业痛点指引发展,技术革新与大数据产业相互促进:大数据诸多问题,需要基于大数据的解决方案,因此也预示着产业未来机遇。人工智能已经成为大数据应用一大方向,也将引发大数据新的投资机会。
【首席规划评论】远程教育从区块链技术的要素入手,研究这项技术在教育效率、教育优化、教育可追溯、教育价值提升过程,及其技术在远程教育行业内的创新应用价值选择。这项技术在教育领域可以作为分布式学习记录存储;可为在线教育提供具有公信力和低成本的证书系统;可以作为智能合约,完成教育契约和存证;可作为版权证书工具标记教育资源和学术成果;还可以成为去中心化的全球知识库,以及远程教育货币。分别讨论当前教育区块链的主要应用模式,并以具体的案例加以说明。区块链可以提供去中心化的学习记录和学分银行服务,可以建立方便、可信的证书体系,可以降低求学、求职和人才雇佣的成本,讨论这项技术应用推广的优势和存在的问题,并对研究作出总结:对学习的结果的追认不是文凭,而是学习过程量子化,学习技能量子化,学习价值量子化,学习纪要数字档案化,学习质量可追溯化。此举,在教育的今天远远胜过一张纸质的“本本”。《方极规划评论》-2019规划评论第207期《区块链技术在教育领域的应用模式与挑战》【核心思想】本文通过分析区块链技术的特性以及在教育领域应用的可能性,提出了基于区块链技术新型教育模式具有很大的自主性、颠覆性和真实性;可开展定向教育,学生可根据需要自主选择需要的课程,提高教学质量;未来教育模式将在区块链技术的应用下将发生巨大变革。【规划评论】1、优点文章具有很大的新颖性和探讨性,对区块链在教育领域的应用提出了可能性以及相应的设计手段,值得借鉴参考。2、缺点区块链技术尚不成熟,在教育领域与区块链技术相融合仍在探讨摸索阶段,有些成果及技术还有待考证。【规划借鉴】区块链技术在教育领域的应用可结合参考区块链在金融领域的应用,因为最早发展是在金融领域,相对来说起步较早,某些方面技术是比较成熟的,在数字货币、跨境支付、供应链金融与证券交易的应用都可以借鉴。【正文内容】1、规划研究背景区块链技术被视为继云计算、物联网、大数据之后的又一项颠覆性技术,受到各国政府、金融机构以及科技企业的高度关注。2016年美国、英国、日本等发达国家相继将区块链技术上升到国家战略层面,成立了区块链发展联盟。同年,国务院印发的《“十三五”国家信息化规划》首次将区块链列入我国的国家信息化规划,并将其定为战略性前沿技术之一。区块链技术在教育领域具有较大的应用潜力,有助于打造更加开放和更具公信力的教育系统。整体来看,当前区块链技术在教育领域的应用探索刚刚起步,缺少成熟的应用案例和清晰的应用思路,亟待加强产学研多方协同研究和实践推进。2、区块链核心技术区块链技术是一种通过去中心化、高信任的方式集体维护一个可靠数据库的技术方案,数据库中的每个区块包含系统的全部数据信息,使用数字签名验证信息的有效性和完整性,通过密码学原理链接到下一个区块并形成一条主链。区块链技术基于密码学原理,使得任何达成一致的双方可直接支付,从而不需要第三方平台的参与,解决了中介信用问题。通过区块链技术,比特币实现了在没有任何中介机构参与的情况下完成双方可以互信的转账行为。区块链的核心技术主要包括分布式账本技术、非对称加密算法以及智能合约。2.1分布式账本技术分布式账本技术就是交易记账由分布在不同地方的多个节点共同完成,而且每一个节点记录的都是完整的账目,因此它们都可以参与监督交易合法性,同时也可以共同为其作证。其本质是一个可在由多个机构、不同地理位置或者多个节点组成的网络里进行数据共享的资产信息库。不同于传统数据库技术由中央管理员进行数据记录与存储,这种账本能在点对点网络中的不同节点之间相互复制,处在同一个网络里的用户均可获得一个真实账本的副本,该账本里存储信息的安全性和准确性通过公开密钥(Public Key)、私有密钥(Private Key)以及数字签名(Digital Signature)的使用来控制账本的访问权,从而实现基于密码学原理的信息维护。2.2非对称加密算法非对称加密算法使用公开密钥(公钥)和私有密钥(私钥)来解决区块链网络中用户信息的安全问题。公钥和私钥同时生成,任何用户都可以使用公钥来加密信息,以保证信息的真实性;私钥严格保密,只有信息拥有者才能使用对应私钥解密信息,以保证信息的安全性。2.3智能合约智能合约是一种类似于业务规则的数字化合约,具体体现为交易时自动执行的预先定义好的规则和程序,适合任意区块链数据结构。智能合约的透明脚本代码,在各方监督下,符合条件时会自动执行,无法干预、操纵、反悔和篡改,在可信数据的基础上保证了程序运行结果的可信度。3、区块链技术特征3.1去中心化区块链是由众多节点共同组成的点对点网状结构,不依赖第三方中介平台或硬件设施,没有中心管制,通过分布式记录和存储的形式,各个节点之间实现数据信息的自我验证、传递和管理。数据在每个节点互为备份,各节点地位平等共同维护系统功能,因此系统不会因为任意节点的损坏或异常而影响正常运行,使得基于区块链的数据存储具有较高的安全可靠性。3.2共识机制共识机制主要指网络中的所有节点间如何达成共识的认证原则,去认定一份交易信息的有效性,保证信息的真实可靠。有了该机制,区块链应用中便无需依赖中心机构来鉴定和验证某一数值或交易。共识机制可以减少伪冒交易的发生,只有超过51%的节点成员达成共识,数据交易才能发生,有利于保证每份副本信息的一致性,建立适用于不同应用场景的交易验证规则,从而在效率与安全之间取得平衡。3.3可追溯性区块链中的数据信息全部存储在带有时间戳的链式区块结构里,具有极强的可追溯性和可验证性。区块链中任意两个区块间都通过密码学方法相关联,可以追溯到任何一个区块的数据信息。3.4高度信任区块链是建立信任关系的新技术,这种信任依赖于算法的自我约束,任何恶意欺骗系统的行为都会遭到其他节点的排斥和抑制。区块链技术具有开源、透明的特性,系统参与者能够知晓系统的运作规则和数据内容,任意节点间的数据交换通过数字签名技术进行验证,按照系统既定的规则运行,保证数据信息具有较高的可信度,降低了系统的信任风险。4、区块链技术在教育中的应用模式2016年10月,工信部颁布《中国区块链技术和应用发展白皮书》,指出“区块链系统的透明化、数据不可篡改等特征,完全适用于学生征信管理、升学就业、学术、资质证明、产学合作等方面,对教育就业的健康发展具有重要的价值”。调研发现,当前国内外区块链技术的教育应用正处于萌芽状态,少数教育机构开展了积极的探索。互联网+教育是全球教育发展与变革的大趋势,其宗旨是应用互联网思维、技术和模式改造传统教育生态,实现教育系统的结构性变革。区块链技术有望在互联网+教育生态的构建上发挥重要作用,其教育应用价值与思路主要体现在六大方面:建立个体学信大数据、打造智能化教育淘宝平台、开发学位证书系统、构建开放教育资源新生态、实现网络学习社区的“自组织”运行以及开发去中心化的教育系统。区块链技术有助于推动教育体系变革,加速教育系统进化发展。基于区块链技术的互联网+教育新生态4.1建立个体学信大数据,架起产学合作新桥梁区块链技术在教育领域可以用做分布式学习记录与存储,允许任何教育机构和学习组织跨系统和跨平台地记录学习行为和学习结果,并永久保存在云服务器,形成个体学信大数据,有助于解决当前教育领域存在的信用体系缺失和教育就业中学校与企业相脱离等实际问题。用人单位招聘时,可以通过合法渠道合理获取学生的任何学习证据数据,用于精确评估应聘者与待招岗位间的匹配度。此外,学信大数据还是高校开展人才培养质量评估以及专业评估的重要依据,有助于实现学生技能与社会用人需求无缝衔接,有效促进学校和企业在人才培养上的高效精准合作。4.2打造智能化教育淘宝平台,实现资源与服务的全天候自动交易通过嵌入智能合约,区块链技术可以完成教育契约和存证,构建虚拟经济教育智能交易系统。该系统中各种服务的购买、使用、支付等工作全部由系统自动完成,无需人工操作,同时购买记录无法篡改、真实有效,所有的交易和合约数据都将被永久保存。消费者在该平台发出购买信息后,系统会根据智能合约的运行规则自动将对应的学习资料发送给消费者,该资料的物流信息也将被智能合约追踪,当消费者确认收到学习资料时系统自动完成支付,无需手动付款。此外,该交易平台还提供在线学业辅导和工具下载等服务,学习者可根据学习需求选择恰当的学习服务,包括一对一在线辅导、知识点精讲微课、难点习题讲授等,所有资源和服务均可依据学习者的个性需求实现自主消费。基于区块链技术的智能化教育淘宝平台与其他交易平台相比,具有独特的优势:(1)智能合约程序记录在区块链上,具备公开、透明、不可篡改等特性,可以保证交易信息的真实有效,杜绝欺诈行为的发生。(2)智能合约程序可以控制区块链资产,能够存储并转移数字货币和学习资料,学习者购买资料和服务等交易信息可随时被追踪查询并被永久保存,从而为保障商家和消费者权益提供强大的技术支撑和过程性证据。(3)智能合约程序由区块链自动执行,人工无法干预、篡改,一方面能够提高平台交易效率,满足消费者对于知识获取实时性的需求,另一方面能够保证交易平台的可靠性与稳定性,防止交易平台出现系统性崩溃现象。(4)智能交易无需类似支付宝的第三方支付平台,可以实现学习者与培训机构、学习者与教师、机构与机构之间的点对点交易,既能节省中介平台的运营与维护费用,同时又能提供有质量保证的在线学习服务。4.3开发学位证书系统,解决全球性学历造假难题使用区块链和强加密的方式,创建一个可以控制完整成就和成绩记录的认证基础设施,包含证书基本信息的数字文件,如收件人姓名、发行方名字、发行日期等内容;其次,使用私钥加密并对证书进行签名;接下来创建一个哈希值(Hash),用来验证证书内容是否被篡改;最后,再次使用私钥在比特币区块链上创建一个记录,证明该证书在某个时间颁发给了谁。4.4构建安全、高效、可信的开放教育资源新生态4.4.1应用区块链技术加强资源版权保护基于非对称加密算法保护的版权信息其安全性与可靠性更高,同时鉴于区块链公开透明的特点,任何资源创建信息都可以被使用者查询、追踪、获取,进而有助于从源头上解决版权归属问题。资源上传者可将OER(开放教育资源)的版权信息和交易信息记录在区块链上,包括资源创建者、创建时间、资源类型等内容。因此,任何教育资源的创建和更新可随时被追踪和查询,并被有效证明。4.4.2应用区块链技术降低OER运营成本将区块链技术的去中心化应用到OER(开放教育资源)建设中可节省大量中介成本。用户与用户间可直接通过点对点的传播方式进行资源共享,从而减少在大量中介平台上研发与管理维护的投入,改变OER(开放教育资源)运行机制,有效降低OER(开放教育资源)运营成本。4.4.3应用区块链技术促进资源共享利用区块链的分布式账本技术,将教育资源分布式存放在不同的区块中,通过点对点的传播方式,所有节点将通过特定的、达成共识的软件协议直接共享学习课件和工具软件等资源,既有助于提高共享效率,又可以解决资源孤岛问题。未来,借鉴金融领域的跨境支付业务,全球用户都将实现无障碍的点对点资源共享与实时交易,形成全球无缝流动的超大规模信息资源开放共享网络。4.4.5应用区块链技术提高资源质量资源创建者将资源上传云端平台;利用非对称加密算法使用公钥和私钥对教育资源进行分别加密,并存放在区块中;将承载教育资源的区块广播全网并等待认证;超过51%的节点达成共识通过认证,承载资源的区块加盖时间戳并在网络中以P2P的模式流通。资源认证机制中的认证、流转、共享等环节均由区块链底层内置的智能合约自动完成,全过程公开透明、不可篡改,各个节点上的资源用户共同认证新上传资源的应用价值。基于区块链技术的OER网络认证机制可以杜绝重复、无效、低质量资源的产生,能有效提升资源质量和资源流通效率。基于区块链技术的OER网络认证机制5、实现网络学习社区的真正“自组织”运行区块链与在线社区的结合,也是区块链技术在教育领域很有前景的应用方向。区块链技术可以优化和重塑网络学习社区生态,实现社区的真正“自组织”运行,其应用主要体现在以下三个方面:5.1使用虚拟币提高社区成员参与度,形成社区智慧流转体系应用区块链技术建立社区虚拟币产生与流通机制,学生可通过发帖、提问、回答等行为的发生自动赚取虚拟币,并可利用虚拟币购买社区学习资料与服务,从而激发社区成员的参与度,形成以虚拟币作为核心激励机制与衡量社区贡献度重要指标的集体智慧生成与流转生态。5.2保护社区成员智力成果,生成观点进化网络利用区块链的可追溯性,能对社区成员发表的帖子和观点自动追踪、查询、获取,从源头上保护社区成员的智力成果,防止知识成果被抄袭,从而有利于创新性、原创性观点的迸发。此外,依托分布式账本技术,将发表的观点分布存储在网络中,根据各个观点之间的语义联系生成可视化的知识网络图。随着观点的不断生成与进化发展,社区将聚小智为大智,形成具备无限扩展能力的群体智慧网络。5.3净化社区生态环境,实现社区成员信誉度认证智能合约保证网络社区的自动运行,发帖、提问、回答等内容将自动推送到社区平台,根据预先定义好的规则程序对社区论坛进行自动化监控,对于歪曲客观事实或具有误导性的谣言信息自动屏蔽删除,以达到净化社区生态的目的。同时,可根据社区成员发帖内容与次数对成员信誉进行认证,信誉度认证较高的社区成员可享有社区特权,如多次下载学习资料或发言无限制次数等,以此鼓励积极向上的发言,从而营造健康向上的社区氛围。6、开发去中心化教育系统,全民参与推动教育公平当前教育系统的高度中心化和集权化主要体现在教育体制的中心化上。教育体制是教育机构和教育规范两个要素的结合体,其中教育机构是载体,包括实施机构和管理机构;教育规范是核心,即维护机构正常运转的制度。现阶段的教育体系仍以正规教育为主导,由政府机构或学校提供教育服务并进行认证,个人对某一特定学科的精通程度,仍需由受认可的大学颁发文凭或证书来证明,导致教育的管理权被学校和政府所垄断。利用区块链技术开发去中心化教育系统,有助于打破教育权利被学校或政府机构垄断的局面,使教育走向全面开放,形成全民参与、协同建设的一体化教育系统。未来,除了政府机构批准的学校、培训单位等教育机构具有提供教育服务的资质外,将有更多的机构、甚至个体承担专业教育服务提供商的角色,并且基于区块链的开源、透明、不可篡改等特性能保证其教育过程与结果的真实可信。比如,一些企业、社区或其他组织均可提供教育服务并进行认证,其颁发的证书将与传统高校颁发的证书一样可在全网流通,并可有效证明学生是否掌握了某一知识技能。校际边界也将逐步模糊,学习者可以自主选择在任何学习中心或培训机构学习某门课程,获得具有同等效力的课程证书,有效证明自己在某一领域的专业知识和技能。多门课程证书的获得以及学分的积累,将使学生有资格申请获得国家以及国际教育组织认定的学历学位证书。7、区块链技术教育应用面临的挑战7.1教育领域实践经验少,推广运行存阻力区块链技术在教育领域的推广运行将面临缺乏政策保护与实践经验两方面的挑战。首先,由于缺乏政策保护与引导,去中心化属性对传统教育管理机构将造成强烈冲击,在利益分配上使得传统教育平台遭受重大损失,导致相关机构和部门对区块链技术在教育领域中的应用持谨慎态度,不利于区块链技术的大规模推广与应用。7.2区块链数据存储虚拟化,教育数据产权有争议区块链的去中心化特征淡化了教育管理机构的职责,学生数据管理等工作相对弱化。由于去中心化特性,使得区块链上的数据分布式存储与记录,造成学生数据的产权变得模糊。当前教育中的数据管理一般由学校教务处负责,而区块链技术的应用淡化了实体管理部门的职责,使得数据都存储在虚拟区块链上。因此这些虚拟数据的归属权属于谁?使用权属于谁?基于数据分析产生的成果的所有权又属于谁?这一系列的数据产权问题都将成为区块链技术在教育领域进一步推广应用过程中亟待解决的问题。7.3系统网络容量小,数据存储空间遇瓶颈区块链技术是互联网金融技术的创新,但众多技术特性特别是网络容量仍处于发展的初级阶段。区块链数据库记录了每一笔交易从开始至今的所有数据信息,任何想要进行数据存储的用户都需要下载并存储承载所有资源信息的创世块(Creation Block)。随着大数据技术在教育领域的应用,教师、学生以及教育管理部门产生的数据量将会呈现井喷式增长,导致区块链中的区块承载的数据信息越来越多,这对区块链数据库的存储空间提出更高的要求。各类数据量越来越大,一方面导致数据存储空间受限,影响教师、学生以及管理部门上传与更新数据信息,另一方面将会降低数据传播效率,影响师生对数据获取实时性的需求。7.4匿名技术尚未成熟,师生隐私保护有风险区块链技术通过隔断交易地址和地址持有人真实身份的关联,达到匿名效果,防止因交易信息公开透明而导致用户隐私泄露,但这样的保护通过观察和追踪区块信息以及用户ID依旧可以追查到用户的个人信息。因此,区块链技术在教育领域的应用面临师生隐私被泄漏的风险,主要来自以下两个方面:一是所有交易信息公开透明,任何信息都可以被追踪查询,进而推断出某些结论,或对教师和学生的状态和行为进行预测,不利于教师和学生个人隐私的保护;二是区块链的安全性通过算法保障,理论上只有超过51%的节点用户同时被黑客攻破后数据信息才会被泄漏或篡改,但是随着数学、密码学和计算技术的发展,很难保障今后该算法不被破解,造成教师和学生信息的泄漏。

我要回帖

更多关于 数据分析表格 的文章