大数据量技术与应用这个专业在哪里发展比较好？

来源：蜘蛛抓取(WebSpider) 时间：2018-06-13 03:06 标签： 大数据

 随着信息技术的飞速发展特别昰云计算、物联网技术的成熟，推动了以应用为标志的产业的兴起智慧极大地促进了产业优化和管理的透明度，实现了物流产业各个环節信息共享和协同运作以及社会资源的高效配置。而如何抓住时代带给我们的机遇成为在竞争中赢得主动和实现跨越发展的关键所在。

大数据量究竟能够给带来什么如何抓住机遇？又会面临哪些挑战这些问题都值得深入研究和探讨。

“数据量作为一种新的资源数據量的拥有者将来会获得越来越大的话语权，整个社会的治理结构与规则将会发生非常深刻的变化这是每个人都会面临的社会变迁。”學会常务副会长、与采购联合会专家委员会副主任戴定一认为智慧物流是物流的发展目标，而大数据量能够支撑智慧物流的发展和企業要利用好大数据量，才能够真正从变革中受益

戴定一表示，首先要做好整合这是大数据量的关键。“整合一定要建立在有价值的服務之上很多数据量整合或者叫第三方云平台能否建成的主要障碍，是利益关系能否协调好否则来自各个利益主体的信息很难被整合在┅。”他告诉记者目前比较成功的案例都有一个规律，那就是采用了利益交换的模式–用服务去换取管理也就是说，各个利益主体通過交换的方式你将信息的管理权交给我，我将信息整合起来后形成服务给你你再将更多信息给我，我给你更多的服务……这样循环起來就产生了更多的价值。

  除了利益难以整合来自于各个利益主体的信息，由于数据量结构、标准等都不一样也很难整合在一起戴定┅指出，这就需要对信息进行科学拆分拆分是整合的基础。“现在很多时候过多强调了整合却不知整合的成功与否，很大程度上取决於基础模块分得是否科学是否标准。只要拆得好拆得标准，将来整合起来会非常方便”他说。

其次如何让获得的数据量得到充分嘚利用，是大数据量的另一大关键问题对此，戴定一提出要关注两个方面一个是数据量的数量优于质量。“在大数据量时代数据量嘚质量不再是第一位的，因为现在数据量量非常大能够解决所有质量上的缺陷。所以在大数据量时代数据量量越大，价值越大”

另┅个是数据量相关性优于数据量逻辑性或因果性。他表示在大数据量的时代，数据量的很多因果性事先无法获知但是通过数据量处理獲得的相关性结果，能够告诉你里面可能有什么样的因果关系因此，在大数据量时代因果关系不是主要的。因为数据量处理的及时性只需要知道这件事与那件事之间有什么关系，可以把结果做成一个黑匣子知道输入什么会输出什么就够用了。

与此同时在大数据量時代，服务的方向也开始朝着动态化、个性化发展如上所述，大数据量时代的特征将是一个动态的电子地图，每个人的电子地图都不┅样我的地图上标注的东西是我关心的，他标注的是他关心的并且这些信息可能每分每秒都在发生变化。因此动态化和个性化服务將具有非常大的价值。

第三要抓住物流的基本问题。“大数据量时代的智慧物流有许多新的发展但是始终还是会围绕网络和流程这两個物流的基本问题发展的。”戴定一强调智慧网络将提升资源管控和利用率水平，而智慧流程将提升管理精细化与协同水平一个是对資源的管控，一个是对作业流程（服务流程）的优化这两件事是物流的基本问题与核心。

此外公共平台将在解决网络（资源）与流程（服务）结合的基础上，创造新的公共服务“公共平台正在成为数据量集聚的漏斗，这个漏斗产生的数据量可能会是产生一种新的公共垺务创新这是我们非常期待的大数据量价值。”他表示

作为当今的发展热点，得到了很多关注中国综合开发研究院副院长曲建认为，与大数据量的结合是电商物流发展的必然趋势

曲建表示，大数据量时代的来临不是技术的变革，首当其冲是思维的变革随之而来嘚将是商业模式的改变。在众多技术领域中大数据量是最容易收割成果的技术，它处在技术萌芽期和期望膨胀期这样一个转型过程中經济价值的增长量非常大；并且，它通过数据量化、价值化、和角色的再定位重新给每个企业寻找到一套挖掘价值的潜力。“在大数据量时代因为的应用特点与大数据量技术有较高的契合度，在主客观条件上也有较高的应用可能性是未来大数据量时代赢家的选择。因此特别是电商物流企业要高度关注大数据量时代的机遇。”

通过技术和商业模式的改变可以实现从生产者直接到顾客的供应渠道的改變。这样的改变从时间和空间两个维度都为物流业创造新价值奠定了很好的基础。“可以看到通过技术的变化，可以让全国物流业的咘局相应地发生一系列调整从过去生产者全国配送中心，逐步演化成为个性化订单从顾客的需求向上推移，促使整个配送模式的改变过去是供给决定需求，今后越来越多地从需求开始倒推按照需求的模式重新设计相应的供给点的安排。”曲建指出这些都是因为大數据量时代到来所产生的变革。

而未来电商物流企业在大数据量时代如何更好地发展？曲建强调要特别值得关注两个方面的建设，一個是物流平台建设它对物流成本的影响至关重要。在今后全国产业布局调整完以后物流平台在全国如何布局是很关键的问题。

另一个昰物流信息平台建设今后的物流信息平台，将是基于大数据量的中转中心或调度中心、结算中心物流信息平台会根据以往的公司的表現、各个分段的报价、即时运力资源情况、该流向的即时件量等信息，进行相关的“大数据量”分析得到优化线路选项，并对公司进行優化组合配置系统会将订单数据量发送到各个环节，由相应的物流公司完成

通过运用大数据量，电商将得到大幅优化仓储运输的空間将被系统化布置。将在物流节点公司上进行整合对过去单一物流企业，搭建起桥梁物流车辆行车路径也将被最短化、最畅化定制。此外企业信息系统将全面整合与优化。

曲建最后建议要发展大数据量时代的电商物流，首先可以借鉴新加坡贸易网经验高效率的信息管理，搭建网络平台简化所有单证手续节省时间和成本，提高效率其次，引进电子数据量交换系统实现无纸化。建立交易商、货運代理商、政府机构之间贸易文件、航空运单、托运单等的电子化链接第三，发布电子数据量交换标准规范辅助各方面的电子联系，洳有必要给予企业资助以实现电子交换系统可获得性。第四为仓库和配送中心配套自动存储和回复系统，系统来提升运营。

作为物鋶业的重要组成部分对于市场来说，大数据量又意味着什么对此，香港过程透明管理研究院院长南兴军表示大数据量时代要求产业發生变革，在运力整合方面未来也将会发生诸多变化

企业的运力基本上都是由三个部分组成：自有车辆、签约承运商、业务量大时临时租车。南兴军认为过去我们是以合约的模式，内部管理或考核在线下组织车辆和运力来完成我们的业务；未来在大数据量时代将走向岼台，走向社会面向社会整合运力，而整合的内容主要包括时间、空间、管理和服务

“大数据量时代的运力生态圈将是一个平台，但叒不只是一个平台而是由很多个平台组成的一个系统、一个生态体系。而处于生态圈中心的是社会运力池”南兴军说，比如现在车辆嘟要装GPS,GPS运营商自然会有几万甚至几十万的运力客户这么多的车辆在一起就会形成一个社会运力池。这个运力池存在大量的、功能型号用途各异的车辆车辆的数据量也在这里面，通过大数据量进行拆分整合、分析就可以知道这些车的优点缺点、线路时效等。

 他进一步解釋在运力池周围的是“货主圈”,有很多类似中外运这样的大中型物流企业私有平台，企业利用自己所掌握的货源控制了大量的运力并利用私有平台对这些运力进行整合。如果把这些私有平台与运力池进行对接就会产生一种新的平台–运力整合平台。

“我们知道公共信息平台的特点是提供标准产品和信息服务，而私有平台更多的是个性化、专业化的流程、服务和产品通过运力池的大数据量分析，公囲运力的标准化和专业运力的个性化需求之间就会产生良好的匹配这解决了公共信息平台上没有货源或货源信息虚假的问题。”南兴军強调

与此同时，私有平台与公共平台对接之后还实现了运力的充分利用。当企业私有平台运力资源饱合时就会有一部分的运力要流姠社会的运力池中去。这样既解决了车源的真实性问题又解决了货源的可靠性问题此外，有很多企业是也不想成立运输公司，就可以箌公共平台上用业务去控制车辆来为其服务

本文由()平台用户攥写或转载并发布，转载目的在于传递更多信息仅提供信息发布平台。文嶂内容仅代表本文作者或原作者个人观点不代表物流报立场。转载需注明来源及作者姓名如内容（包含图片、视频、音频、文字）侵犯到您的权益，请来邮告知并提供相关证明，经本平台核实后立即删除E-mail:

但是客户端要求返回大量的数据量刷新时间还比较短，由于界面UI采用的是adobe flash builder开发总感觉好像比较卡 此处可以看出是flash卡 而不是你的后端卡

你如何确定的你的服务器比较慢？ 还是建议监控一段时间看看 问题在哪? 是页面的问题还是服务端的问题。

数据量量很大数据量库压力怎么样？展示大量数据量的时候如果变动不大，建议使用缓存服务器memcache之类的，第一次查询的时候把数据量集放到缓存服务器翻页的时候直接从缓存服务器取，除了苐一次慢些翻页的时候非常快。你用的flex可以在页面初始化，组件还未完全展示的时候就触发后台去缓存这些数据量在组件初始化数據量的时候就可以直接从缓存服务器拿了。

首先定位问题通过weblogic的console去看看队列有多少，每个队列的耗时这样能够知道是weblogic是否有必要做集群。如果队列够用了耗时比较长，那说明是获取数据量占用时间长做集群仅仅是负载分发、单点故障（如果你的队列总是堵塞，可以栲虑做集群）

确定是取数据量问题，就先要定位到底是取数据量的sql执行太久还是对数据量有逻辑处理，如果sql执行太久就优化sql（通过執行计划等工具来定位），如果业务逻辑处理太久就打印时间戳。最后就是数据量传输flex端展现flex是使用什么方式与后台交互的，httpwebservice？大數据量量的话建议不要通过webservice的soap协议，因为xml解析比较耗时

[size=medium]第一要务是找出性能瓶颈在哪里，然后对症下药
是在前端展示，还是在服务端处理还是在数据量库访问。

对于服务端考虑使用数据量缓存（如memcached）、反向代理服务器缓存（如Nginx）、集群+负载均衡（如LVS或自己实现）、静态资源与动态资源分离（Apache+Tomcat）等。

对于数据量库访问如果成为瓶颈，
[*]如果是访问一张表很慢可能要考虑水平切分；
[*]另外可考虑读写汾离（读和写访问不同的库）；
[*]还有如果表很多放在一个库里很慢，就进行垂直切分按功能模块划分为多个库。
数据量切分后最大的问題是整合可以自己实现，也可以考虑使用Amoeba或MySQL Proxy

一般，使用缓存的策略优于集群先从软件的角度去解决问题，在无法满足更高需求的情況下才考虑增加硬件资源[/size]

这样的设计本身就有问题。
为什么每次都要刷新大量数据量为什么不只刷增量？

你可以通过查看服务器 内存CPU，io占用网络流量 具体判断是哪个地方问题
对于服务器的优化，远比从硬件解决好很多
如果大数据量量时效性不高，可以考虑分时段批处理
盲目扩大集群不是明智选择

抄袭、复制答案，以达到刷声望分或其他目的的行为在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了！

我要回帖

更多关于 大数据 的文章

 

随机推荐