我自己前前后后加起来总共应该参加了不下四五十次的面试,另外参考网上的一些面试题,整理了这个面试题库,希望可以帮助到大家。
篇幅有限,我在上千道面试题中从各技术方向选出15道,分享给大家
可以关注公众号:【Java专栏】,发送" 面试题 " 获取完整的面试题(整理成了PDF,并且带目录)
大数据应用在生活中可以帮助我们获取到有用的价值。随着大数据的应用越来越广泛,应用的行业也越来越低,我们每日都可以看到大数据的一些新颖的应用,从而帮助人们从中获取到真正有用的价值。许多组织或者个人都会受到大数据的剖析影响。
除了较早前就开始利用大数据的互联网公司,医疗行业是让大数据分析最先发扬光大的传统行业之一。医疗行业拥有大量的病例,病理报告,治愈方案,药物报告等等。如果这些数据可以被整理和应用将会极大地帮助医生和病人。我们面对的数目及种类众多的病菌、病毒,以及肿瘤细胞,其都处于不断的进化的过程中。在发现诊断疾病时,疾病的确诊和治疗方案的确定是最困难的。在未来,借助于大数据平台我们可以收集不同病例和治疗方案,以及病人的基本特征,可以建立针对疾病特点的数据库。如果未来基因技术发展成熟,可以根据病人的基因序列特点进行分类,建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人的疾病特征、化验报告和检测报告,参考疾病数据库来快速帮助病人确诊,明确定位疾病。在制定治疗方案时,医生可以依据病人的基因特点,调取相似基因、年龄、人种、身体情况相同的有效治疗方案,制定出适合病人的治疗方案,帮助更多人及时进行治疗。同时这些数据也有利于医药行业开发出更加有效的药物和医疗器械。
大数据在金融行业应用范围较广,典型的案例有花旗银行利用IBM沃森电脑为财富管理客户推荐产品;美国银行利用客户点击数据集为客户提供特色服务,如有竞争的信用额度;招商银行利用客户刷卡、存取款、电子银行转帐、微信评论等行为数据进行分析,每周给客户发送针对性广告信息,里面有顾客可能感兴趣的产品和优惠信息。
可见,大数据在金融行业的应用可以总结为以下五个方面: 精准营销:依据客户消费习惯、地理位置、消费时间进行推荐
风险管控:依据客户消费和现金流提供信用评级或融资支持,利用客户社交行为记录实施信用卡反欺诈
决策支持:利用抉策树技术进抵押贷款管理,利用数据分析报告实施产业信贷风险控制
效率提升:利用金融行业全局数据了解业务运营薄弱点,利用大数据技术加快内部数据处理速度
产品设计:利用大数据计算技术为财富客户推荐产品,利用客户行为数据设计满足客户需求的金融产品
目前,交通的大数据应用主要在两个方面,一方面可以利用大数据传感器数据来了解车辆通行密度,合理进行道路规划包括单行线路规划。另一方面可以利用大活数据来实现即时信号灯调度,提高已有线路运行能力。科学的安排信号灯是一个复杂的系统工程,必须利用大数据计算平台才能计算出一个较为合理的方案。科学的信号灯安排将会提高30%左右已有道路的通行能力。在美国,政府依据某一路段的交通事故信息来增设信号灯,降低了50%以上的交通事故率。机场的航班起降依靠大数据将会提高航班管理的效率,航空公司利用大数据可以提高上座率,降低运行成本。铁路利用大数据可以有效安排客运和货运列车,提高效率、降低成本。
在课堂上,数据不仅可以帮助改善教育教学,在重大教育决策制定和教育改革方面,大数据更有用武之地。美国利用数据来诊断处在辍学危险期的学生、探索教育开支与学生学习成绩提升的关系、探索学生缺课与成绩的关系。比如美国某州公立中小学的数据分析显示,在语文成绩上,教师高考分数和学生成绩呈现显著的正相关。也就是说,教师的高考成绩与他们现在所教语文课上的学生学习成绩有很明显的关系,教师的高考成绩越好,学生的语文成绩也越好。这个关系让我们进一步探讨其背后真正的原因。其实,教师高考成绩高低某种程度上是教师的某个特点在起作用,而正是这个特点对教好学生起着至关重要的作用,教师的高考分数可以作为挑选教师的一个指标。如果有了充分的数据,便可以发掘更多的教师特征和学生成绩之间的关系,从而为挑选教师提供更好的参考。
大数据还可以帮助家长和教师甄别出孩子的学习差距和有效的学习方法。比如,美国的麦格劳-希尔教育出版集团就开发出了一种预测评估工具,帮助学生评估他们已有的知识和达标测验所需程度的差距,进而指出学生有待提高的地方。评估工具可以让教师跟踪学生学习情况,从而找到学生的学习特点和方法。有些学生适合按部就班,有些则更适合图式信息和整合信息的非线性学习。这些都可以通过大数据搜集和分析很快识别出来,从而为教育教学提供坚实的依据。
在国内尤其是北京、上海、广东等城市,大数据在教育领域就已有了非常多的应用,譬如像慕课、在线课程、翻转课堂等,其中就应用了大量的大数据工具。
最早关于大数据的故事,发生在美国第二大的超市塔吉特百货公司。为了吸引孕妇这一含金量很高的群体,塔吉特要求顾客数据分析部建立模型以期在孕妇第2个妊娠期就把她们确认出来。
通过对顾客消费数据建模分析,顾客数据分析部选出25种典型商品的消费数据构建“怀孕预测指数”,可以在很小的误差范围内预测顾客的怀孕情况,便能早早把孕妇优惠广告寄给顾客。
全球零售业的巨头沃尔玛也通过大数据获益。公司在对消费者购物行为进行分析时发现,男性顾客在购买婴儿尿片时,常常会顺便搭配几瓶啤酒来犒劳自己,于是推出了将啤酒和尿布捆绑销售的促销手段。如今,这一“啤酒+尿布”的数据分析成果也成了大数据技术应用的经典案例。
中国大数据市场行业契合度及应用可能分析 中国大数据市场集中度与成熟度分析
我自己前前后后加起来总共应该参加了不下四五十次的面试,另外参考网上的一些面试题,整理了这个面试题库,希望可以帮助到大家。
篇幅有限,我在上千道面试题中从各技术方向选出15道,分享给大家
可以关注公众号:【Java专栏】,发送" 面试题 " 获取完整的面试题(整理成了PDF,并且带目录)
(一)大数据是视频智能分析基础
在大数据应用时代,视频因其信息含量最高、数据量最大,分析运算最复杂而成为大数据时代采集分析传输存储应用最具挑战的国际技术难题!智能视频分析研究永无止境,分析算法必须以监控视频为资源,研究实时或历史监控视频中的目标特征提取、增强与行为分析等关键技术,才能推动监控视频应用模式从事后被动处置向事前主动预防转变。
(二)帮助实现智慧城市智能化
我国智慧城市建设面临的重大挑战之一,是城市系统之间由于标准问题无法有效集成,形成信息孤岛。因此,在大数据融合技术领域,一方面要加强大数据标准建设,另一方面要加强海量异构数据建模与融合、海量异构数据列存储与索引等关键技术研发,为给予底层数据集成的信息共享提供标准和技术保障。大规模数据在智慧城市系统流动过程中,出于传输效率、数据质量与安全等因素的考虑,需要对大规模数据进行预处理。大数据处理技术往往需要与基于云计算的并行分布式技术相结合,这也是目前国际产业界普遍采用的技术方案。大数据分析与挖掘技术为智慧城市治理提供了强大的决策支持能力。
(三)提高警务办事效率
互联网技术的飞速发展已经为构建一个大型全国性的专业报警运营服务平台提供了有力的技术支撑。通过这个报警平台,报警运营服务商手中会累积海量的用户数据,例如用户的身份信息、警情数据、消费记录、维修记录等,这些都是非常宝贵的资源。报警运营服务商可以在此基础上,应用大数据技术进行分析和挖掘,充分发挥大数据的商业价值。
公安如公安系统中的图侦技术,应用模式多样,思维活跃,围绕着“发现线索”的目的可衍生出多种的技战法,只有从这些具体的技战法中才能提炼出需求,真正告诉系统的设计者“我们要什么”。
那么,图侦里的大数据应用需要哪些?像商业大数据那样找规律的应用似乎还远了点,目前最实在的就是从海量视频数据里把有相同线索特征的图像给找出来,让干警发现出新的案件线索。至于“怎么找?”这就是由公安来提的应用模式了。因此,视频大数据的发展并不是简单的由技术厂商做主导,而是需要公安体制内既有刑侦实战经验,又有科技化功底的复合型人才,共同来参与视频大数据应用的发展。
(四)让智能家居“聪明”起来
智能家居会产生大数据,同时也是大数据的重要应用领域,不然它极有可能将停滞不前。家庭产生的大数据能让智能家居更“聪明”,但需要根据实际情况进行有效处理,而不是任何数据的“一锅端”,通过大数据与云计算技术的结合应用,智能家居系统能够第一时间对用户家庭中智能设备的数据、信息进行有效分析、记忆,并将得到的相应规律反过来应用于智能设备,提升智能家居的智能效果。
不同来源的大数据,分别存储于相互独立的系统中,将这些数据集中于统一的平台,是安防大数据实施的基础性工作,但行业、部门壁垒是最大障碍。即使只是公安内部的视频数据,各省、地市也互不相通,想采集集中也不是一件容易的事。即使集中后,如何找到这些不同类型数据之间的关系,从而挖掘出有价值的数据,也是难点。
(二)数据挖掘、分析算法的成熟度问题
对于安防数据中最重要的视频数据,对其进行智能视频分析和挖掘是很困难的事情。目前,除了车牌识别、人数统计等算法较为成熟外,对视频进行事件分析、人脸识别、摘要等技术都还没达到大规模的商用水平,这也极大地制约了安防大数据的实施。
安防大数据的目的之一就是要解决现有安防系统内以事后查看、分析为主的数据(特别是视频数据)应用形式,还要增加以事前预警、实时处理,这对大数据处理技术的实时性要求很高。这种时效性就决定了视频安防大数据的高运算量、高传输带宽的要求。
(四)信息安全与用户隐私问题
安防行业,特别是公安行业对数据的安全性要求非常高,这也是造成数据的区域隔离的重要原因。同时,在利用安防大数据上,如何保护用户的隐私,也是一个非常重要的课题,目前主要采用数据脱敏的办法。当务之急就是将安防数据安全级别需要有明确的分级定义,不能一味强调安全而各自封闭,否则必将导致安防大数据分析成为无源之水。
(五)视频图像数据挖掘的难点
1.识别什么特征?一副图像或者一段视频可以有无数角度的标签属性去描述,什么才是我们需要的属性?这与我们需要得到的目的密切相关,这就需要公安图侦的人才来归纳终结。
2.识别算法开发难,由于是平面图像,因此特征的识别主要原理就是看图像区域中的轮廓、颜色、纹理与特征库进行比较。但是在同一个物体在不同监控角度的摄像头中显示出的轮廓都不相同,因此无法做到识别。
3.大规模数据处理难,即使做到了识别算法,但是如果要通过数据处理服务器的形式对大规模的视频进行结构化处理,这个建造成本巨大,其能源的耗费在中国这个夏季需要限电的情况里也不切实际。
(六)警务服务平台大数据难点:
1.如何将不同报警运营服务商之间的数据整合在一起?
2.我国多数报警运营网络尚未完成规模化建设,用户规模大、跨省市运营的网络很少,每家报警运营服务商的警情并发量不大,而且报警运营服务商之间普遍存在信息孤岛,很难通过大数据分析实现数据的增值。
3.大数据的挖掘是一个长期的过程,需要企业不断的尝试,挖掘出有意义的信息或规律,并将结果拿到市场上检验。
4.大数据自身也面临着挑战,数据的运用仍面临多种技术难关的束缚,大数据方面的人才比较缺乏,大数据的产品尚不成熟等问题都制约着大数据在报警运营服务领域的发展。