Sina Visitor SystemAdvertisement
为什么Apache Hadoop让人如此着迷？
导读：绝大部分企业都会将Apache Hadoop看做是首屈一指的云计算数据模型。本文中我们将分析Hadoop的优势，以及适合应用于哪些应用，同时还会面临哪些挑战。关键词：&&&&
【TechTarget中国原创】在云计算世界中，有一个概念最被认可，但却很少有人理解。当被问及Apache Hadoop时，绝大部分企业都会将其看做是首屈一指的云计算数据模型。但是，大部分人都不知道Hadoop是什么，应当如何使用它或者它是否对他们有帮助。　　Apache Hadoop是MapReduce计算模型的一个开源实施。MapReduce是由谷歌公司推广开的，用于构建公司的互联网索引。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。在这样一个集群中，有一个把题（计算任务）分解成小片的“主”节点，而每一小片工作任务都被发送至一个“工作”节点以进行下一步处理。这种分割——分发的模式就是名称中“map”部分的由来。当所有的“工作”节点都完成了分配到的任务时，将返回计算结果并组合或“reduce”以生成最后的结果。　　但是，MapReduce和Hadoop引人注目的地方在于把MapReduce的概念应用于大数据中，而不只是计算网格中的分布式处理任务。虽然MapReduce的最初目的和“网格计算”极为相似，不过这个概念也被应用于对跨多个系统的数据库的访问。人们将它看做是大数据典型模式，原因有二：出于便利性的考虑，大多数大数据都是在特定环境中被搜集和存储的；通常来说，大数据都是过于庞大而无法集中在一个单一系统中。　　Hadoop的核心组成部分是Hadoop分布式文件系统（HDFS），这是一个专门为跨潜在巨大量分布式服务器进行虚拟化而设计的文件系统。实际上，Hadoop使用JobTrackers和TaskTrackers来完成映射和降维任务；使用合适的软件组件，Hadoop就能够在结构化数据和非结构化数据上正常运行，并且使用几乎所有的编程语言作为其开发框架。它适用于绝大多数的计算平台，只要能够正确地组织好版本和工具，你就可以毫不麻烦地在Hadoop中安装混合平台。
OpenStack的存储组件—Cinder和Swift—让你在你的私有云里构建块和对象的存储系统。Chris Evans对这些技术给出了一些深入的阐述。
云存储的实际成本超过我们所能获得的存储容量。要选择最佳的方案，企业必须评估云存储方程式中所有的变量。
虽然很多云存储服务供应商都无法在价格战中击败亚马逊，但是云存储市场中还有着其它可让他们抓住的良机。
AWS、谷歌以及微软都针对云存储服务提供了可比较的价格，这样较接近的价格也就不会让价格成为选择云供应商的最终因素。
在你制定云投资回报率战略的过程中，第一步就是要针对可预见的未来预估存储资源的消耗，你知道这是为什么吗？
TechTarget中国官方微信
本技术手册我们将侧重介绍OpenStack的最新动态，以及如何用OpenStack构建云计算，同时我们在最后引入拉美最大在线电子交易网站MercadoLibre的实战，看他们如何用OpenStack开发云存储业务。
由于云计算所带来的好处和虚拟化的本质局限的原因，云计算几乎吸引了所有的眼球。虚拟化主要关注其本身和虚拟机（VM），虚拟机的性能以及一旦物理服务器实现虚拟化后所能实现的功能。与之不同，私有云计算的范围更为广泛，它并不仅仅关注虚拟机本身，而且还包括托管虚拟机的整个基础设施。本文将介绍私有云的优势以及如何构建私有云架构。
云计算(Cloud Computing)是真实的，计算正在向云平台转移。尽管从技术的演进上来说，云计算还算不上是一次技术革命，但是，它对IT产业的影响算得上是革命性的。它不仅将影响我们应用IT的方式，更为重要的是，它很可能将引发IT产业新一轮的调整。究竟何谓云计算？它有哪些主要类型？云计算有哪些优劣势？随着云计算的逐渐推广，企业如何在维持原有预算水平不变的前提下搭建一个私有云架构来改进IT业务？本手册将对这些问题进行解答。
“虚拟桌面”的概念的从何而来的？支持虚拟桌面的框架有哪些？云计算与虚拟桌面、云计算与SOA的关系是什么？云计算架构模型呢？如何企业考虑使用云计算，应该注意哪些事项？本手册将为您解答在这些方面的疑惑。
巨头侵入中国市场，也反映出用户已经接受了云计算技术。在过去的一年中，云计算也在各个行业中有了不俗的表现。
【TechTarget中国原创】在云计算世界中，有一个概念最被认可，但却很少有人理解。当被问及时，绝大部分企业都会将其看做是首屈一指的。但是，大部分人都不知道Hadoop是什么，应当如何使用它或者它是否对他们有帮助。　　Apache Hadoop是计算模型的一个开源实施。MapReduce是由谷歌公司推广开的，用于构建公司的互联网索引。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。在这样一个集群中，有一个把题（计算任务）分解成小片的“主”节点，而每一小片工作任务都被发送至一个“工作”节点以进行下一步处理。这种分割——分发的模式就是名称中“map”部分的由来。当所有的“工作”节点都完成了分配到的任务时，将返回计算结果并组合或“reduce”以生成最后的结果。　　但是，MapReduce和Hadoop引人注目的地方在于把MapReduce的概念应用于中，而不只是计算网格中的分布式处理任务。虽然MapReduce的最初目的和“网格计算”极为相似，不过这个概念也被应用于对跨多个系统的数据库的访问。人们将它看做是大数据典型模式，原因有二：出于便利性的考虑，大多数大数据都是在特定环境中被搜集和存储的；通常来说，大数据都是过于庞大而无法集中在一个单一系统中。　　的核心组成部分是Hadoop分布式文件系统（HDFS），这是一个专门为跨潜在巨大量分布式服务器进行虚拟化而设计的文件系统。实际上，Hadoop使用JobTrackers和TaskTrackers来完成映射和降维任务；使用合适的软件组件，Hadoop就能够在结构化数据和非结构化数据上正常运行，并且使用几乎所有的编程语言作为其开发框架。它适用于绝大多数的计算平台，只要能够正确地组织好版本和工具，你就可以毫不麻烦地在Hadoop中安装混合平台。　　因为Hadoop是围绕着两个HDFS、一个分布式数据模型、JobTrackers / TaskTrackers以及一个分布式编程模式而构建的，所以它可以说用于构建云计算应用程序的完美框架。事实上，你可以将Hadoop看做是唯一真实、广泛可用的云计算应用程序框架，因为它是特别为数据所在的分布式处理而设计的，它并不会把数据移回至完成处理数据的位置。在云计算中，这是一个关键要求，因为大规模数据迁移的成本令人难以置信的高昂，对计算资源的要求也是性能超密集型的。可以预见，随着时间的推移，真正云计算应用程序的开发一定将从Hadoop发展而来。　　Hadoop“完美”框架的另一面　　当然，Hadoop也有着其挑战性。任何掩盖复杂性数据的处理架构都会由于滥用而产生开发低效的风险。为什么Apache Hadoop如此让人着迷　　Hadoop最大的挑战是数据组织。因为数据是分离的，所以在数据的分布式组件中可能构建需要相关性的请求。例如，设想有一个电子表格式的结构，其中一半容量在一个系统上，而另一半容量在另一个系统上。如果有一个请求要求测试不同系统上的两组数据，实际上必须把整个数据库进行迁移，以执行这个请求的任务，从而使分布式数据和分布式处理的原理失去了作用。对于结构化数据来说，设计应用程序以避免这种类型的低效是相对容易的，但是对于非结构化数据或商业智能（BI）请求高度多样化的应用来说，就可能会产生严重的性能问题。　　由于这一风险，企业应用程序中大数据的实际应用程序经常会综合使用Hadoop和传统工具。有些最大型的Hadoop应用程序为Hadoop打造了“前端”以便于处理标准DBMS和数据采集应用程序至HDFS的信息。他们还在查询数据库中汇总Hadoop结果。在汇总数据中运行BI应用程序总是比在原始详细大数据中运行相同的应用程序更为高效，而预处理可确保数据分布是最优的。　　Hadoop的另一个问题是，它往往是集中采用大规模计算资源的方法而不是通过使用高效处理的方法来解决大数据问题。尤其是结构化数据，有更好的基于DBMS机制可用于分发数据和请求处理；复杂任务可能会占用大量资源，因此作业调度是防止BI请求过度使用资源的关键，从而也就确保更多的实时任务能够按计划完成。在同一集群中混合BI和实时应用程序的大多数Hadoop用户要么会调度作业以避免资源使用发生冲突，要么在集群中采用一种分配计算时间的方法以避免大型BI任务私下占用所有的资源。　　Hadoop是一个范式变换，因此由训练有素的专业团队通过一系列精心设计的试运行步骤来进行具体实施是绝对至关重要的。有人认为单独实施Hadoop将会把断开的离散云计算数据资源连接成为一个统一的数据库，这种观点是极其错误和危险的。除非在提交生产以前就对替代品（尤其是数据分布的替代品）完成了大量周密的测试，否则即便是经验丰富的Hadoop开发人员也很难识别其中的陷阱。当前位置&&&&&&&&&
更多文章查询：&
Windows Sever 2008让人如此着迷？
&&日10：11&&来源：eNet硅谷动力&&作者:修彬 编译&&字号： |
【文章摘要】近几个月以来，一直听到有人声称在放弃使用Windows Vista而改用Windows Server 2008后，Windows体验变得更好。但是，放弃使用手头的Vista而改用Windows Server 2008是否真的有好处呢？
　　【eNet硅谷动力专稿】近几个月以来，一直听到有人声称在放弃使用Windows Vista而改用Windows Server 2008后，Windows体验变得更好。但是，放弃使用手头的Vista而改用Windows Server 2008是否真的有好处呢？
　　这几个星期以来，我一直在用Windows Server 2008做实验，在一些虚拟和物理系统上把它作为一个“工作站”操作系统。但我并不是很确信它像有些人所说的可用性那样高。
　　首先一个问题就是价格。从任何一个方面来看，Windows Vista都称不上便宜。而Windows Server 2008就更超出你的想象力了，它的价格标签是企业级的。下面是这两种产品的价格清单：
　　◆Windows Vista Ultimate：239.99美元
　　◆Windows Server 2008 Standard：999.99美元
　　一套Windows Server 2008操作系统的价格竟然与一台相当不错的台式机的价格差不多，你认为这是缺点吗？至少我认为是这样的……。
　　好吧，让我们暂且把价格问题放在一边，假设你有一个慷慨的老板、大笔的经费、技术娴熟的供应商、自由访问MSDN/TechNet的权力或者只是想利用测试版做一下实验（你可以合法地运行240天），Windows “工作站” 2008是否能够配得上外界对它的炒作？
　　关于费用的一个说明：购买Windows Server 2008所花的钱只是你加入“Windows‘工作站’2008俱乐部”的第一笔费用。平时你一直使用的消费者反病毒和备份工具在Windows Server 2008上是不能使用的，所以要熟悉并掌握服务器版本的这些产品，肯定需要一笔很大的费用。所以，从我个人经验而言，我认为要“驯服”Windows Server 2008并不容易。
　　再回到之前所提的那个问题上来，答案显然是否定的。你可能会抱怨这样的答案过于简短，下面我就详细解释一下具体的原因。
　　把Windows Server 2008作为一个桌面操作系统来使用，其中一个问题是它的部署并不仅仅是安装一个操作系统、加载驱动程序并做适当的测试调整这么简单。我认为Windows“工作站”2008这一模型最大的问题在于你必须永远与这样一个事实进行斗争：那就是你正在运行的服务器操作系统（Windows Server 2008）并不是为桌面操作系统这一用途而设计的，并且其你尝试运行的其它软件在运行时也显得“行为”怪异，甚至根本不支持。当然，你可以花时间和精力努力让Windows Server 2008的外观和感觉了向Windows Vista 靠拢，虽然你遇到的大多数问题的工作量和难度都是能估计的，但是这些问题层出不穷，没有劲头，一个刚解决完，另一个很快就冒出来了。
　　因此，真正的问题是，在你花大价钱购买了Windows Server 2008并且为了把它打造成一个理想的工作站而花费了很多时间和精力在上面，但是最后效果却不是很好，最后得到的操作系统并不比Windows Vista好。为什么？因为Windows Vista和Windows Server 2008的内核是一样的，这两个操作系统的真正不同之处在于默认情况下运行（或没有运行）的应用不同，以及一些人为的配置上的限制（如果你确切至少自己需要什么，你可以进行手动修改）。而你通常安装在Windows Vista上的很多垃圾应用都不能安装到Windows Server 2008上 。
　　那么，为什么有些人对于Windows Sever 2008很着迷呢？我认为这可以归结为两个方面的原因：
　　首先一个原因我上面已经提到了，那就是要将Windows Vista 上安装的众多垃圾软件移植到Windows Sever 2008上并不是一个简单的事情。垃圾软减越少就意味着性能更好并且稳定性更高。
　　第二，虽然Windows Server 2008和Microsoft Windows Vista的内核相同，不过Windows Server 2008 的RTM版本要比Windows Vista的RTM版本健壮和可靠得多？为什么？因为Windows Server 2008进行了长达一年的修补工作，集成了很多升级包，包括SP1。这是一个巨大的差异。
　　如果你想要获得一个更好的Windows体验，你最好忘了所谓的Windows “工作站”2008，选择64位的Vista上，并将内存升级至8GB。
责任编辑：陈东方
&关于&windows server 2008 Vista&相关报道
请您输入您要使用的昵称：
&&留言仅代表个人观点，请对自己的言论和行为负责&&
商用软件专题
频道热文排行
网站合作、内容监督、商务咨询、投诉建议：010-
Copyright © 2000--
硅谷动力公司版权所有 京ICP证000088号