有很多人不了解hadoop怎样使用怎么查看副本那么今天小编就在这里给大家分享一点我的尛经验,希望可以给你们带来帮助
-
HDFS采用一种称为机架感知的策略来改进数据的可靠性、可用性和网络带宽的利用率。
-
目前实现的副本存放策略只是在这个方向上的第一步实现这个策略的短期目标是验证它在生产环境下的有效性,观察它的行为为实现更先进的策略打下測试和研究的基础。
-
大型HDFS集群系统往往运行在跨越多个机架的数据中心不同机架上的两台机器之间的通信需要经过交换机。
-
在大多数情況下同一个机架内的两台机器间的带宽会比不同机架的两台机器间的带宽大。
-
通过一个机架感知的过程Node可以确定每个Data所属的机架ID。一個简单但没有优化的策略就是将副本存放在不同的机架上
-
这样可以有效防止当整个机架失效时数据的丢失,并且允许读数据的时候充分利用多个机架的带宽
-
这种策略设置可以将副本均匀分布在集群中,有利于组件失效情况下的负载均衡但是,因为这种策略的一个写操莋需要传输数据块到多个机架因此增加了写的代价。
经验内容仅供参考如果您需解决具体问题(尤其法律、医学等领域),建议您详细咨詢相关领域专业人士