mapreduce本地运行 worker进程运行在哪个机上

mapreduce本地运行是一个编程模型,和处理,產生大数据集的相关实现.用户指定一个 map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间 biner函数的输絀被写到中间文件里,然后被发送给reduce任务.
部分使用combiner可以显著的提高一些mapreduce本地运行操作的速度.附录A包含一个使用combiner函数的例子.

我要回帖

更多关于 mapreduce本地运行 的文章

 

随机推荐