`
wudixiaotie
  • 浏览: 132831 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop学习笔记

 
阅读更多

map参数中的key是什么:key是文件中的偏移量

value是这行数据,

context是负责hadoop map reduce之间数据的传递,所以map完成后要把结果写入到context中。

为什么要用文件的偏移量做key呢,估计是为了reduce的时候能有个顺序吧。

 

写入context的结果也是key value对,比如word count,写入的key肯定就是word,value就是count,然后把context传递给hadoop,hadoop把相同key的value组成一个数组value array,然后把key和value array传递给reduce,reduce把结果统计好后,把结果也写成key value的形式写入context中,然后hadoop在去做统计并输出。

 

 

分享到:
评论

相关推荐

    Hadoop学习笔记

    Hadoop学习笔记,自己总结的一些Hadoop学习笔记,比较简单。

    3.Hadoop学习笔记.pdf

    hadoop学习笔记,hadoop简介,适用于hadoop入门,讲解hadoop安装,使用,基本原理,大数据,分布式等概念

    Hadoop 学习笔记.md

    Hadoop 学习笔记.md

    最新Hadoop学习笔记

    hadoop 学习笔记,从搭建环境开始到具体实验。包括hdfs配置,yarn配置,分布式配置,如何编写mapreuduce 一步一步手把手,最后项目是hadoop 与 javaweb

    Hadoop学习笔记整理

    Hadoop学习笔记

    hadoop学习笔记.rar

    hadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rarhadoop学习笔记.rar

    Hadoop学习笔记AAAAAAAAAAA

    Hadoop学习笔记AAAAAAAAAAA

    HADOOP学习笔记

    云计算平台的搭建云计算平台的搭建云计算平台的搭建云计算平台的搭建云计算平台的搭建云计算平台的搭建云计算平台的搭建云计算平台的搭建云计算平台的搭建

    云计算hadoop学习笔记

    云计算,hadoop,学习笔记, dd

    hadoop学习笔记(三)

    踏入hadoop的世界,一个不一样的世界

    Hadoop学习笔记.pdf

    Hadoop 适合初学者 Hadoop2.0 hbase 什么时候用HBase: 确信有足够多数据 确信可以不依赖所有RDBMS的额外特性(列数据类型/第二索引/事物/高级查询语言) 确信有足够硬件

Global site tag (gtag.js) - Google Analytics