streaming把reduce的输出作为一个任务的最终输出,输出文件形如:
part-00000、part-00001……
文件个数为reduce任务个数
但是,有的时候,我们有多路输出的需求,eg:一部分数据作为下一个mapreduce任务的输入,另一部分数据直接供下游任务抓取,此时,我们就需要使用reduce的多路输出。
在hadoop-v2-u7中,streaming引入了reduce多路输出的功能,允许一个reduce输出到多个文件中,规则如下:
使用-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat或者-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleSequenceFileOutputFormat指定使用带多输出的OutputFormat(前者对应于文本输入,后者于二进制输入)
reduce输出文件可以为part-xxxxx-X文件,其中X是A-Z的字母之一,使用方式是在输出key,value对的时候,在value的后面追加"#X"两个字节后缀,后缀不同的key,value输出到不同的part-xxxxx-X文件,value的后缀"#X"自动删除。
此时,需要特别注意的是,由于value之后#X才会识别为输出文件标示,而reduce的输出默认以"/t"分割key和value,因此,如果reduce的输出是一行中间没有"/t",我们就需要在#X后缀前面添加"/t"使它变成value的一部分而不是key的一部分,也可以通过“-D stream.reduce.output.field.separator”指定reduce输出分割符的类型。
示例:
对输入的数据做处理,以字符'1’开头的输入part-xxxxx-A文件中,以字符'2’开头的输入part-xxxxx-A文件中,其余输入part-xxxxx-C文件中
1. mapper程序mapper.sh
2. reducer程序reducer.sh
3. 输入数据:test.txt
4. 输入文本放入hdfs,集群运行:
$ hadoop fs -put test.txt /usr/test.txt
$ hadoop streaming -input /usr test.txt /
-output /usr/test_1234 /
-mapper ./mapper.sh -reducer ./reducer.sh /
-file mapper.sh -file reducer.sh /
-inputformat org.apache.hadoop.mapred.TextInputFormat /
-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat /
-jobconf -jobconf mapred.reduce.tasks=3 /
-jobconf mapre.job.name="mul_output_test"
查看输出:
$ hadoop fs -ls /usr/test_1234
Found 7 items
-rw-r--r-- 3 test test 11 2011-05-20 09:56 /usr/test_1234/part-00000-C
-rw-r--r-- 3 test test 11 2011-05-20 09:56 /usr/test_1234/part-00001-A
-rw-r--r-- 3 test test 11 2011-05-20 09:56 /usr/test_1234/part-00001-B
-rw-r--r-- 3 test test 11 2011-05-20 09:56 /usr/test_1234/part-00001-C
-rw-r--r-- 3 test test 22 2011-05-20 09:56 /usr/test_1234/part-00002-A
-rw-r--r-- 3 test test 22 2011-05-20 09:56 /usr/test_1234/part-00002-B
-rw-r--r-- 3 test test 22 2011-05-20 09:56 /usr/test_1234/part-00002-C
分享到:
相关推荐
Hadoop硬实战:Hadoop in Practice
hadoop2.7汇总:新增功能最新编译64位安装、源码包、API、eclipse插件下载
Hadoop技术内幕:深入解析YARN架构设计与实现原理 高清完整中文版PDF下载
( Hadoop Streaming编程实战(C++、PHP、Python).pdf ) ( Hadoop Streaming编程实战(C++、PHP、Python).pdf )
Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理
Hadoop实战:Hadoop in Action
Hadoop Streaming 官方中文文档
Hadoop技术内幕:深入解析YARN架构设计与实现原理.pdf
《Hadoop硬实战》收集了85个问题场景以及解决方案的实战演练。在关键问题领域对基础概念和实战方法做了权衡,例如导入导出、序列化,以及LZO压缩。你将会学习到每个技术的细节,以及当遇到一个具体问题时能够给出...
Hadoop技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) 原版书籍,非扫描版,使用kindle可以打开,也可以转换为epub使用ibooks打开
实时Hadoop实战篇:基于Storm实时路况分析和实时路径推荐系统方案.doc
Hadoop技术内幕:深入解析YARN架构设计与实现原理.pdf
数据架构师第006节实战.基于hadoop streaming的wordcount .mp4
实战hadoop资料集:开启通向云计算的捷径,Hadoop的资料下载
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》还从源代码实现中对分布式技术的精髓、分布式系统设计的优秀思想和方法,以及Java语言的编码技巧、编程规范和对设计模式的精妙运用进行了总结和...
最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》适合Hadoop的二次开发人员、应用...
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔,对Common和HDFS的源代码进行了分析,旨在为Hadoop的优化、定制和扩展提供原理性的指导。...
php-hadoopstreaming ... hadoop-standalone/bin/hadoop jar hadoop-standalone/hadoop-streaming.jar\ -input examples/wordcount/word.txt\ -output examples/wordcount/output\ -mapper 'php examples/wordco
Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与...
具体的解释可以参见我的博客:http://dongxicheng.org/mapreduce/hadoop-streaming-programming/