博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop入门之Hadoop中的HelloWorld程序
阅读量:6878 次
发布时间:2019-06-26

本文共 2574 字,大约阅读时间需要 8 分钟。

  hot3.png

在linux平台上执行wordcount,有官方示例,相应的jar包放在hadoop-2.0.0-cdh4.5.0\share\hadoop\mapreduce1下的hadoop-examples-2.0.0-mr1-cdh4.5.0.jar(注:本人用的是CDH4.5.0版本),我们首先需要准备好数据:

echo "Hello World Hello Hadoop" > 1.txtecho "Hello Hadoop Bye  " >2.txt

然后把数据put到HDFS里:

hadoop fs -mkdir /inputhadoop fs -put /root/1.txt /inputhadoop fs -put /root/2.txt /input

再然后进入到jar所在的目录里“

cd hadoop-2.0.0-cdh4.5.0\share\hadoop\mapreduce1

执行命令:

hadoop jar hadoop-mapreduce-examples-2.0.0-cdh4.5.0.jar WordCount /input /output

其中,/output是执行结果输出目录。

到此,HelloWorld就顺利执行了,你可以用hadoop fs -cat  /output/part 命令来查看结果.

接下来,我们在看看在window上的eclipse如何执行。

首先贴出代码:

public class WordCount {    // mapper    public static class Map extends Mapper
 {        private static IntWritable one = new IntWritable(1);        private Text word = new Text();        @Override        public void map(LongWritable key, Text value, Context context) throws IOException,                InterruptedException {            String line = value.toString();            StringTokenizer token = new StringTokenizer(line);            while (token.hasMoreElements()) {                word.set(token.nextToken());                context.write(word, one);            }        };    }    // reduce    public static class Reduce extends Reducer
 {        protected void reduce(Text key, Iterable
 values, Context context)                throws IOException, InterruptedException {            int sum = 0;            for (IntWritable value : values) {                sum += value.get();            }            context.write(key, new IntWritable(sum));        };    }    public static void main(String[] args) throws Exception {        Configuration conf = new Configuration();        System.setProperty("HADOOP_USER_NAME", "root");//这句话很重要,要不然会告你没有权限执行        Job job = new Job(conf);                String[] ioArgs = new String[] { "hdfs://192.168.1.101:7001/input",                "hdfs://192.168.1.101:7001/output" };        String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs();        job.setJarByClass(WordCount.class);        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));        job.setMapperClass(Map.class);        job.setReducerClass(Reduce.class);        job.setOutputKeyClass(Text.class);        job.setOutputValueClass(IntWritable.class);        System.exit(job.waitForCompletion(true) ? 0 : 1);    }}

然后在eclipse上点执行即可,在执行时可能发现jvm内存不够,添加-Xmx1024M参数执行即可。

转载于:https://my.oschina.net/savez/blog/203542

你可能感兴趣的文章
Eclipse IDE 使用技巧(一)
查看>>
day14 内置函数二
查看>>
Sequelize-nodejs-2-basic usage
查看>>
XVI Open Cup named after E.V. Pankratiev. GP of Ekaterinburg.
查看>>
iOS-中app启动闪退的原因
查看>>
iOS--高级技术
查看>>
struct内存对齐
查看>>
Ubuntu系统利用docker容器发布简单的应用
查看>>
学习网站
查看>>
HTML 5 <input> placeholder 属性
查看>>
应用场景是什么?怎样判断、描述一个产品的应用场景?
查看>>
Winform基础知识
查看>>
【ClickOnce】自定义前提条件 Creating Bootstrapper Packages
查看>>
css格式与布局
查看>>
但那不是爱
查看>>
Codeforces 935 C Fifa and Fafa
查看>>
浏览器根对象document之方法概述
查看>>
纯小白入手 vue3.0 CLI - 3.1 - 路由 ( router )
查看>>
ActiveMQ相关背景(转)
查看>>
深入理解Linux修改hostname(转)
查看>>