MapReduce 计算气温最大/最小/平均值 |
您所在的位置：网站首页 › 全球温度数据统计 › MapReduce 计算气温最大/最小/平均值 |
MapReduce 计算气温最大/最小/平均值
|
本实验来自于 《Hadoop权威指南》第4班 第2章 项目地址：https://github.com/whirlys/BigData-In-Practice/tree/master/ch2noaa 前置条件 安装好Java、maven、Hadoop等环境美国国家气候数据中心-气象数据集下载地址：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 步骤 1、 下载数据由于全部数据非常庞大，这里只下载2017年的部分数据用于实验： wget ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017 -r最正确的数据格式请参考网站
由于数据集是由非常多的小文件组成，通常情况下Hadoop处理少量的大型文件更容易、更有效，所以我们将用于实验的数据文件拼接成一个大文件 zcat *.gz > coaa.sample.txt 3、 上传数据集到HDFS上 hadoop dfs -mkdir -p /hadoop/ch2 hadoop dfs -copyFromLocal coaa.sample.txt /hadoop/ch2 4、 编写MapReduce程序分别编写求最大值、最小值、平均值的MapReduce程序 package max; import common.TemperatureMapper; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; public class MaxTemperature { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { if (args.length != 2) { System.err.println("Usage: MaxTemperature "); System.exit(-1); } Job job = Job.getInstance(); job.setJarByClass(MaxTemperature.class); job.setJobName("MapReduce实验-气象数据集-求气温最大值"); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setMapperClass(TemperatureMapper.class); // 设置 Combiner 减少数据的传输量、提高效率 // job.setCombinerClass(MaxTemperatureReducer.class); job.setReducerClass(MaxTemperatureReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); System.exit(job.waitForCompletion(true) ? 0 : 1); } } 5、 打包上传并运行作业mvn package 打包 使用 rlzsz 将Jar包上传到服务器 运行三个作业 hadoop jar ch2.noaa-1.0-SNAPSHOT.jar max.MaxTemperature /hadoop/ch2/coaa.sample.txt /hadoop/ch2/output/coaa.sample/max hadoop jar ch2.noaa-1.0-SNAPSHOT.jar min.MinTemperature /hadoop/ch2/coaa.sample.txt /hadoop/ch2/output/coaa.sample/min hadoop jar ch2.noaa-1.0-SNAPSHOT.jar avg.AvgTemperature /hadoop/ch2/coaa.sample.txt /hadoop/ch2/output/coaa.sample/avg 6、 查看运行结果 hadoop dfs -cat /hadoop/ch2/output/coaa.sample/max/part-r-00000 hadoop dfs -cat /hadoop/ch2/output/coaa.sample/min/part-r-00000 hadoop dfs -cat /hadoop/ch2/output/coaa.sample/avg/part-r-00000最大值： 2017 302 最小值： 2017 -424 平均值： 2017 49 7、 查看作业状态http://ip:8088/cluster
http://ip:50070/explorer.html#/hadoop/ch2/output/coaa.sample
|
【本文地址】
公司简介
联系我们
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |