使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地) | 您所在的位置:网站首页 › 输入指令后怎么执行 › 使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地) |
Hadoop入门配置系列博客目录一览 1、Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下) 2、使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地) 3、Hadoop完全分布式集群安装及配置(基于虚拟机) 4、Eclipse中使用Hadoop集群模式开发配置及简单程序示例(Windows下) 5、Zookeeper3.4.9、Hbase1.3.1、Pig0.16.0安装及配置(基于Hadoop2.7.3集群) 6、mysql5.7.18安装、Hive2.1.1安装和配置(基于Hadoop2.7.3集群) 7、Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入(基于Hadoop2.7.3) 8、Hadoop完全分布式在实际中优化方案 9、Hive:使用beeline连接和在eclispe中连接 10、Scala-2.12.2和Spark-2.1.0安装配置(基于Hadoop2.7.3集群) 11、Win下使用Eclipse开发scala程序配置(基于Hadoop2.7.3集群) 12、win下Eclipse远程连接Hbase的配置及程序示例(create、insert、get、delete) hadoop入门示例详见本人github:https://github.com/Nana0606/hadoop_example 本篇博客主要介绍“使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)”。 在之前一篇:[Eclipse中使用Hadoop单机模式开发配置及简单程序示例](http://blog.csdn.net/quiet_girl/article/details/74001759),我们讲了如何在eclipse配置文件信息以及如何执行Map/Reduce程序,本篇基于这篇文章的代码总结一下使用hadoop命令行执行jar包的流程,主要包括生成jar、将本地文件上传至dfs文件系统中,执行jar包。 一、Eclipse中生成jar包 使用[Eclipse中使用Hadoop单机模式开发配置及简单程序示例](http://blog.csdn.net/quiet_girl/article/details/74001759) 的MaxTemperature项目的代码,代码写完之后,将其打包成jar,步骤如下:“右击项目名称 --> Export --> JAR file --> Next --> 设置导出路径 --> Next --> Finish”即可,如下图,在这里我们将jar包的输出路径设置为:/home/lina,名称为example.jar :执行代码之后,我们在网页上查看下,在浏览器中输入"http://localost:50070",点击“Utilities --> Browse the file system“,在地址栏上输入“/”,则在dfs系统上的所有文件夹及文件都会显示,如下图: 上传完毕,在上图中的页面上点击Name下的local链接,打开如下页面,发现sample.txt在列表中,点击sample.txt链接,会弹出sample.txt的详细信息。 其中,/home/lina/example.jar是jar包所在目录,com/oss/maxtemperature/MaxTemperatureDriver是因为main程序是放在com.oss.maxtemperature包下的MaxTemperatureDriver.java下,/local/sample.txt是dfs文件系统下的sample.txt输入文件的目录,/output/sampleout是设定的输出目录。 执行完毕,在浏览器中可以看到多了一个output的文件夹,output下面有sampleout文件夹,sampleout文件夹下是输出内容,包括_SUCCESS和part-r-00000文件(与Eclipse中使用Hadoop单机模式开发配置及简单程序示例 一致),如下图: 命令行截图如下: 如图: 3、删除文件的命令 hadoop fs -rm /local/sample.txt //作用:将/local文件目录下的sample.txt文件删除 hadoop fs -rm -r /local //将local文件夹及其内部的文件删除 |
CopyRight 2018-2019 实验室设备网 版权所有 |