Hadoop之WEBUi界面功能介绍及日志配置查看 |
您所在的位置:网站首页 › 查看job运行日志 › Hadoop之WEBUi界面功能介绍及日志配置查看 |
启动Hadoop服务器 sbin/start-all.sh 浏览器访问 http:// hadoop-senior01.test.com:8088 Cluster Metrics:集群指标 apps(提交、排队、运行、完成) Containers:容器数 Memory:(使用的内存、总共内存、剩余内存) VCores(CPU虚拟内核书):(使用的、总共的,剩余的) Cluster Nodes Metrics:集群节点指标 activenode:正在运行的 decommissioning node:正在退出的 lost node:丢失的 unhealthy:不健康的 rebootedNode:重启的 User metrics for dr.who:通过浏览器访问的默认用户 apps:同上 containers:(运行的、排队的、剩余的) memory同上 vcores同上 show entries: id、user、name、application(应用)、queue(队列)、starttime开始时间、state状态、finalState结束状态、runningContainers(container进程)、memory内存、VCores(cpu)、 progress(进度)、TrackIngUI(ApplicationMaster正在跑的时候会被打开,查看应用的情况) Application应用: new新的 new Saving:新保存的 SUbmitted:提交的 Accepted:已经接受的 RUNNING:正在跑的作业 Finished:结束的作业 Failed:失败的作业 KIlled:杀死的作业 Scheduller:资源调度器 聚合日志: 先启动hadoop: sbin/start-alll.sh 一个mapreduce如何放到yarn上进行执行 WordCound程序 单机访问: bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.x.x.jar wordcount 服务器访问本地 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.x.x.jar wordcount file: file: WEB UI监控 节点状况 MapreduceApplication状况 Container分配状况 a、含义: 分布式计算作业放到NodeManager运行,日志信息放到NodeManager本地目录: yarn.nodemanager.log-dirs:${yarn.log.dir}/userlogs 通过配置将本地日志放到HDFS服务器上,即集合日志的概念 聚合日志配置yarn-site.xml: #启用日志聚合功能 yarn.log-aggregation-enable true #存放多长时间 yarn.log-aggregation.retain-seconds 3600yarn.log-aggregation-enable 是否启用日志聚合功能,日志聚合开启后保存到HDFS上 yarn.log-aggregation.retain-seconds 聚合后的日志在HDFS上保存多长时间,单位为s yarn.log-aggregation.retain-check-interval-seconds 删除任务在HDFS上执行的间隔,执行时候将满足条件的日志删除(超过保存时间的日志), 如果是0或者负数,则为参数2设置值的1/10 yarn.nodemanager.log.retain-seconds 当不启用日志聚合此参数生效,日志文件保存本地的时间,单位为s yarn.nodemanager.remote-app-log-dir 当应用程序运行结束后,日志被转移到的HDFS目录(启用日志聚集功能时有效),修改为保存的日志文件夹 yarn.nodemanager.remote-app-log-dir-suffix 远程日志目录子目录名称(启用日志聚集功能时有效)
启动历史服务器: mapreduce.jobhitory.address jobhistory的rpc访问地址 mapreduce.jobhistory.webapp.address jobhistory的http访问地址 启动:sbin/mr-jobhistory-daemon.sh start historyserver WEB UI http:// :19888 停止:sbin/mr-jobhistory-daemon.sh stop historyserver
作业执行完成之后,无法访问container,无法访问 也可以通过50070查看日志:
|
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |