| 在cdh平台上创建新用户 | 您所在的位置：网站首页 › 添加hadoop用户 › 在cdh平台上创建新用户 |
|
操作背景
cdh平台一般上使用root去安装平台，hadoop中权限是使用hdfs用户去操作的。所以常常会出现用户访问权限问题，如下图，权限没有配置好，即使使用root用户也会有权限问题。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZQp4c5gZ-1586510736131)(44A9CF2E0B514AA4AA07AB35C5CB5B23)] 尝试修改添加cdp用户 useradd cdp -u 1001 -d /home/cdp/把cdp用户添加到hadoop组,并设置密码 usermod -a -G hadoop cdp passwd cdp密码为cdp [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XtCoeJqq-1586510736132)(37700EF777AF478FBC2E02FE2A9BE792)] 修改sqoopimport目录的访问权限 sudo -u hdfs hdfs dfs -chmod 775 /sqoopimport/ $sudo -u hdfs hdfs dfs -chmod 775 /sqoopimport [sudo] password for cdp: cdp is not in the sudoers file. This incident will be reported.添加cdp用户到sudoers中 sudo vim /etc/sudoers#将hadoop组加入到sudoer 在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g7luQuko-1586510736133)(ED703858F0914D38961BBA543C39EF32)] 使用cdp用户修改目录权限 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N7pdI4jp-1586510736133)(B1854AB8999B41AEB64A33142B3202BB)] [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VkCeW8Ly-1586510736134)(5FBBA96057D84414B951369E8D6649C0)] 所以权限还是不对 更换用户组查看hdfs权限配置 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qrWDoz16-1586510736134)(2E62D3F951D641F5902A2AB7AF3238A2)] 在hdfs的超级用户hdfs的组是supergroup，所以尝试把用户添加到supergroup组中 ## 在linux中添加supergroup组 groupadd supergroup ## 把cdp添加supergroup组中 usermod -a -G supergroup cdp ## 刷新用户信息到各个节点 su - hdfs -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"cdp可以正常使用了 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jUYMxgXF-1586510736134)(16D29AE775124B6FAD378D4DB685E52D)] 补充linux用户权限知识 1. 查看用户信息 whoami #查看当前登录用户名 groups #查看当前登录用户的组内成员 groups test #查看test用户所在的组，以及组内成员 cat /etc/passwd #(文件格式是：用户名:口令:用户标识号:组标识号:注释性描述:主目录:登录Shell) cat /etc/group （#文件格式是： 组名:口令:组标识号:组内用户列表） 2. 用户操作（添加，删除，修改） 2.1 添加 useradd格式：useradd [-d home] [-s shell] [-c comment] [-m [-k template]] [-f inactive] [-e expire ] [-p passwd] [-r] name 主要参数 -c：加上备注文字，备注文字保存在passwd的备注栏中。 -d：指定用户登入时的主目录，替换系统默认值/home/ -D：变更预设值。 -e：指定账号的失效日期，日期格式为MM/DD/YY，例如06/30/12。缺省表示永久有效。 -f：指定在密码过期后多少天即关闭该账号。如果为0账号立即被停用；如果为-1则账号一直可用。默认值为-1. -g：指定用户所属的群组。值可以使组名也可以是GID。用户组必须已经存在的，期默认值为100，即users。 -G：指定用户所属的附加群组。 -m：自动建立用户的登入目录。 -M：不要自动建立用户的登入目录。 -n：取消建立以用户名称为名的群组。 -r：建立系统账号。 -s：指定用户登入后所使用的shell。默认值为/bin/bash。 -u：指定用户ID号。该值在系统中必须是唯一的。0~499默认是保留给系统用户账号使用的，所以该值必须大于499。 特例：无法使用shell，且其用户目录至/var/servlet/service useradd tomcat -d /var/servlet/service -s /sbin/nologin 2.2 删除用户 userdel username userdel -f username #连同用户目录一并删除 2.3 用户权限和用户组修改文件用户和用户组修改：chown 权限修改：chmod -a|--append ##把用户追加到某些组中，仅与-G选项一起使用 -c|--comment ##修改/etc/passwd文件第五段comment -d|--home ##修改用户的家目录通常和-m选项一起使用 -e|--expiredate ##指定用户帐号禁用的日期，格式YY-MM-DD -f|--inactive ##用户密码过期多少天后采用就禁用该帐号，0表示密码已过期就禁用帐号，-1表示禁用此功能，默认值是-1 -g|--gid ##修改用户的gid，改组一定存在 -G|--groups ##把用户追加到某些组中，仅与-a选项一起使用 -l|--login ##修改用户的登录名称 -L|--lock ##锁定用户的密码 -m|--move-home ##修改用户的家目录通常和-d选项一起使用 -s|--shell ##修改用户的shell -u|--uid ##修改用户的uid，该uid必须唯一 -U|--unlock ##解锁用户的密码 3.CDH 中用户信息 3.1 按照功能汇总 用户名密码说明cloudera-scm-cloudera-scm-server服务的用户admin自定义cloudera manager管理员用户scm自定义cm数据库的用户名和密码无自定义Kerberos 数据库admin/[email protected]（自定义）自定义Kerberos database管理员cloudera-scm/[email protected]（自定义）自定义Cloudera manager管理kerberos的无自定义Ldap数据库Flume，hdfs，solr zookeeper，llama，httpfs，mapred，sqoop，yarn，kms，hive，sqoop2，oozie，hbase，sentry，impala，spark，hue，ldap无大数据集群中各服务用户[email protected]和[email protected]自定义大数据集群的超级用户（权限管理使用）duan(自定义)无大数据集群普通用户，用户ID>[email protected]自定义Kerberos创建用户 3.2 官网文档：https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_network_and_security_requirements.html ComponentRoleNamePortVersionCloudera ManagerCloudera Manager Server7182TLS 1.2Cloudera ManagerCloudera Manager Server7183TLS 1.2Flume9099TLS 1.2FlumeAvro Source/SinkTLS 1.2FlumeFlume HTTP Source/SinkTLS 1.2HBaseMasterHBase Master Web UI Port60010TLS 1.2HDFSNameNodeSecure NameNode Web UI Port50470TLS 1.2HDFSSecondary NameNodeSecure Secondary NameNode Web UI Port50495TLS 1.2HDFSHttpFSREST Port14000TLS 1.1, TLS 1.2HiveHiveServer2HiveServer2 Port10000TLS 1.2HueHue ServerHue HTTP Port8888TLS 1.2ImpalaImpala DaemonImpala Daemon Beeswax Port21000TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.ImpalaImpala DaemonImpala Daemon HiveServer2 Port21050TLS 1.0, TLS 1.1, TLS 1.2We recommend that clients use the highest supported version, TLS 1.2.ImpalaImpala DaemonImpala Daemon Backend Port22000TLS 1.0, TLS 1.1, TLS 1.2 We recommend that clients use the highest supported version, TLS 1.2.ImpalaImpala StateStoreStateStore Service Port24000TLS 1.0, TLS 1.1, TLS 1.2We recommend that clients use the highest supported version, TLS 1.2.ImpalaImpala DaemonImpala Daemon HTTP Server Port25000TLS 1.0, TLS 1.1, TLS 1.2We recommend that clients use the highest supported version, TLS 1.2.ImpalaImpala StateStoreStateStore HTTP Server Port25010TLS 1.0, TLS 1.1, TLS 1.2We recommend that clients use the highest supported version, TLS 1.2.ImpalaImpala Catalog ServerCatalog Server HTTP Server Port25020TLS 1.0, TLS 1.1, TLS 1.2We recommend that clients use the highest supported version, TLS 1.2.ImpalaImpala Catalog ServerCatalog Server Service Port26000TLS 1.0, TLS 1.1, TLS 1.2We recommend that clients use the highest supported version, TLS 1.2.OozieOozie ServerOozie HTTPS Port11443TLS 1.1, TLS 1.2SolrSolr ServerSolr HTTP Port8983TLS 1.1, TLS 1.2SolrSolr ServerSolr HTTPS Port8985TLS 1.1, TLS 1.2SparkHistory Server18080TLS 1.2YARNResourceManagerResourceManager Web Application HTTP Port8090TLS 1.2YARNJobHistory ServerMRv1 JobHistory Web Application HTTP Port19890TLS 1.2 |
| CopyRight 2018-2019 实验室设备网 版权所有 |