阿里云EMR集群初始化后的开发准备工作

前言：EMR的集群使用越来越普遍，但是每一次的集群释放到集群的重新创建，期间总有一些反复的工作需要查询与配置。为方便后续工作查阅，现在对集群初始化后的工作进行大概的梳理如下。

step1: 登录阿里云查看集群主节点分配的公网IP

step2：若之前有进行外网访问权限的设置，设置安全组白名单 (while-list)

step3：登录EMR节点，更改hadoop用户的登录密码（建议用部署用户进行emr任务的操作，root用户慎用！）

[[email protected] emr]$ hadoop fs -ls /

Found 3 items

drwxr-xr-x - hadoop hadoop 0 2017-05-20 11:02 /apps

drwxr-xr-x - hadoop hadoop 0 2017-05-20 16:18 /spark-history

drwxrwxrwx - hadoop hadoop 0 2017-05-20 11:03 /tmp

step4: 查询或修改集群的配置信息

$ ll /etc/emr/

$ ll /opt/apps/

时间： 2024-08-24 01:30:23

阿里云EMR集群初始化后的开发准备工作的相关文章

阿里云ECOS 集群方案

转载 https://it.toggle.cn/article_detail/7e6f674b2564d6c319f807b4fda87eac.html 架构说明前端由阿里云SLB统一分发Web请求独立的网店管理后台管理入口域名绑定单台低权重ECS服务器(其他ECS管理做入口屏蔽),同时此ECS承担 ECStore crontab定时任务.应用文件同步源独立一台ECS服务器做Mongo(KV NOSQL).MEMCACHE服务,如果在后期出现压力可以协同其他ECS服务器组Mongo副本集.

Jedis cluster集群初始化源码剖析

Jedis cluster集群初始化源码剖析环境 jar版本: spring-data-redis-1.8.4-RELEASE.jar.jedis-2.9.0.jar 测试环境: Redis 3.2.8,八个集群节点 applicationContext-redis-cluster.xml 配置文件: <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.spri

kafka集群扩容后的topic分区迁移

kafka集群扩容后的topic分区迁移 ./bin/kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --alter --topic dftt --partitions 4 kafka集群扩容后,新的broker上面不会数据进入这些节点,也就是说,这些节点是空闲的:它只有在创建新的topic时才会参与工作.除非将已有的partition迁移到新的服务器上面:所以需要将一些topic的分区迁移到新的broker上. kaf

阿里云携手AppCan推“聚无线”移动开发平台

互联网行业的O2O大战愈演愈烈,巨头纷纷加紧布局,从地图.团购.音乐.社交媒体.生活网站到移动端支付,线下商机与互联网的结合越来越紧密,大移动生态圈的雏形已窥见一斑.在战线的最前沿,入口之争尤为激烈,一方面巨头希望获得消费者的倾心,实现利润升级.另一方面,作为应用源头的开发者也是巨头们争抢的焦点.开发者的追捧是操作系统.开发平台.延伸服务等生存的基石,是打通行业上下游的关键. 3月31日,阿里云宣布联合AppCan.高德.友盟等厂商推出移动开发平台"聚无线",这是阿里巴巴首次在移动领域

阿里云安装mysql，初始化密码修改

阿里云服务器,centos7, rpm包安装MySQL,初始化了个奇葩密码登陆不上, 修改配置文件/etc/my.cnf,在[mysqld]下面添加一行代码:skip-grant-tables service mysqld restart mysql -uroot -p //此时直接回车,既可以进入数据库. 进数据库后,use mysql //选择mysql这个库,因为mysql的root密码存放在这个数据库里. show tables //查看下mysql库里有哪些表,我们需要操作的

CentOS7 部署K8S集群成功后，重启就不能用了？？？k8s环境自启动

如题,踩了一堆坑后,终于把项目部署到k8s,但是每次重启,都要初始化???不科学啊,找了一堆资料,记录下踩坑过程: 一.准备工作如果你的项目还没在k8s环境下部署成功,建议看看其他几篇文档: 1.安装虚拟机:https://www.cnblogs.com/CoderLinkf/p/12393993.html 2.集群部署:https://www.cnblogs.com/CoderLinkf/p/12395710.html 3.项目部署:https://www.cnblogs.com/Coder

云计算及云数据库集群架构师

行动成就梦想课程课程提要课程模块上课要求 Linux部分课程 ULE-Linux基础部分 Linux系统环境及权限管理 LINUX初级与高级 Linux系统配置及网络配置 Linux系统.网络服务及安全配置 Shell部分 Linux Bash Shell编程及系统自动化 Mysql部分 Mysql数据库管理及高并发数据库读写分离项目 ULE项目部分企业级运维技术及实践项目 ULA-高级部分 Linux系统高级安全及入侵恢复 Linux系统性能分析及调优 Linux高级存储.共享存储

关于阿里云服务器Linux安装Tomcat后，外网不能访问解决方案

这里需要提及三个方面的问题第一个方面:Linux上启动防火墙的问题当下比较流行的Linux镜像是CentOS,所以防火墙也随之变成了firewall,那么怎么操作这个防火墙呢? #停止firewallsystemctl stop firewalld.service #开启firewallsystemctl start firewalld.service #禁止firewall开机启动systemctl disable firewalld.service #查看默认防火墙状态(关闭后显示not

阿里云centos服务器tomcat启动后，浏览器请求无响应