利用hadoop1.x集群进行探索性实验（一）【对WEB监控界面增加安全机制】

这个实验我选择了简单的做法，并没有用到kerkeros。本人会努力，尽快学会用到kerkeros给hadoop增加安全机制，使我的小象不再“裸奔”。

首先是打开hdfs-site.xml，然后加入如下属性。最后设置登录用户名。就是在设置hadoop.http.authentication.signature.sercet.file属性时指定的目录文件，在文件中写入用于登录的用户名。我这里填的是leung。登录时在网址后面加上“?user.name=leung”即可访问。

接着启动集群，并且关闭开始时候默认启动的hdfs的安全模式。如图所示。

接着访问web界面。

此时在后面输入之前在文件中写的用户名即可成功访问！大家可以仔细看地址栏的地址，在JSP后面传入了user参数。

这样就搞掂啦！！

时间： 2024-10-12 19:12:31

利用hadoop1.x集群进行探索性实验（一）【对WEB监控界面增加安全机制】的相关文章

集群配置工具之conga：web配置简易RHCS

RHCS,红帽的集群套件,至于原理性能什么的我这里也不多说了,很复杂也很无趣,而且网上一百遍介绍RHCS的文章,通常也是只是在用同一种方式同一种语言同一种思路说同一件事,有的甚至拼音的错误也是一样的,很无聊,大家有兴趣可以自己搜.好了,吐槽完毕,开始今天的实验! 准备: 一台控制台(node1.xue.com),需要安装luci和ansible; 三台做集群,及被控制机(node2.xue.com.node3.xue.com.node4.xue.com),需要安装ricci: 配置好yum源:

keepalived高可用集群学习以及实验总结

HA Cluster实现方案:vrrp协议的实现keepalivedais: 完备HA集群RHCS(cman)heartbeatcorosync + pacemaker :corosync是集群框架引擎程序,pacemaker是集群资源管理器,crmsh是pacemaker命令行管理工具 stonish : shooting the other node in the header 节点爆头,比如硬件设备方面的电源交换机,代理调度器节点都可以向其发送信号切断故障一方的电源,从而使得明确退出服务,

利用Redis实现集群或开发环境下SnowFlake自动配置机器号

前言: SnowFlake 雪花ID 算法是推特公司推出的著名分布式ID生成算法.利用预先分配好的机器ID,工作区ID,机器时间可以生成全局唯一的随时间趋势递增的Long类型ID.长度在17-19位.随着时间的增长而递增,在MySQL数据库中,InnoDB存储引擎可以更快的插入递增的主键.而不像UUID那样因为写入是乱序的,InnoDB不得不频繁的做页分裂操作,耗时且容易产生碎片. 对于SnowFlake 的原理介绍,可以参考该文章:理解分布式id生成算法SnowFlake 理解了雪花的基本原理

利用NTP实现集群时间同步

一.NTP介绍 NTP是网络时间协议(Network Time Protocol),它是用来同步网络中各个计算机的时间的协议. 在计算机的世界里,时间非常地重要,例如对于火箭发射这种科研活动,对时间的统一性和准确性要求就非常地高,是按照A这台计算机的时间,还是按照B这台计算机的时间?NTP就是用来解决这个问题的,NTP(Network Time Protocol,网络时间协议)是用来使网络中的各个计算机时间同步的一种协议.它的用途是把计算机的时钟同步到世界协调时UTC,其精度在局域网内可达0.1

高可用集群技术之heartbeat+NFS实现web服务高可用(文本方式配置接口--gui图形配置)

一.高可用集群基本概念   什么是高可用技术呢?在生产环境中我既要保证服务不间断的服务又要保证服务器稳定不down机,但是异常还是会发生,比如说:服务器硬件损坏...导致服务器down机,我该如何保证服务器down机后继续提供服务呢?这时我就应该请出高可用技术来帮忙了,当我们的服务器发生故障后不能继续时,高可用集群技术解决将业务及服务自动转移至其他主机服务器上继续服务,保证服务架构不间断运行. 高可用集群的架构层次: 后端主机层: 这一层主要是正在运行在物理主机上的服务. 2.Message l

Hadoop集群环境配置

这次配置的环境是Hadoop1.2.1版本,Hadoop在13年推出了Hadoop2.0版本,该版本在Hadoop1.0版本的基础上作了较大的改动,提升了Hadoop集群任务调度.资源分配以及故障处理方面的效率. Hadoop2.0在Hadoop1.0的基础上,首先对HDFS作了改动,在Hadoop1.0中,HDFS系统中NameNode节点只允许有1个,当然,在GFS的论文中,集群中影藏着一个ShadowNode,作为NameNode的备份,应该就是Hadoop1.0中配置的Secondary

Docker1.12.1之swarm集群搭建与使用

1:前言 在docker1.12版本之前,众所周知dokcer本身只能单机上运行,而集群则要依赖mesos.kubernetes.swarm等集群管理方案.其中swarm是docker公司自己的容器集群管理工具,在当时的热度还是低于前两者.docker1.12.0版本发布中,Docker公司出于战略眼光,将swarm集成到docker-engine中,使docker内置了集群解决方案.于是swarm这个"亲儿子"的江湖地位迅速提升,在docker集群方案中与mesos,k8s形成三足鼎

Haproxy+Keepalived搭建Weblogic高可用负载均衡集群

配置环境说明:   KVM虚拟机配置 用途 数量 IP地址 机器名 虚拟IP地址 硬件 内存3G  系统盘20G cpu 4核 Haproxykeepalived 2台 192.168.1.10192.168.1.20 Haserver01Haserver02 192.168.30192.168.40 内存6G  系统盘20G cpu 4核 Weblogic 4台 192.168.1.100192.168.1.150 192.168.1.200 192.168.1.250 Clusters01C

利用heartbeat实现高可用集群

heartbeat是一个可以提供messaging  Layer层的软件,他有三个版本(v1.v2.v3),本实验使用heartbeat v2版本,由于v2版本自带了2个资源管理器heartbeat和crm,因此,本文会分别实现2个不同的资源管理器来实现高可用集群. 一.利用heartbeat自带的资源管理器heartbeat来实现高可用集群 1.实验环境 本次实验作者是在RHEL 5.8系统上实现的,并且是在vm虚拟机上实现的.每一个虚拟机上面只需要一个网卡即可,网卡模式可以是桥接也可以是仅主