Hadoop web监控界面设置安全机制

Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。

实验环境：OS：Centos 6.5 x64， Soft：Hadoop 1.2.1

1、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。

<property>
 
<name>hadoop.http.filter.initializers</name>
 
<value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
</property>
<property>
 
<name>hadoop.http.authentication.type</name>
 
<value>simple</value>
</property>
<property>
 
<name>hadoop.http.authentication.token.validity</name>
 
<value>3600</value>
</property>
<property>
 
<name>hadoop.http.authentication.signature.secret.file</name>
 
<value>/home/huser/hadoop/hadoop-http-auth-signature-secret</value>
</property>
<property>
 
<name>hadoop.http.authentication.cookie.domain</name>
 
<value></value>
</property>
<property>
 
<name>hadoop.http.authentication.simple.anonymous.allowed</name>
 
<value>false</value>
</property>

2、在上述配置的目录/home/huser/hadoop/下生成文件hadoop-http-auth-signature-secret，拷贝到其他节点上。

$ echo "hadoop" > hadoop-http-auth-signature-secret

3、重启集群环境，访问web页面会报错。

HTTP ERROR 401

Problem accessing /dfshealth.jsp. Reason:

org.apache.hadoop.security.authentication.client.AuthenticationException:
Anonymous requests are disallowed

在访问地址栏后面加上?user.name=xxx，其中“xxx“为hadoop-http-auth-signature-secret文件写入的内容，页面可以正常访问，由此可以做到安全机制。

Hadoop web监控界面设置安全机制,布布扣,bubuko.com

时间： 2024-08-04 21:37:24

Hadoop web监控界面设置安全机制的相关文章

Zabbix基于Proxy分布式部署实现Web监控

前言 在日常运维工作中,难免会遇到这样或那样的故障,如何能在第一时间发现故障,并及时定位故障原因,保证业务不受影响,我想这应该是做好一个运维必须要掌握的技能.但人力不可能实时掌控系统的变化,于是监控系统应运而生,监控便是运维的眼睛,把监控和性能管理做好后,运维就是一件很轻松的事情.目前比较流行的开源监控工具有Cacti.Nagios(Icinga).Zabbix等.本文带来的是Zabbix基于Proxy分布式部署实现Web监控. Zabbix 简介 Zabbix是一个基于Web界面提供分布式系统

Hadoop Web项目--Mahout0.10 MR算法集锦

1. 涉及技术及下载 项目开发使用到的软件有:Myeclipse2014,JDK1.8,Hadoop2.6,MySQL5.6,EasyUI1.3.6,jQuery2.0,Spring4.1.3,Hibernate4.3.1,Struts2.3.1,Maven3.2.1,Mahout0.10. 项目下载地址:https://github.com/fansy1990/mahout1.0,项目部署参考:http://blog.csdn.net/fansy1990/article/details/464

Hadoop Web项目--Friend Find系统

项目使用软件:Myeclipse10.0,JDK1.7,Hadoop2.6,MySQL5.6,EasyUI1.3.6,jQuery2.0,Spring4.1.3, Hibernate4.3.1,struts2.3.1,Tomcat7 ,Maven3.2.1. 项目下载地址:https://github.com/fansy1990/friend_find ,项目部署参考:http://blog.csdn.net/fansy1990/article/details/46481409 . Hadoop

Maven构建Hadoop Web项目

使用Maven构建Hadoop Web项目,此项目是一个样例Demo,方便开发专注于后台以及Hadoop开发的人员在其上构建自己定制的项目.该Demo提供了两个样例: 查看HDFS文件夹内容及其子文件/夹: 运行WordCount MR任务: 项目下载地址:Maven构建Hadoop Web项目 系统软件版本 Spring4.1.3 Hibernate4.3.1 Struts2.3.1 hadoop2.6 pure0.6 jdk1.7 tomcat7 myeclipse10.0 jQuery1.

原创：用zabbix api批量添加web监控

代码如下,进攻大家参考,转载的话说明来源 前面5个变量自行补齐, #!/usr/local/python3.51/bin/python3 # Author:         [email protected] # Mail:           [email protected] from pyzabbix import ZabbixAPI import sys from re import compile,IGNORECASE ZABBIX_SERVER = "" USER = &q

Hadoop内部的限流机制

前言 文章标题一開始提及到了一个令人感到有些抽象又显得有些非常"大"的词,限流.事实上这个词语在非常多行业都能够用到,比方近期春运,各大主要城市,火车站,地铁站都要做到限流吧,避免人流量过大造成事故或间接事故,这叫人流量限流,同理也能够用在车流量上.假设基于这个背景,把这里的人群和车辆抽象为数据,对数据进行限流,就是本篇文章的主题了.可能就有人疑惑了,数据为什么要做限流,怎么做限流,有什么优点呢,带着这个疑问,细致的阅读下文的分析吧. 数据的限流 数据的限流更让人理解的称呼应该是&qu

zabbix通过api批量添加web监控

zabbix 添加web监控始终是大问题,不能自动发现只能手动添加 写了个py脚本 #!/usr/bin/env python # -*- coding: utf-8 -*- import json import urllib2 import sys class zabbixtools:     def __init__(self):         self.url = "Zabbixserver"         self.header = {"Content-Type&

深入浅出Zabbix 3.0 -- 第十章 Web 监控

第十章 Web 监控 Web monitoring是用来监控Web站点多方面的可用性,可以监控Web站点的下载速度.返回码和响应时间.Zabbix能够检测HTML中包含的预先定义的字符串,也可以模拟登录网站和鼠标的动作,对特定的结果进行比较,例如特定字符串.返回码等,从而判断站点服务的可用性.Zabbix支持HTTP和HTTPS协议,并在完成每一步模拟访问时会对cookie进行保存. 在Zabbix中设置Web监控时,需要先定义web scenarios(场景),一个webscenarios是由

Web Api 的 路由机制

ASP.NET Web API 是一种框架,用于轻松构建可以访问多种客户端(包括浏览器和移动设备)的 HTTP 服务. ASP.NET Web API 是一种用于在 .NET Framework 上构建 RESTful 应用程序的理想平台. 所以我们要想学习web api 就要去了解它的路由机制.MVC和web api的路由机制的主要区别是web api 使用的是http 方法而不是url 的路径.本文就演示一下web api 是怎样在controller 里映射 http 请求的. web a