CDH大数据集群安全风险汇总

一,风险分为内部和外部

首先内部:

CDH大数据集群部署过程中会自动创建以服务命名的用户,如图所示

用户名(login_name):口令位置(passwd):用户标识号(UID):用户组标识号(GID):注释性描述(users):主目录(home_directory):登陆shell(Shell)

cat /etc/shadow

shadow文件中第二列的格式,它是加密后的密码。该列为"!!",即":!!:",表示该用户从来没设置过密码。

如此,导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上,恶意的提交作业,修改JobTracker状态,篡改HDFS上的数据,伪装成NameNode 或者TaskTracker接受任务等。

解决办法:

加入了Kerberos认证机制。使得集群中的节点就是它们所宣称的,是信赖的。Kerberos可以将认证的密钥在集群部署时事先放到可靠的节点上。集群运行时,集群内的节点使用密钥得到认证。只有被认证过节点才能正常使用。企图冒充的节点由于没有事先得到的密钥信息,无法与集群内部的节点通信。防止了恶意的使用或篡改Hadoop集群的问题,确保了Hadoop集群的可靠安全。

原文地址:https://www.cnblogs.com/duaner92/p/9884782.html

时间: 2024-10-17 23:36:05

CDH大数据集群安全风险汇总的相关文章

CDH大数据集群环境搭建

笔者安装CDH集群是参照官方文档:https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_b.html 1.在集群中所有服务器(包含CM管理节点和各个agent节点)中安装JDK wget http://download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz?AuthParam=1528156044_59d0

6个人如何维护上千规模的大数据集群?

本文主要介绍饿了么大数据团队如何通过对计算引擎入口的统一,降低用户接入门槛:如何让用户自助分析任务异常及失败原因,以及如何从集群产生的任务数据本身监控集群计算/存储资源消耗,监控集群状况,监控异常任务等. 如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资料可以加群:784789432.欢迎你的加入.每天下午三点开直播分享基础知识,晚上20:00都会开直播给大家分享大数据项目实战. 饿了么 BDI-大数据平台研发团队目前共有 20 人左右,主要负责离线&实时 Infra 和平台工

机器学习之大数据集

前言            以下内容是个人学习之后的感悟,转载请注明出处~ 简介 大数据时代已经来临,它将在众多领域掀起变革的巨浪.机器学习对于大数据集的处理也变得越来越重要.大数据 集务必会带来恐怖的计算量,不仅耗费大量资源,而且给数据处理的实时性带来巨大的挑战. 想要解决这个难题,就需要采取以下措施:选择更加适合大数据集的算法.更加好的硬件,采用并行计算等. 本文内容较多,建立以下目录,方便浏览: 批量梯度下降法 随机梯度下降法 微型批量梯度下降法 判断收敛 选择学习速率α 在线学习 map

大数据集群本地安装方法

大数据集群本地安装方法 1.使用Vmware安装Linux系统 请自行下载,并安装.至少安装两台(这里以安装三台为例) 2. 安装xshell和xftp 安装xshell和xftp主要主要是方面后面传文件.写命令等操作. (注意,xshell和xftp的版本一定要一致,不然安装xftp可能会有问题) 3. 配置虚拟机IP A. 每台虚拟机都用root账号登录 a.  编辑hosts文件(使用以下命令) sudo vi /etc/hosts 添加以下内容 192.168.79.131 master

数据结构实践——大数据集上排序算法性能的体验

本文是针对[数据结构基础系列(9):排序]的实践项目. [项目 - 大数据集上排序算法性能的体验] 设计一个函数,产生一个至少5万条记录的数据集合.在同一数据集上,用直接插入排序.冒泡排序.快速排序.直接选择排序.堆排序.归并排序.基数排序等算法进行排序,记录所需要的时间,经过对比,得到对复杂度不同的各种算法在运行时间方面的感性认识. 提示1:这一项目需要整合多种排序算法,可以考虑先建设排序算法库,作为我们这门课算法库的收官之作: 提示2:本项目旨在获得对于复杂度不同算法的感性认识,由于数据分布

大神F2全网通版/大神X7于26日再次开售

热门手机大神X7和大神F2全网通在2015年1月正式上市之后,且取得了不错的市场表现,也受到了不少消费者的欢迎.在2015年春节过后,大神F2全网通和大神X7将于2月26日在各大网上商城再次开售. 大神X7作为今年年头的旗舰产品,拥有极致的航空级铝合金中框工艺.双玻璃镜面设计和超强配置等众多亮点.大神X7有三个版本上市,分别为全网通高配版本.移动版和双4G版本,除了处理器.内存和网络制式上稍有区别之外,三者的其他配置是相当的.大神X7移动版售价为1599元.移动联通双4G版为1699元,在酷派商

搜悦:大集合式的全功能互动新闻聚合平台

随着移动互联网不断深化发展,移动互联网的信息接收方式与PC互联网的差异越来越明显,正是因为其中的微妙差异,许多老牌互联网企业,如百度.腾讯.阿里.中搜.搜狐.网易等都在寻找适应移动互联网时代的信息呈现形式,所以出现了百度搜索APP,腾讯微信.阿里UC.中搜搜悦.搜狐新闻客户端.网易易信等产品. PC互联网在信息展示方式时,更趋向于百花齐放的门户形式,用户在各门户.垂直网站之间跳转也比较容易,而到了移动互联网时代,各门户都以新闻聚合APP代替了网页模式,这就提高了用户在各门户网站之间跳转的门槛.这

基于PostgreSQL的可扩展的开源大数据集群数据库:Postgres-XL

基于PostgreSQL的可扩展的开源大数据集群数据库:Postgres-XL http://www.postgres-xl.org/ Postgres的-XL是一个基于PostgreSQL数据库的横向扩展开源SQL数据库集群,具有足够的灵活性来处理不同的数据库工作负载: OLTP 写频繁的业务 需要MPP并行性商业智能 操作数据存储 Key-value 存储 GIS的地理空间 混合业务工作环境 多租户服务提供商托管环境 可扩展性 Postgres-XL(eXtensible Lattice),

FineReport层式报表解决大数据集展示问题攻略

本文以填报报表为例,通过分页的方式,来解决大数据集展示的问题. 实现的思想就是通过在SQL里筛选部分数据库数据,以达到浏览器可以合理的展示报表页面.(数据分段,语句我这采用的是MYSQL,如果要用其他数据库,请查看FineReport帮助文档) 步骤一:打开fenye.cpt文件. 模板界面如下 两个ds,和一部分数据,及隐藏的一行. 隐藏一行内容如下 这里数据的功能会在下面说起. ds1 里的内容如下 语句内容 SELECT * from aaa limit ${f},${p} 目的是从第${