搭建单节点Hadoop应用环境

操作系统: Ubuntu Server 14.04.3 LTS

Step1: 添加Hadoop专用用户(optional, 出于安全性考虑), 本例中用户名为hm

Step2: 安装相关软件包:

ssh: 本例使用openssh-server, openssh-client.

java: 本例使用openjdk-7-jdk

输入命令

[email protected]:~$ dpkg -l|grep -e ssh

用来查看ssh软件包的安装状态. ii代表成功安装.

如果尚未安装上述软件包, 使用命令apt-get进行安装

[email protected]:~$ apt-get install openssh-server[email protected]:~$ apt-get install openjdk-7-jdk

验证安装并使用:

1. jps - JVM进程查看工具, 将来要用于查看Hadoop守护进程

[email protected]:~$ jps

2. ssh - 单机免密码登录

[email protected]:~$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
hm@u14s64:~$ cd ~/.ssh/
hm@u14s64:~$ cat id_dsa.pub >> authorized_keys
hm@u14s64:~$ ssh localhost

成功登录后, 输入exit退出当前ssh登录.

时间: 2024-10-12 22:43:30

搭建单节点Hadoop应用环境的相关文章

基于Docker快速搭建多节点Hadoop集群--已验证

Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中.这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤.作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,并且支持快速搭建任意节点数的Hadoop集群. 一. 项目简介 GitHub: kiwanlau/hadoop-cluster-docker 直接用机器搭建Hadoop集群是一个相当痛苦的过程,尤其对初学者来说.他们还没开

Mac下的hadoop环境搭建(单节点)

一.安装Java 1.下载以及安装 官网下载jdk,我下载的是1.8.0_45 网址:http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html 如下所示: 然后安装,默认安装路径是:/Library/Java/JavaVirtualMachines/jdk1.8.0_45.jdk/Contents/Home 2.测试是否安装成功 在终端输入 : java -version 如果安装成功,则会显示相应

Zookeeper在Centos7上搭建单节点应用

(默认机器上已经安装并配置好了jdk) 1.下载zookeeper并解压 $ tar -zxvf zookeeper-3.4.6.tar.gz 2.将解压后的文件夹移动到 /usr/local/ 目录下 $ mv zookeeper-3.4.6/ /usr/local/ 3.在zookeeper的目录下新建data 和 logs 两个目录 $ cd /usr/local/zookeeper-3.4.6 $ mkdir data $ mkdir logs 4.到zookeeper3.4.6/con

ASP.NET Core on K8S学习初探(1)K8S单节点环境搭建

当近期的一个App上线后,发现目前的docker实例(应用服务BFF+中台服务+工具服务)已经很多了,而我司目前没有专业的运维人员,发现运维的成本逐渐开始上来,所以容器编排也就需要提上议程.因此我决定开始学习Kubernetes,会将学习当中的过程记录下来,预计会形成一个系列,暂且命名为:ASP.NET Core on K8S,而这个系列会由3个部分组成,且会在不同的时期写完: ASP.NET Core on K8S学习初探:在Docker for Windows中搭建单节点环境,初步了解有个感

Hadoop单节点环境搭建

下面介绍怎么在linux系统上设置和配置一个单节点的Hadoop,让你可以使用Hadoop的MapReduce和HDFS(Hadoop Distributed File System)做一些简单的操作. 准备工作 1)下载Hadoop:2)为你的linux系统安装JDK,推荐的JDK版本可以在这里(http://wiki.apache.org/hadoop/HadoopJavaVersions)查看:3)为你的系统安装ssh. 设置环境变量 1)为Hadoop设置JDK信息: export JA

大数据生态圈 —— 单节点伪分布式环境搭建

本文参考 关于环境搭建,imooc上关于Hadoop.hbase.spark等课程上有很多环境搭建的例子,但是有些并没有说明为什么选择这个的版本,我们知道这些开源的技术发展很快,所以有必要搞清楚如何对它们进行版本选择 环境 centos7.7(主机名hadoop0001,用户名hadoop) + spark 2.2.0 + scala 2.11.8 + hbase1.3.6 + Hadoop 2.6.5 + zookeeper 3.4.14 + kafka 0.8.2.1 + flume 1.6

zookeeper的单节点搭建和分布式搭建

zookeeper的单节点搭建 1.把这个zookeeper-3.4.5.tar.gz文件上传到服务器上的/usr/local目录下 2.解压:tar -zxvf zookeeper-3.4.5.tar.gz 3.重命名:mv zookeeper-3.4.5 zookeeper 4.cd zookeeper/conf 5.修改配置文件的名称:mv zoo_sample.cfg zoo.cfg 6.cd .. 7.启动zookeeper:bin/zkServer.sh start 8.验证:jps

kafka的单节点搭建和集群搭建

首先,kafka的运行,需要zookeeper在后台运行,虽然kafka中已经内置了zookeeper,但是我们还是用自己搭建的分布式zookeeper kafka的单节点搭建  (这里用了自带的zookeeper) 启动服务 ?1.配置和启动zookeeper服务 使用kafka内置zk ?配置zk文件:/opt/kafka/config/zookeeper.properties ?启用zk服务: ?/opt/kafka/bin/zookeeper-server-start.sh /opt/k

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS 6.XHadoop 2.6.0JDK       1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件支持平台    GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证.    Win32平台是作为开发平台支持的.由于分布式操作尚未在Win