Hadoop 本地模式安装

0. 说明

  本地模式:使用的存储系统,是Linux系统

1. 将 Hadoop 的安装包通过 Xftp 发送到centos 用户的 home 目录

  

2. 解压安装包到 /soft下

  tar -xzvf hadoop-2.7.3.tar.gz -C /soft

3. 进入到 /soft 下,建立符号链接

  cd /soft

  ln -s hadoop-2.7.3/ hadoop

4. 配置 Hadoop 环境变量

  sudo vim /etc/profile

  添加以下内容

  # hadoop 环境变量
  export HADOOP_HOME=/soft/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5. 使环境变量生效

  source /etc/profile

6. 验证 Hadoop

  hadoop version

7. 测试 Hadoop

  hdfs dfs -ls /            //列出

  hdfs dfs -mkdir dir_name    //创建文件夹

  hdfs dfs -cat file_name     //查看文件内容

  hdfs dfs -touch file_name     //创建文件

  hdfs dfs -rm file_name      //删除文件

原文地址:https://www.cnblogs.com/share23/p/9693476.html

时间: 2024-10-13 14:55:47

Hadoop 本地模式安装的相关文章

Hadoop学习笔记(2)-搭建Hadoop本地模式

0.前言 hadoop总共有三种运行方式.本地模式(Local (Standalone) Mode),伪分布式(Pseudo-Distributed Mode),分布式(Fully-Distributed Mode).后面足一讲解搭建本地以及伪分布式,分布式读者自行搭建. 参考资料(官网为主,网络资料为铺): http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html#Stan

Hive本地模式安装及遇到的问题和解决方案

Apache Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. Hive有三种运行模式: 1.内嵌模式:将元数据保存在本地内嵌的Derby数据库中,这得使用Hive最简单的方式,不过使用内嵌模式的话,缺点也比较明显,因为一个内嵌的D

【node.js】本地模式安装express:'express' 不是内部或外部命令,也不是可运行的程序或批处理文件。

今天闲来无事想起了node.js,因此到网上下载了一个node.js的安装程序进行安装.其中: 安装程序:node-v0.11.13-x64.msi PC系统:Windows 7 自定义安装路径:D:\TOOLS\NodeJs 安装完成后,执行: D:\TOOLS\NodeJs>node -v v0.11.13 安装框架express,从网站上下载了一个安装文档,说安装express可分全局模式和本地模式,个人觉得全局模式就是默认的没什么意思,就选择本地模式进行安装,执行: D:\TOOLS\N

Hadoop单机模式安装

需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop. 1. 添加用户及用户组 创建用户hadoop $ sudo adduser hadoop 需要输入shiyanlou的密码:shiyanlou.并按照提示输入hadoop用户的密码. 2. 添加sudo权限 将hadoop用户添加进sudo用户组 $ sudo usermod -G sudo hadoop 四.安装及配置依赖的软件包 1. 安装openssh-server.java.rsync等 $ sudo apt-g

Tachyon基本使用02-----Tachyon本地模式安装

一.配置系统环境 1.清除默认防火墙规则 # service iptables save iptables:将防火墙规则保存到 /etc/sysconfig/iptables:     [确定] 2.关闭Selinux # cat /etc/sysconfig/selinux |grep SELINUX|grep -v ^# SELINUX=disabled  SELINUXTYPE=targeted  # 3.配置ip地址 # cat /etc/sysconfig/network-script

本地模式安装express:'express' 不是内部或外部命令的解决方案

今天闲安装了node.js其中: 安装程序:node-v0.11.13-x64.msiPC系统:Windows 8自定义安装路径:D:\TOOLS\NodeJs 安装完成后,执行:D:\TOOLS\NodeJs>node -vv0.11.13 安装框架express,从网站上下载了一个安装文档,说安装express可分全局模式和本地模式,个人觉得全局模式就是默认的没什么意思,就选择本地模式进行安装,执行: D:\TOOLS\NodeJs>npm install express 安装完了以后,想

3-1.Hadoop单机模式安装

Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试WordCount程序 1.3 实验环境 hadoop2.7.6 Linux CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有linux基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA 二.H

Hadoop单机模式安装入门(Ubuntu系统)

闲来无事,突然看到关于Hadoop集群.以前也了解过,网上找过一些关于百度,谷歌等底层hadoop集群的文档,可是面对很多陌生的技术,看不太通透.所有想自己动手虚拟机试试.经常听到这么高大上的名词,Hadoop已经成为大数据的代名词.短短几年间,Hadoop从一种边缘技术成为事实上的标准.而另一方面,MapReduce在谷歌已不再显赫.当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代. Hadoop支持三种启动集群模式,分别是单机模式,wei分布式模式,安全分布式模式.下面我做

Hadoop单机模式安装-(1)安装设置虚拟环境

网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍如何在Windows环境下设置虚拟机环境以及一些准备工作,熟悉WMware的朋友可以略过. 我所记录的笔记适合没有Linux基础的朋友跟我一起操作,同时欢迎高手参观指导. 环境约定 以下环境基于攥写时间:5th July 2015. 宿主机器:Windows 8 虚拟机环境:WMware Wrokstation 11