Hadoop 配置(1)

1/增加hadoop 的用户;

sudo useradd -m hadoop -s /bin/bash

创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。

设置密码:sudo passwd hadoop

2/可为 hadoop 用户增加管理员权限 

sudo adduser hadoop sudo

更新源

   2  sudo apt update

3/安装ssh服务器,配置无密码登陆

 3  sudo apt-get install openssh-server4  ssh localhost 5  cd ~/.ssh/ 6  ssh-keygen -t rsa  7  cat ./id_rsa.pub >> ./authorized_keys

测试:

8  ssh localhost

一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。

验证安装文件

   33  cat hadoop-2.7.2.tar.gz.mds |grep 'MD5'   34  head -n 6 hadoop-2.7.2.tar.gz.mds    35  md5sum hadoop-2.7.2.tar.gz |tr "a-z" "A-Z"

将 Hadoop 安装至 /usr/local/ 中:

sudo tar -zxf ~/packages/hadoop-2.7.2.tar.gz -C /usr/local
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中cd /usr/local/sudo mv ./hadoop-2.7.2/ ./hadoop            # 将文件夹名改为hadoopsudo chown -R hadoop:hadoop ./hadoop       # 修改文件权限

测试:

cd hadoop./bin/hadoop version
  1. [email protected]:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar

An example program must be given as the first argument.

Valid program names are:

aggregatewordcount: An Aggregate based map/reduce program that counts the words in the input files.

aggregatewordhist: An Aggregate based map/reduce program that computes the histogram of the words in the input files.

bbp: A map/reduce program that uses Bailey-Borwein-Plouffe to compute exact digits of Pi.

dbcount: An example job that count the pageview counts from a database.

distbbp: A map/reduce program that uses a BBP-type formula to compute exact bits of Pi.

grep: A map/reduce program that counts the matches of a regex in the input.

join: A job that effects a join over sorted, equally partitioned datasets

multifilewc: A job that counts words from several files.

pentomino: A map/reduce tile laying program to find solutions to pentomino problems.

pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method.

randomtextwriter: A map/reduce program that writes 10GB of random textual data per node.

randomwriter: A map/reduce program that writes 10GB of random data per node.

secondarysort: An example defining a secondary sort to the reduce.

sort: A map/reduce program that sorts the data written by the random writer.

sudoku: A sudoku solver.

teragen: Generate data for the terasort

terasort: Run the terasort

teravalidate: Checking results of terasort

wordcount: A map/reduce program that counts the words in the input files.

wordmean: A map/reduce program that counts the average length of the words in the input files.

wordmedian: A map/reduce program that counts the median length of the words in the input files.

wordstandarddeviation: A map/reduce program that counts the standard deviation of the length of the words in the input files.

  1. ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount README.txt ~/RESULT

注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。

来自为知笔记(Wiz)

时间: 2024-10-10 01:15:04

Hadoop 配置(1)的相关文章

hadoop配置名称节点HA基本流程

hadoop配置HA(NN) 配置信息参考hadoop配置名称节点HA原理 1.停止所有进程 stop-dfs.sh 2.配置hdfs-site.xml和core-site.xml 3.将s201的id_rsa发送到s205(确保两个NN能同时ssh到各个DN) 4.将s201的工作目录复制到s205 5.启动服务journalnode hadoop-daemons.sh start journalnode 6.初始化journalnode hdfs namenode -initializeSh

Hadoop配置过程!

1             Hadoop配置 注意事项:关闭所有防火墙 服务器 IP 系统 Master 10.0.0.9 Centos 6.0 X64 Slave1 10.0.0.11 Centos 6.0 X64 Slave2 10.0.0.12 Centos 6.0 X64 Hadoop版本:hadoop-0.20.2.tar.gz 1.1      在master:(在slave1和slave2上操作和以下相同) #vi /etc/hosts        三台机器相同配置 10.0.0

Hadoop技术内幕——Hadoop配置信息处理

配置系统是复杂软件必不可少的一部分,org.apache.hadoop.conf.Configuration在Hadooop各个子项目中发挥着重要作用. windows系统广泛使用一种特殊批的ASCII文件.ini作为其主要配置文件标准,被称为(Initialization File)或概要文件(profile):java中JDK提供了java.util.Properties类处理简单的配置文件.而Hadoop采用自己独有的配置文件管理系统. Hadoop的配置文件的根元素是configurat

hadoop配置错误

经过上一周的郁闷期(拖延症引发的郁闷),今天终于开始步入正轨了.今天主要是解决hadoop配置的错误以及网络时断时续的问题. 首先说明一下之前按照这篇文章的方法配置完全没有问题,但是等我配置好了发现hadoop的版本和我的需求有点不一样,于是重新安装低版本的hadoop,结果就遇到问题了. 一,Hadoop错误 1. dataNode总是启动不了?  no datanode to stop 怎么解决的呢.不需要hadoop namenode -format:把 dfs/data 删除即可,res

Hadoop配置过程实践!

1             Hadoop配置 注意事项:关闭所有防火墙 服务器 IP 系统 Master 10.0.0.9 Centos 6.0 X64 Slave1 10.0.0.11 Centos 6.0 X64 Slave2 10.0.0.12 Centos 6.0 X64 Hadoop版本:hadoop-0.20.2.tar.gz 1.1      在master:(在slave1和slave2上操作和以下相同) #vi /etc/hosts        三台机器相同配置10.0.0.

Hadoop配置信息处理

1 配置文件简介 配置文件是一个灵活系统不可缺少的一部分,虽然配置文件非常重要,但却没有标准. 1.1 Java配置文件 JDK提供了java.util.Properties类,用于处理简单的配置文件.Properties很早就被引入到Java的类库中,并且一直没有什么变化.它继承自Hashtable,表示了一个持久的属性集,该集可保存在流中或从流中加载.属性列表中每个键及其对应值都是字符串类型. public class Properties extends Hashtable<Object,

Hadoop学习之第一章节:Hadoop配置安装

一.配置虚拟机三台 1.网络配置 虚拟化软件: Vmware Workstations  10.7z Linux系统:  Centos 6.5-x86_64 采用4台安装Linux环境的机器来构建一个小规模的分布式集群. 集群机器详细信息 1.虚拟化的网络配置方式:桥接网络 2.IP地址设置为固定IP地址 3.主机名配置,需要修改一下地方 (1)配置vi  /etc/hostname (2)配置vi /etc/sysconfig/network (3)配置vi /etc/hosts 4.关闭防火

Hadoop配置参数

Hadoop的配置文件解释 hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息,比如配置JAVA_HOME环境变量.为hadoop的JVM指定特定的选项.指定日志文件所在的目录路径以及master和slave文件的位置等: core-site.xml: 用于定义系统级别的参数,它作用于全部进程及客户端,如HDFS URL.Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等,此中的参数定义会覆盖core-default.xml文件中的默认配置: hdf

hadoop初次接触----------虚拟机、SSH互信及hadoop配置

部署环境: OS:Fedora 23 JDK:jdk-7u80-linux-x64 Hadoop:hadoop-2.7.2 VMWare:VMware Workstation 12 Pro 安装JDK rpm -ivh jdk-7u80-linux-x64.rpm 配置环境变量 用vim编辑器打开/etc/profile文件,加入环境变量的定义 JAVA_HOME=/usr/java/jdk1.7.0_80/ PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME

Hadoop1.2.1安装笔记3:hadoop配置

在/usr目录下建立 hadoop文件夹,赋予hadoop用户权限 (master) [[email protected] usr]$ sudo mkdir hadoop [[email protected] usr]$ ls -al  total 156  drwxr-xr-x. 2 root root 4096 Jul 31 00:17 hadoop  [[email protected] usr]$ sudo chown -R hadoop:hadoop hadoop [[email pr