Hadoop 随手记1

一.版本1.2.1

  下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

二.Hadoop三种工作模式

  1.单机(Standalone Operation)

  2.伪分布式(Pseudo-Distributed Operation)

  3.完全分布式(Fully-Distributed Operation)

三配置文件

  1./conf/core-site.xml

    # 配置namenode节点  <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
    </property>
  # 配置Hadoop临时目录(A base for other temporary directories)
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/data/hadoop</value>
     </property>

  二../conf/hdfs-site.xml

  # 配置副本本分数量,默认是三个(Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time.)  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>

  三.第一次启动服务

    ./bin/hadoop namenode -format 磁盘格式化

  四.启动文件服务器

    ./bin/start-dfs

    备注如碰到:Error: JAVA_HOME is not set错误.请修改文件./conf/hadoop-env.sh - JAVA_HOME节点

  五.web浏览器访问

    http://192.168.239.129:50070

  

时间: 2024-08-15 04:12:00

Hadoop 随手记1的相关文章

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS 6.XHadoop 2.6.0JDK       1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件支持平台    GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证.    Win32平台是作为开发平台支持的.由于分布式操作尚未在Win

Hadoop运维手记

1.处理hadoop的namenode宕机 处理措施:进入hadoop的bin目录,重启namenode服务 操作命令:cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode2.处理hadoop的jobtacker宕机 处理措施:进入hadoop的bin目录,重启jobtacker服务 操作命令:cd path/to/hadoop/bin ./hadoop-daemon.sh start jobtracker3. 处理hadoop的data

SQL Server 2016 CTP2.2 安装手记

SQL Server 2016 CTP2.2 安装手记 下载一个iso文件,解压出来(大约2.8G左右),在该路径下双击Setup.exe即可开始安装. 安装之前请先安装.NET 3.5 SP1,在服务器管理器->添加角色和功能里就能安装 打开安装界面 安装界面一如既往的熟悉,这个安装界面从SQL Server2008开始就没有太大变化 因为是评估版,那么就不需要产品密钥,直接安装 勾选接受许可条款 验证是否符合规则 不要勾选检查更新 选择SQL Server功能安装 高大上的功能来了,可以利用

Hadoop:Windows 7 32 Bit 编译与运行

所需工具 1.Windows 7 32 Bit OS(你懂的) 2.Apache Hadoop 2.2.0-bin(hadoop-2.2.0.tar.gz) 3.Apache Hadoop 2.2.0-src(hadoop-2.2.0-src.tar.gz) 3.JDK 1.7 4.Maven 3.2.1(apache-maven-3.2.1-bin.zip) 5.Protocol Buffers 2.5.0 6.Unix command-line tool Cygwin(Setup-x86.e

编译hadoop 的native library

os:centos 6.7 x64 要解决的问题:   WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决的必要性 hadoop的cache和短路读(Short-Circuit Local Reads)都需要native library的支持 解决步骤 编译方法是 http://had

Hadoop Hive基础sql语法

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言查询,汇总,分析数据.而mapreduce开发人员可以把己写的mapper 和reducer 作为插件来支持

Hadoop快速入门

传说中的Hadoop,我终于来对着你唱"征服"了,好可爱的小象,!J 总的来说,hadoop的思路比较简单(map-reduce),就是将任务分开进行,最后汇总.但这个思路实现起来,比较复杂,但相对于几年前Intel等硬件公司提出的网格运算等方式,显得更加开放. 你难任你难,哥就是头铁! Tip:实践应用是核心,本文概念为主,有些部分可能会有些晦涩,直接跳过就好(不是特别重要). 本文代码实践在:https://github.com/wanliwang/cayman/tree/mast

Hadoop学习—浅谈hadoop

大数据这个词越来越热,本人一直想学习一下,正巧最近有时间了解一下.先从hadoop入手,在此记录学习中的点滴. 什么是hadoop? What Is Apache Hadoop? The Apache? Hadoop? project develops open-source software for reliable, scalable, distributed computing 作者:Doug Cutting 受Google三篇论文的启发(GFS.MapReduce.BigTable) 解

测试搭建成功的单机hadoop环境

1.关闭防火墙service iptables stop,(已经这是开机关闭的忽略) 2.进入hadoop目录,修改hadoop配置文件(4个) core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost.localdomain:8020</value> </property> <property