hadoop1.2.1三种模式配置

1.本地模式

本地模式的安装

将hadoop 安装包解压后不用任何配置就是默认的本地模式

此时 core-site.xml ,hdfs-site.xml , marped.site.xml 三个配置文件都为空

此时没有hdfs文件系统，可以执行mapreduce

hadoop fs -ls / 会列出本地的linux文件系统

2. 伪分布式模式

需要配置core-site.xml ,hdfs-site.xml,marped-site.xml

core-site.xml

hdfs-site.xml

mapred.site.xml

此时默认hdfs的namenode数据存储在linux的/tmp/hadoop-hadoop/dfs

hadoop临时文件目录默认在hdfs文件系统

drwxr-xr-x - hadoop supergroup 0 2016-02-21 01:04 /tmp/hadoop-hadoop

设置好配置文件后，需要格式化hdfs系统 hadoop namenode -format

创建文件

hadoop fs -mkdir input

默认会创建在hdfs中的 /user/hadoop/input

hadoop为当前用户

运行mapreduce wordcount

hadoop jar hadoop-examples* wordcount input output

input,output,为hdfs的目录，重新执行时要删除output文件夹

启动hadoop

时间： 2024-08-26 13:06:03

hadoop1.2.1三种模式配置的相关文章

LVS三种模式配置及优点缺点比较转

LVS三种模式配置及优点缺点比较作者:gzh0222,发布于2012-11-12,来源:CSDN 目录: LVS三种模式配置 LVS 三种工作模式的优缺点比较 LVS三种模式配置 LVS三种(LVS-DR,LVS-NAT,LVS-TUN)模式的简要配置 LVS是什么: http://www.linuxvirtualserver.org/VS-NAT.html http://www.linuxvirtualserver.org/VS-IPTunneling.html http://www

LVS三种模式配置及优点缺点比较

LVS三种模式配置 LVS 三种工作模式的优缺点比较 LVS三种模式配置 LVS三种(LVS-DR,LVS-NAT,LVS-TUN)模式的简要配置 LVS是什么: http://www.linuxvirtualserver.org/VS-NAT.html http://www.linuxvirtualserver.org/VS-IPTunneling.html http://www.linuxvirtualserver.org/VS-DRouting.html 首先是安装ipvsadm管理程序

VMware下网络配置的三种模式

目录一网络配置中出现的错误及解决方案二 VMware下网络配置的三种模式简介1.桥接模式(Bridged)2.网络地址转化模式(NAT)3.仅主机模式(host-only) 网络配置中出现的错误及解决方案错误1: 安装好虚拟机之后一切正常,等过了一天再使用时发现获取不到IP地址. 错误分析:考虑虚拟机配置了NAT模式.Bridged模式和host-only模式. 首先考虑NAT模式下的虚拟系统的TCP/IP配置信息是由VMnet8(NAT)虚拟网络的DHCP服务器提供的,无法进行手工修改,

MySQL binlog日志三种模式选择及配置

在讲解binlog日志三种模式前,先了解一下解析binlog日志的命令工mysqlbinlog.mysqlbinlog工具的作用是解析mysql的二进制binlog日志内容,把二进制日志解析成可以在MySQL数据库里执行的SQL语句.binlog日志原始数据是以二进制形式存在的,需要使用mysqlbinlog工具转换成SQL语句形式.mysql的binlog日志作用是用来记录mysql内部增删改等对mysql数据库有更新内容的记录(对数据库进行改动的操作),对数据库查询的语句如show,sele

Oracle 11g dataguard三种模式以及实时查询（Real-time query）功能设置

之前我们讨论过<Linux Oracle 11g dataguard物理standby 配置过程>, 但是在实际过程中会遇到不同的问题,首先我们讨论下ORACLE DATAGUARD的三种模式, 保护最大化:这种模式的配置可以保证主库和备库的同步,任何情况下主库的损毁都不会导致已提交数据的丢失.如果主库和备库之间的网络出现问题,或者备库本身出现问题,都会导致主库停止数据处理. 可用最大化:这种模式和上面一种类似,也是会保证主库和备库的同步,区别在于,当网络或备库不可用时,主库仍然可以继续处理.

hadoop学习；自己定义Input/OutputFormat；类引用mapreduce.mapper；三种模式

hadoop切割与读取输入文件的方式被定义在InputFormat接口的一个实现中.TextInputFormat是默认的实现,当你想要一次获取一行内容作为输入数据时又没有确定的键.从TextInputFormat返回的键为每行的字节偏移量,但眼下没看到用过曾经在mapper中曾使用LongWritable(键)和Text(值),在TextInputFormat中,由于键是字节偏移量.能够是LongWritable类型,而当使用KeyValueTextInputFormat时,第一个分隔符前后

Hive 之元数据库的三种模式

Hive 介绍 http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.html Hive的数据类型和数据模型 http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.html Hive内表与外表详述 http://www.aboutyun.com/thread-7458-1-1.html Hive的体系结构 http://blog.csdn.net/zhoud

VMware Workstation网络连接的三种模式

经常要使用VMWare Workstation来在本地测试不同的操作系统,以前也搞不清楚网络连接三种模式,最近看了几篇文章才算明白.现总结如下: 1. VMware Workstation的虚拟网络组件虚拟<网卡/网络适配器>:见下图.安装一个虚拟PC时自动安装一块虚拟<网卡/网络适配器>,可添加多块虚拟网卡. 虚拟交换机:见下图.安装VM时就自动安装了10台虚拟交换机. 虚拟网桥:只在虚拟网卡连接到VMnet0 (default Bridged)虚拟交换机上才应用虚拟网桥.