Hadoop2.6.0学习笔记（四）HDFS dfsadmin脚本

鲁春利的工作笔记,谁说程序员不能有文艺范? HDFS Architecture见: http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 或下载的tar包解压后的 hadoop-2.6.0/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 官方给出的架构为:

鲁春利的工作笔记,谁说程序员不能有文艺范? 一个最简单的MapReduce程序 package com.lucl.hadoop.mapreduce; public class MiniMRDriver extends Configured implements Tool {     public static void main(String[] args) {         try {             ToolRunner.run(new MiniMRDriver(), args);

鲁春利的工作笔记,谁说程序员不能有文艺范? HDFS读文件解析 HDFS写文件解析

鲁春利的工作笔记,谁说程序员不能有文艺范? MapReduce中map task任务的数量是由spli分片决定,那么reduce task的数量由什么来确定的呢?就是这里要讨论的MapReduce分区.默认情况下,MapReduce中使用的是HashPartitioner. /** Partition keys by their {@link Object#hashCode()}. */ public class HashPartitioner<K, V> extends Partitione

鲁春利的工作笔记,谁说程序员不能有文艺范? MapReduce提供了许多默认的输出格式,如TextOutputFormat.KeyValueOutputFormat等.MapReduce中输出文件的个数与Reduce的个数一致,默认情况下有一个Reduce,输出只有一个文件,文件名为part-r-00000,文件内容的行数与map输出中不同key的个数一致.如果有两个Reduce,输出的结果就有两个文件,第一个为part-r-00000,第二个为part-r-00001,依次类推. MapRed

鲁春利的工作笔记,谁说程序员不能有文艺范? 本文出自 "闷葫芦的世界" 博客,请务必保留此出处http://luchunli.blog.51cto.com/2368057/1717819

Hadoop1.0.0学习笔记 一．  安装JDK,配置环境JAVA环境变量 exportJAVA_HOME=/home/ligang/jdk1.6.0_26 exportJRE_HOME=/home/ligang/jdk1.6.0_26/jre exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 二．  安装Hadoop-1.0.0 1.     下载hadoop文件,地址为:http://hadoop.apache.org/co

NameNode 192.168.1.122  hadoop/hadoop VM  192.168.1.123 DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一.在所有机器上安装openssh-server sudo apt-get install openssh-server 如果没有找到openssh-ser

1.文件搜索命令  which 语法:which [命令名称] 范例:$which ls  列出ls命令所在目录 [[email protected] ~]$ which ls alias ls='ls --color=auto' /bin/ls 另外一个命令:whereis [名称名称],也可以列出命令所在目录. [[email protected] ~]$ whereis ls ls: /bin/ls /usr/share/man/man1/ls.1.gz /usr/share/man/ma