Hadoop源码学习笔记(3) ——初览DataNode及学习线程

Hadoop源码学习笔记(3)

——初览DataNode及学习线程

进入了main函数,我们走出了第一步,接下来看看再怎么走:

  1. public class DataNode extends Configured implements InterDatanodeProtocol,
  2.       ClientDatanodeProtocol, FSConstants, Runnable {
  3.  
  4.    public static DataNode createDataNode(String args[], Configuration conf)
  5.          throws IOException {
  6.       DataNode dn = instantiateDataNode(args, conf);
  7.       runDatanodeDaemon(dn);
  8.       return dn;
  9.    }
  10.  
  11.    public static void runDatanodeDaemon(DataNode dn) throws IOException {
  12.          dn.dataNodeThread = new Thread(dn, dnThreadName);
  13.          dn.dataNodeThread.setDaemon(true);
  14.          dn.dataNodeThread.start();
  15.       }
  16.    }
  17.  
  18.    public static DataNode instantiateDataNode(String args[], Configuration conf)
  19.          throws IOException {
  20.       return makeInstance(dataDirs, conf);
  21.    }
  22.  
  23.    public static DataNode makeInstance(String[] dataDirs, Configuration conf) {
  24.       return new DataNode(conf, dirs);
  25.    }
  26.  
  27.    DataNode(Configuration conf, AbstractList<File> dataDirs)
  28.          throws IOException {
  29.       startDataNode(conf, dataDirs);
  30.    }
  31. vid join(){
  32. dataNodeThread.join();
  33. }
  34.  
  35.    void startDataNode(Configuration conf, AbstractList<File> dataDirs)
  36.          throws IOException {
  37.    }
  38.  
  39.    public static void main(String args[]) {
  40.       DataNode datanode = createDataNode(args, null);
  41.       datanode.join();
  42.    }
  43. }

从上面的程序可以看到,程序从main函数中运行,然后一层创建了DataNode对象,然后在runDatanodeDaemon函数创建了一个线程,然后程序调用了线程就停留在哪里了。

换个写法,可能看起来更清晰点了:

  1. public static void main(String args[]) {
  2.    DataNode datanode = new DataNode();
  3.    Thread dataNodeThread = new Thread(dn, dnThreadName);
  4.    dataNodeThread.setDaemon(true);
  5.    dataNodeThread.start();
  6.    dataNodeThread.join();
  7. }

这样代码清晰了,换句话说,整个DataNode目前看来,就是一个大线程在跑。

整个来讲,线程,还是比较容易理解,整个类继承于Runnable接口,然后实现Run函数。 能过Thread类创建时传入对象实现,在Start后,线程就会运行,执行Run函数内的内容。

但这代码中有几行有点疑惑:

  1. SetDaemon(true):这个函数的意义,并非是简单的字面意义了(Daemon:守护),一般情况下,当一个线程还没运行完,主程序是卡住的,但设置为daemon为true时,当主程序结束,则线程也就自动结束。
  2. Join():这个函数就是等待线程结束后再往下走。就相当于我们常在主序中写的while(true){}一样。

创建线程,除了这种继承Runnable接口之外,还可以直接继承Thread类,然后直接调用对象的Start函数。但这样的话不太方便了,因为一个类只能继承一个类,但可继承多个接口,所以用接口更加灵活。

针对线程的这两个特性,我们可以写个简单的示例来试验一下:

  1. import java.io.IOException;
  2.  
  3. public class ThreadTest extends Thread {
  4.  
  5.    public class FirstThread extends Thread{
  6.  
  7.       @Override
  8.       public void run(){
  9.  
  10.       }
  11.    }
  12.  
  13.    public class SecondThread implements Runnable{
  14.  
  15.       @Override
  16.       public void run() {
  17.  
  18.       }
  19.    }
  20.  
  21.    public void run(){
  22.          for(int i = 1; i <= 50; i++){
  23.                try{
  24.                    Thread.sleep(100);
  25.                } catch (InterruptedException ex){
  26.                    ex.printStackTrace();
  27.                }
  28.                System.out.println(i);
  29.          }
  30.    }
  31.  
  32.    public static void main(String[] args) throws IOException {
  33.       ThreadTest test = new ThreadTest();
  34.       Thread thd = new Thread(test);
  35.  
  36.       // create and start 2mehtod
  37.       //1: FirstThread thd = new FirstThread();
  38.       // thd.Start();
  39.  
  40.       //2: SecondThread thdx = new SecondThread()
  41.       //Thread thd = new Thread(thd);
  42.       //thd.Start();
  43.  
  44.       // 如果不设置daemon,那么线程将输出50后才结束
  45.       thd.setDaemon(true);
  46.       thd.start();
  47.       System.out.println("isDaemon = " + thd.isDaemon());
  48.        System.in.read(); // 接受输入程序在此停顿,一旦有输入,main线程结束,守护线程自动结束
  49.       //thd.join();
  50.    }
  51. }

示例中涉及到了创建线程的方法,join函数和setDaemno函数,可分别释放注释来调试、观察。

时间: 2024-10-11 00:03:19

Hadoop源码学习笔记(3) ——初览DataNode及学习线程的相关文章

Hadoop源码学习笔记(1) ——第二季开始——找到Main函数及读一读Configure类

Hadoop源码学习笔记(1) ——找到Main函数及读一读Configure类 前面在第一季中,我们简单地研究了下Hadoop是什么,怎么用.在这开源的大牛作品的诱惑下,接下来我们要研究一下它是如何实现的. 提前申明,本人是一直搞.net的,对java略为生疏,所以在学习该作品时,会时不时插入对java的学习,到时也会摆一些上来,包括一下设计模式之类的.欢迎高手指正. 整个学习过程,我们主要通过eclipse来学习,之前已经讲过如何在eclipse中搭建调试环境,这里就不多述了. 在之前源码初

Hadoop源码学习笔记(6)——从ls命令一路解剖

Hadoop源码学习笔记(6) ——从ls命令一路解剖 Hadoop几个模块的程序我们大致有了点了解,现在我们得细看一下这个程序是如何处理命令的. 我们就从原头开始,然后一步步追查. 我们先选中ls命令,这是一个列出分面式文件系统中的目录结构.传入一个查阅地址,如果没有则是根目录.启动NameNode和DataNode服务.然后在命令行中输入ls : 换成程序,如果写呢,我们新建一个ClientEnter类.之前章节中,我们就知道,在命令行中输入的dfs命令,指向到org.apache.hado

Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构

Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构 之前我们简要的看过了DataNode的main函数以及整个类的大至,现在结合前面我们研究的线程和RPC,则可以进一步看看几个对象的大至结构以及调用关系. 我们知道,三个结构(客户端,NameNode,DataNode)是能过网络调用的,走的是RPC.那在底层通讯时谁做服务器谁做客户端呢?我们先回顾一下这三者关系: 这样看,看不出,我们进入源码,看一下夹在中间的NameNode: 在这个initialize函数中,

Hadoop源码学习笔记(4) ——Socket到RPC调用

Hadoop源码学习笔记(4) ——Socket到RPC调用 Hadoop是一个分布式程序,分布在多台机器上运行,事必会涉及到网络编程.那这里如何让网络编程变得简单.透明的呢? 网络编程中,首先我们要学的就是Socket编程,这是网络编程中最底层的程序接口,分为服务器端和客户端,服务器负责监听某个端口,客户端负责连接服务器上的某个端口,一旦连接通过后,服务器和客户端就可以双向通讯了,我们看下示例代码: ServerSocket server = new ServerSocket(8111); S

Hadoop源码学习笔记(2) ——进入main函数打印包信息

Hadoop源码学习笔记(2) ——进入main函数打印包信息 找到了main函数,也建立了快速启动的方法,然后我们就进去看一看. 进入NameNode和DataNode的主函数后,发现形式差不多: public static void main(String args[]) {     try {       StringUtils.startupShutdownMessage(DataNode.class, args, LOG);       DataNode datanode = crea

Hadoop2.2.0分布式环境配置笔记2-编译64位hadoop源码

11.配置hadoop分布式环境!  三台机器都需要这么配置 1).将/opt/modules/hadoop-2.2.0-src重命名  mv /opt/modules/hadoop-2.2.0-src/ /opt/modules/hadoop-2.2.0-src_x32_back 2).解压64位源码 tar -zxvf /opt/modules/hadoop-2.2.0-src_x32_back/hadoop-dist/target/hadoop-2.2.0.tar.gz -C /opt/m

Hadoop2.2.0分布式环境配置笔记1-编译64位hadoop源码

我的测试环境是三台机器 分别是 Hadoop-Yarn.Hark.Com 192.168.1.200 Hadoop-Slave1.Hark.Com 192.168.1.201 Hadoop.Slave2.Hark.Com 192.168.1.202 我为了自己能充分练习hadoop 64位源码编译,所以三台机器都进行了下边的配置 环境: vmware9+centos6.4+hadoop2.2.0 0.创建hadoop帐号,大部分操作都要使用hadoop帐号的 1.关闭窗口模式 使用root账号

细水长流Hadoop源码分析(3)RPC Server初始化构造

声明:个人原创,转载请注明出处.文中引用了一些网上或书里的资料,如有不妥之处请告之. 本文是我阅读Hadoop 0.20.2第二遍时写的笔记,在阅读过程中碰到很多问题,最终通过各种途径解决了大部分.Hadoop整个系统设计精良,源码值得学习分布式的同学们阅读,以后会将所有笔记一一贴出,希望能方便大家阅读源码,少走弯路. 目录 4 RPC服务器(org.apache.hadoop,ipc.Server) 4.1 服务器初始化 4 RPC服务器(org.apache.hadoop,ipc.Serve

Hadoop源码导入Eclipse

需要进一步学习hadoop.需要看看内部源码实现,因此需要将hadoop源码导入都eclipse中,简单总结一下,具体步骤如下: 首先确保已经安装了git.maven3.protobuf2.5.如果没有安装需要提前安装一下 1.下载hadoop源码 git clone git://git.apache.org/hadoop-common.git 2.进入hadoop-common目录,用maven生成eclipse工程 mvn install -DskipTests mvn eclipse:ec