阅读源码第一步是要编译源码；
源码版本：hadoop2.6+ ~ hadoop2.7 这个范围均可，改动不是特别大
编译源码教程连接：https://www.jianshu.com/p/a66ab0235fb9
https://www.cnblogs.com/hequn/articles/4839689.html
ps. 编译出错很常见不要慌 ，只要确保hadoop需要的依赖是正确的（比如protocol），就没问题！
1、查看源码NameNode类
在namenode中有一段main函数，说明 我们通过命令启动namenode的时候，肯定是通过这个main函数来执行的（脚本：hadoop-daemon.sh 、hdfs）：
1 public static void main(String argv[]) throws Exception {
2 if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
3 System.out.println("####参数校验#####");
4 System.exit(0);
5 //hadooop namenode -format
6 //hadoop -datemon.sh start namenode
7 //hadoop-datemon.sh start nn
8 }
9
10 try {
11 //启动打印日志
12 StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
13 //TODO 创建NameNode核心代码
14 NameNode namenode = createNameNode(argv, null);
15 if (namenode != null) {
16 //就是线程的join
17 //会使主线程进入等待池并等待t线程执行完毕后才会被唤醒
18 namenode.join();
19 }
20 } catch (Throwable e) {
21 LOG.error("Failed to start namenode.", e);
22 terminate(1, e);
23 }
24 }
2、查看核心代码：createNameNode
NameNode namenode = createNameNode(argv, null);
点击进入createNameNode(argv , null)函数
显然我们是启动namenode，所有都匹配不上，因此会走最后一段
1 public static NameNode createNameNode(String argv[], Configuration conf)
2 throws IOException {
3 LOG.info("createNameNode " + Arrays.asList(argv));
4 if (conf == null)
5 conf = new HdfsConfiguration();
6 StartupOption startOpt = parseArguments(argv);
7 if (startOpt == null) {
8 printUsage(System.err);
9 return null;
10 }
11 //将启动参数加入到配置中
12 setStartupOption(conf, startOpt);
13 /**
14 * 我们在集群中操作 ， 比如 ：
15 * hdfs namenode -format
16 * hadoop fs -put XXX /
17 * 正常情况下，是先启动namenode
18 * hadoop-daemon.sh start namenode
19 * */
20 switch (startOpt) {
21 //格式化
22 case FORMAT: {//hadoop namenode -format
23 boolean aborted = format(conf, startOpt.getForceFormat(),
24 startOpt.getInteractiveFormat());
25 terminate(aborted ? 1 : 0);
26 return null; // avoid javac warning
27 }
28 // 产生集群ID.
29 case GENCLUSTERID: {
30 System.err.println("Generating new cluster id:");
31 System.out.println(NNStorage.newClusterID());
32 terminate(0);
33 return null;
34 }
35 //定版本
36 case FINALIZE: {
37 System.err.println("Use of the argument ‘" + StartupOption.FINALIZE +
38 "‘ is no longer supported. To finalize an upgrade, start the NN " +
39 " and then run `hdfs dfsadmin -finalizeUpgrade‘");
40 terminate(1);
41 return null; // avoid javac warning
42 }
43 //回滚
44 case ROLLBACK: {
45 boolean aborted = doRollback(conf, true);
46 terminate(aborted ? 1 : 0);
47 return null; // avoid warning
48 }
49 //同步active节点的快照（配置完HA需要运行这个命令同步active节点的快照（配置完HA需要运行这个命令
50 case BOOTSTRAPSTANDBY: {
51 String toolArgs[] = Arrays.copyOfRange(argv, 1, argv.length);
52 int rc = BootstrapStandby.run(toolArgs, conf);
53 terminate(rc);
54 return null; // avoid warning
55 }
56 //向备用节点共享一组edits日志
57 case INITIALIZESHAREDEDITS: {
58 boolean aborted = initializeSharedEdits(conf,
59 startOpt.getForceFormat(),
60 startOpt.getInteractiveFormat());
61 terminate(aborted ? 1 : 0);
62 return null; // avoid warning
63 }
64 //启动冷备或者温备名字节点
65 case BACKUP:
66 case CHECKPOINT: {
67 NamenodeRole role = startOpt.toNodeRole();
68 DefaultMetricsSystem.initialize(role.toString().replace(" ", ""));
69 return new BackupNode(conf, role);
70 }
71 //恢复损坏的元数据以及文件系统
72 case RECOVER: {
73 NameNode.doRecovery(startOpt, conf);
74 return null;
75 }
76 //检查配置的正确性
77 case METADATAVERSION: {
78 printMetadataVersion(conf);
79 terminate(0);
80 return null; // avoid javac warning
81 }
82 //以升级的方式启动
83 case UPGRADEONLY: {
84 DefaultMetricsSystem.initialize("NameNode");
85 new NameNode(conf);
86 terminate(0);
87 return null;
88 }
89 //正常启动NameNode
90 default: {
91 //初始化metric系统
92 DefaultMetricsSystem.initialize("NameNode");
93 //TODO
94 return new NameNode(conf);
95 }
96 }
97 }
NameNode这个类，里面有一些成员变量，还是很重要，很常见的；比如
1 //NameNode核心成员变量用来管理元数据（实现对DataNode、Block的管理以及读写日志） 2 protected FSNamesystem namesystem; 3 //保存配置文件的信息 4 protected final Configuration conf; 5 //保存NameNode的角色信息 6 protected final NamenodeRole role; 7 //保存NameNode的状态（HA） 8 private volatile HAState state; 9 //是否开启了高可用(HA) 10 private final boolean haEnabled; 11 //高可用上下文 12 private final HAContext haContext; 13 //NameNode核心成员变量提供RPC服务（提供RPC服务是DataNode和NameNode通信和外部命令管理NameNode的窗口） 14 private NameNodeRpcServer rpcServer;
在这个Namenode的构造参数里面，主要是：
1、对namenode做参数的设置（fs.defaultFS、rpc地址等）
2、初始化
3、根据初始化处理的结果，namenode进入对应的状态（active、backup、standby）
1 /**
2 * 1、对namenode做参数的注册（fs.defaultFS、rpc地址等）
3 * 2、初始化
4 * 3、根据初始化处理的结果，namenode进入对应的状态（active、backup、standby）
5 * */
6 protected NameNode(Configuration conf, NamenodeRole role)
7 throws IOException {
8 this.conf = conf;
9 this.role = role;//保存NameNode的角色信息
10 //设置clients访问nomenode或nameservice的访问地址 配置项fs.defaultFS：hadoop01:9000
11 setClientNamenodeAddress(conf);
12 String nsId = getNameServiceId(conf);
13 String namenodeId = HAUtil.getNameNodeId(conf, nsId);
14 //ha相关
15 this.haEnabled = HAUtil.isHAEnabled(conf, nsId);
16 //根据用户设置的启动参数，确定启动以后的初始状态，如果是正常启动，则全部直接进入Standby状态
17 state = createHAState(getStartupOption(conf));
18 this.allowStaleStandbyReads = HAUtil.shouldAllowStandbyReads(conf);
19 //TODO 在创建HA的时候，也启动了standByNameNode的服务
20 this.haContext = createHAContext();
21
22
23
24 try {
25 //给联邦模式下准备的，主要是设置联邦模式下namenode的地址和RPC地址
26 initializeGenericKeys(conf, nsId, namenodeId);
27 //TODO
28 initialize(conf);
29 // HA相关
30 try {
31 haContext.writeLock();
32 state.prepareToEnterState(haContext);
33 state.enterState(haContext);
34 } finally {
35 haContext.writeUnlock();
36 }
37 } catch (IOException e) {
38 this.stop();
39 throw e;
40 } catch (HadoopIllegalArgumentException e) {
41 this.stop();
42 throw e;
43 }
44 this.started.set(true);
45 }
那么关键信息 就是initialize，所以我们接下来重点来看initialize
initialize代码块包含了：
1、metrics监控的信息设置 2、hadoop的kerberos的安全认证 3、启动namendoe的web服务 4、加载元数据 5、创建RPC 6、启动公共服务startCommonServices （比如：启动RPC ， 启动磁盘资源检查线程等工作）
具体内容，下一篇介绍
原文地址：https://www.cnblogs.com/niutao/p/12609621.html
时间： 2024-11-01 21:40:45