Hadoop的RPC机制

一、RPC(Remote Procedure Call)简介

RPC 是远程过程调用(Remote Procedure Call),即远程调用其他虚拟机中运行的javaobject。RPC 是一种客户端/服务器模式,那么在使用时包括服务端代码和客户端代码,还有我们调用的远程过程对象。HDFS 的运行就是建立在此基础之上的。本章通过分析实现一个简单的RPC 程序来分析HDFS 的运行机理。

二、代码解析

1.服务端代码

代码如下:

 public class MyServer {
     public static final int SERVER_PORT = 12345;
   public static final String SERVER_ADDRESS = "localhost";
     public static void main(String[] args) throws IOException {
     final Server server = RPC.getServer(new MyBiz(), SERVER_ADDRESS,
       SERVER_PORT, new Configuration());
   server.start();
     }
 }

核心在于第5 行的RPC.getServer 方法,该方法有四个参数:

第一个参数是被调用的java服务对象。

第二个参数是服务器的地址。

第三个参数是服务器的端口。

获得服务器对象后,启动服务器。这样,服务器就在指定端口监听客户端的请求。

2. 被调用的远程对象类

代码如下:

 1 public class MyBiz implements MyBizable{
 2     public static long BIZ_VERSION = 2345234L;
 3     @Override
 4     public String hello(String name){
 5         System.out.println("我被调用了");
 6         return "hello "+name;
 7     }
 8     @Override
 9     public long getProtocolVersion(String protocol, long clientVersion)
10     throws IOException {
11         return BIZ_VERSION;
12     }
13 }    

被调用的远程对象实现了接口MyBizable,这里面有两个方法被实现,一个就是hello方法,另一个是getProtocalVersion 方法。这个hello 方法内部有个输出语句

3. 远程调用类的接口

代码如下:

1 public interface MyBizable extends VersionedProtocol{
2     public abstract String hello(String name);
3 }

这个接口中的方法就是刚才的Biz 中实现的方法。接口继承的VersionedProtocal,是hadoop 的RPC 的接口,所有的RPC 通信必须实现这个一接口,用于保证客户端和服务端的端口一致。服务端被调用的类必须继承这个接口VersionedProtocal。

4. 客户端代码,这里使用的调用对象的接口

代码如下:

 1 public class MyClient {
 2     public static void main(String[] args) throws Exception {
 3     final MyBizable proxy = (MyBizable)RPC.getProxy(MyBizable.class,
 4    MyBiz.BIZ_VERSION, new InetSocketAddress(MyServer.SERVER_ADDRESS,
 5     MyServer.SERVER_PORT), new Configuration());
 6   //调用接口中的方法
 7   final String result = proxy.hello("world");
 8   System.out.println(result);
 9   //本质是关闭网络连接
10    RPC.stopProxy(proxy);
11   }
12 }

以上代码中核心在于RPC.getProxy(),该方法有四个参数:

第一个参数是被调用的接口类。

第二个是客户端版本号。

第三个是服务端地址。

返回的代理对象,就是服务端对象的代理,内部就是使用java.lang.Proxy 实现的。运行时,先启动服务端,再启动客户端。读者可以在服务端和客户端输出信息。
从上面的RPC 调用中,可以看出:在客户端调用的业务类的方法是定义在业务类的接口中的。该接口实现了VersionedProtocal 接口。

5. 现在我们在命令行执行jps 命令查看输出信息

如图2.1 所示。

图 2.1

可以看到一个java 进程,是“MyServer”,该进程正是我们刚刚运行的rpc 的服务端类MyServer。大家可以联想到我们搭建hadoop 环境时,也执行过该命令用来判断hadoop 的进程是否全部启动。那么可以判断,hadoop 启动时产生的5 个java 进程也应该是RPC 的服务端。我们观察NameNode 的源代码,我们可以看到如图下代码,可以看到NameNode 确实创建了RPC 的服务端。

 1   // create rpc server
 2     InetSocketAddress dnSocketAddr = getServiceRpcServerAddress(conf);
 3     if (dnSocketAddr != null) {
 4       int serviceHandlerCount =
 5         conf.getInt(DFSConfigKeys.DFS_NAMENODE_SERVICE_HANDLER_COUNT_KEY,
 6                     DFSConfigKeys.DFS_NAMENODE_SERVICE_HANDLER_COUNT_DEFAULT);
 7       this.serviceRpcServer = RPC.getServer(this, dnSocketAddr.getHostName(),
 8           dnSocketAddr.getPort(), serviceHandlerCount,
 9           false, conf, namesystem.getDelegationTokenSecretManager());
10       this.serviceRPCAddress = this.serviceRpcServer.getListenerAddress();
11       setRpcServiceServerAddress(conf);
12     }

时间: 2024-10-14 05:32:56

Hadoop的RPC机制的相关文章

源码级强力分析Hadoop的RPC机制

分析对象: hadoop版本:hadoop 0.20.203.0 必备技术点: 1. 动态代理(参考 :http://weixiaolu.iteye.com/blog/1477774 )2. Java NIO(参考 :http://weixiaolu.iteye.com/blog/1479656 )3. Java网络编程 目录: 一.RPC协议二.ipc.RPC源码分析三.ipc.Client源码分析四.ipc.Server源码分析 分析:  一.RPC协议 在分析协议之前,我觉得我们很有必要先

RPC与Hadoop RPC机制

一.什么是RPC? (1)Remote Procdure call ,远程方法调用,它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网络通信细节,对我们来说是透明的.经常用于分布式网络通信中. (2)Hadoop的进程间交互都死通过RPC来进行的,比如Namenode与Datanode直接,Jobtracker与Tasktracker之间等. 流程: (1)RPC采用了C/S的模式: (2)Client端发送一个带有参数的请求信息到Server: (3)Server接收到这

Hadoop中的RPC机制

1.  RPC--远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议.RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据.在OSI网络通信模型中,RPC跨越了传输层和应用层.RPC使得开发包括网络分布式多程序在内的应用程序更加容易. 2.  RPC采用客户机/服务器模式.请求程序就是一个客户机,而服务提供程序就是一个服务器.首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息.在服务器端,进程保持睡眠状

每天收获一点点------Hadoop RPC机制的使用

一.RPC基础概念 1.1 RPC的基础概念 RPC,即Remote Procdure Call,中文名:远程过程调用: (1)它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网络通信细节,对我们来说是透明的.因此,它经常用于分布式网络通信中. RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据.在OSI网络通信模型中,RPC跨越了传输层和应用层.RPC使得开发包括网络分布式多程序在内的应用程序更加容易. (2)Hadoop的进程间交互都是通过R

Hadoop学习笔记—3.Hadoop RPC机制的使用

一.RPC基础概念 1.1 RPC的基础概念 RPC,即Remote Procdure Call,中文名:远程过程调用: (1)它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网络通信细节,对我们来说是透明的.因此,它经常用于分布式网络通信中. RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据.在OSI网络通信模型中,RPC跨越了传输层和应用层.RPC使得开发包括网络分布式多程序在内的应用程序更加容易. (2)Hadoop的进程间交互都是通过R

Hadoop 自定义RPC protocol

RPC的全称为远程过程调用.由于Hadoop是一个分布式系统,因此底层的通信库也就必须实现RPC的基础功能.Hadoop RPC 在整个hadoop中扮演着底层通信模块的角色,举例而言NN和DN.AM和RM之间的通信和协调都是Hadoop RPC来完成的.熟悉使用Hadoop RPC可以加深我们对Hadoop各个模块之间通信过程的理解,也能让我们实现一些自己想要的分布式的小功能. 很多Hadoop相关书籍中都详细介绍了Hadoop RPC,其具体原理大家有兴趣的话可以去看源码加深理解.不过,我觉

Hadoop的RPC框架介绍

为什么会引入RPC: RPC采用客户机/服务器模式.请求程序就是一个客户机,而服务提供程序就是一个服务器.当我们讨论HDFS的,通信可能发生在: Client-NameNode之间,其中NameNode是服务器 Client-DataNode之间,其中DataNode是服务器 DataNode-NameNode之间,其中NameNode是服务器 DataNode-DateNode之间,其中某一个DateNode是服务器,另一个是客户端 如果我们考虑Hadoop的Map/Reduce以后,这些系统

Hadoop的RPC

1. 关于RPC (1)RPC的概念    RPC(Remote Procedure Call)--远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议.RPC协议假定某些传输协议的存在,如;TCP或者UDP,为通信程序之间携带信息数据,在OSI网络通信模型中,RPC跨越了传输层和应用层.RPC使得开发包括网络分布式程序在内的应用程序更加容易. (2)OSI网络七层模型 第一层:物理层.这一层主要就是传输这些二进制数据.第二层:链路层.将上面的网络层的数据包封

Hadoop之——RPC通信实例

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45922715 一. RPC(remote procedure call) 不同java进程间的对象方法的调用. 一方称作服务端(server),一方称作客户端(client). server端提供对象,供客户端调用的,被调用的对象的方法的执行发生在server端. RPC是hadoop框架运行的基础. 二.通过rpc小例子获得的认识 1.服务端提供的对象必须是一个接口,接口ext