Hadoop_12_Hadoop 中的RPC框架演示

Hadoop中自己提供了一个RPC的框架。集群中各节点的通讯都使用了那个框架

1.服务端

1.1.业务接口:ClientNamenodeProtocol

package cn.bigdata.hdfs.hadoopRpc.protocol;

//定义业务接口方法
public interface ClientNamenodeProtocol {
    // 协议版本号
    public static final long versionID = 1L;
    public String getMetaData(String path);
}

1.2.业务接口实现类:MyNameNode

package cn.bigdata.hdfs.hadoopRpc.service;

import cn.bigdata.hdfs.hadoopRpc.protocol.ClientNamenodeProtocol;

public class MyNameNode implements ClientNamenodeProtocol{

    @Override
    public String getMetaData(String path) {
        // 模拟NameNode的业务方法,获取元数据
        return path+": 3 - {BLK_1,BLK_2} ...";
    }
}

1.3.服务端类:将业务实现类发布为一个服务

package cn.bigdata.hdfs.hadoopRpc.service;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.RPC.Builder;
import org.apache.hadoop.ipc.RPC.Server;

import cn.bigdata.hdfs.hadoopRpc.protocol.ClientNamenodeProtocol;

//使用下面的代码可以把业务类发布为一个服务
public class PublishServiceUtil {
    public static void main(String[] args) throws IOException {
        Builder builder = new RPC.Builder(new Configuration());
        builder.setBindAddress("localhost")
        .setPort(8888)
        .setProtocol(ClientNamenodeProtocol.class)
        .setInstance(new MyNameNode());

        Server build = builder.build();
        build.start();
    }
}

2.客户端

package cn.bigdata.hdfs.hadoopRpc.client;
import java.net.InetSocketAddress;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import cn.bigdata.hdfs.hadoopRpc.protocol.ClientNamenodeProtocol;

public class MyHdfsClient {
    public static void main(String[] args) throws Exception {
        //获取代理对象
        ClientNamenodeProtocol nameNode = RPC.getProxy(ClientNamenodeProtocol.class,
                1L, // 这里指定的协议版本号要跟接口中的versionID的值保持一致
                new InetSocketAddress("localhost",8888),
                new Configuration());

        String metaData = nameNode.getMetaData("/angelababy");
        System.out.println(metaData);
    }
}

我们也可以在自己的项目中使用Hadoop的RPC框架,把Hadoop的Common包导入进来就可以了

原文地址:https://www.cnblogs.com/yaboya/p/9197946.html

时间: 2024-10-03 22:29:22

Hadoop_12_Hadoop 中的RPC框架演示的相关文章

3 weekend110的hadoop中的RPC框架实现机制 + hadoop中的RPC应用实例demo

hadoop中的RPC框架实现机制 RPC是Remotr Process Call, 进程间的远程过程调用,不是在一个jvm里. 即,Controller拿不到Service的实例对象. hadoop中的RPC应用实例demo 在windows是调用端,在linux里是服务端. 在这里,需要LoginServiceinterface.java 停止 出错误了,很明显. 这是个很好的思考题?

abelkhan中的rpc框架

rpc简介:http://www.ibm.com/developerworks/cn/aix/library/au-rpc_programming/index.html 常见的rpc框架有protobuf.thrift. 不过abelkhan没有采用这些开源的rpc框架,而是选择自己开发了一套新的rpc框架juggle(主要是为了享受重复发明轮子的乐趣). juggle采用一套dsl语言描述通信协议,然后使用codegen生成对应c++或c#的代码.dsl语言的语法如下: module test

java中常见的rpc框架介绍

姓名:邓勇  班级:软件151 RPC是远程过程调用的简称,广泛应用在大规模分布式应用中,作用是有助于系统的垂直拆分,使系统更易拓展.Java中的RPC框架比较多,各有特色,广泛使用的有RMI.Hessian.Dubbo等.RPC还有一个特点就是能够跨语言,本文只以JAVA语言里的RPC为例. 其他的框架结构也类似,区别在于对象的序列化方法,传输对象的通讯协议,以及注册中心的管理与failover设计(利用zookeeper).客户端和服务端可以运行在不同的JVM中,Client只需要引入接口,

JAVA中几种常用的RPC框架介绍

RPC是远程过程调用的简称,广泛应用在大规模分布式应用中,作用是有助于系统的垂直拆分,使系统更易拓展.Java中的RPC框架比较多,各有特色,广泛使用的有RMI.Hessian.Dubbo等.RPC还有一个特点就是能够跨语言,本文只以JAVA语言里的RPC为例. 对于RPC有一个逻辑关系图,以RMI为例: 其他的框架结构也类似,区别在于对象的序列化方法,传输对象的通讯协议,以及注册中心的管理与failover设计(利用zookeeper). 客户端和服务端可以运行在不同的JVM中,Client只

Java基础:动态代理在RPC框架中应用

转载请注明出处:jiq?钦's technical Blog RPC,远端过程调用.就是调用远端机器上的方法. 原理其实很简单,就是客户端上运行的程序在调用对象方法时,底层将针对该方法的调用转换为TCP/HTTP请求,发送到远端服务器,远端服务器监听固定端口,收到这个TCP/HTTP请求后会解析出相关信息,包括客户端想要调用哪个类的哪个方法,参数是什么等,然后进行对应的调用,将调用结果再通过数据包发回即可. RPC中一般会有一些"契约"的概念,即客户端和服务端双方约定好的接口,表明服务

简单Tomcat HTTP RPC框架

RPC基础知识 什么是RPC? RPC(Remote Procedure Call Protocol)--远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议. RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据.在OSI网络通信模型中,RPC跨越了传输层和应用层. RPC使得开发包括网络分布式多程序在内的应用程序更加容易. RPC的模型 C/S模式 基于传输层协议(例如TCP/IP)  远程调用不是新的一种数据传输协议事件响应

rpc框架之thrift教程1 - 安装 及 hello world

thrift是一个facebook开源的高效RPC框架,其主要特点是跨语言及二进制高效传输(当然,除了二进制,也支持json等常用序列化机制),官网地址:http://thrift.apache.org 跨语言通常有二种做法, 一是将其它语言转换成某种主流的通用语言,比如:delphi.net以前就是先将delphi转换成c#,然后再编译成IL,从而实现delphi在.net上的运行(好久没关注delphi了,不知道现在还是不是这种机制) 二是先定义一种规范文件(可以简单的理解为『母版』),然后

带你手写基于 Spring 的可插拔式 RPC 框架(一)介绍

概述 首先这篇文章是要带大家来实现一个框架,听到框架大家可能会觉得非常高大上,其实这和我们平时写业务员代码没什么区别,但是框架是要给别人使用的,所以我们要换位思考,怎么才能让别人用着舒服,怎么样才能让我们的框架性能优异.通过自己写一个框架,我们能学到的有很多,能让我们脱离 CURD,在更高的层面上去思考. 目的 写这个框架最主要的目的是要让大家了解整个框架的设计思想和用到的技术,并不是让大家关注代码,当然我实现的代码一定不是完美的,还有很多需要改进的地方,希望大家不吝赐教,一起进步. 提前准备

一个入门rpc框架的学习

一个入门rpc框架的学习 参考 huangyong-rpc 轻量级分布式RPC框架 该程序是一个短连接的rpc实现 简介 RPC,即 Remote Procedure Call(远程过程调用),说得通俗一点就是:调用远程计算机上的服务,就像调用本地服务一样. RPC 可基于 HTTP 或 TCP 协议,Web Service 就是基于 HTTP 协议的 RPC, 它具有良好的跨平台性,但其性能却不如基于 TCP 协议的 RPC.会两方面会直接影响 RPC 的性能,一是传输方式,二是序列化. 众所