rpc远程调用开发

RPC即远程过程调用,适用于集群管理,集群节点就是RPCServer,而我们发起远程调用的web服务器就是RPCClient。所以是少数rpcClient(可能一个)对多个RPCServer(集群节点)。

今天讲述的RPC开发希望实现这样一个效果,在RPCClient上(也就是web服务器)执行一条shell命令,要求指定的远程主机执行指定的命令。命令的格式如下

rpc_client  address command

比如

./ssan_client 192.168.1.1 vmstat

希望这条命令的远程执行(在RPCServer上)的结果直接在直接输出到web服务器(RPCClient)。可以先看一个执行效果。

那么要做到这样一种效果,需要借助RPC框架,这里选择Apache Thrift, 并且使用C++语言,因为不能保证节点装什么PHP或JAVA环境,希望最后得到一个与环境无关的可执行文件。

这里首先可以看到Apache官方C++教程

https://thrift.apache.org/tutorial/cpp

下面开始实现rpc。

安装thrift环境

下载相关文件

yum -y groupinstall "Development Tools"
wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz
wget http://ftp.gnu.org/gnu/bison/bison-2.5.1.tar.gz
wget http://ftp.gnu.org/gnu/automake/automake-1.14.tar.gz
wget http://www.mirrorservice.org/sites/dl.sourceforge.net/pub/sourceforge/b/bo/boost/boost/1.55.0/boost_1_55_0.tar.gz
git clone https://git-wip-us.apache.org/repos/asf/thrift.git

依次安装

tar zxf autoconf-2.69.tar.gz
cd autoconf-2.69
./configure --prefix=/usr
make
sudo make install
cd ..

tar xvf bison-2.5.1.tar.gz
cd bison-2.5.1
./configure --prefix=/usr
make
make install
cd ..

tar zxf automake-1.14.tar.gz
cd automake-1.14
./configure --prefix=/usr
make
make install
cd ..

tar zxf boost_1_55_0.tar.gz
./bootstrap.sh
./configure
make
sudo make install

cd ../thrift
./bootstrap.sh
yum install openssl openssl-devel -y
./configure
make
make install

这里在安装thrift是yum安装了openssl-dev,是为了解决这个错误

安装完成之后

编写thrift文件

编写ssan.thrift文件

namespace cpp ssan

service SSANAgent {
  string run(1:string command)
}

使用thrift生成

thrift -r --gen cpp ssan.thrift

编写rpcServer

thrift已经为我们生成了server的模板

cp SSANAgent_server.skeleton.cpp SSANServer.cpp

之前定义的接口方法也主要定义在这个类里

修改SSANServer.cpp文件

// This autogenerated skeleton file illustrates how to build a server.
// You should copy it to another filename to avoid overwriting it.

#include "SSANAgent.h"
#include <sstream>
#include <thrift/protocol/TBinaryProtocol.h>
#include <thrift/server/TSimpleServer.h>
#include <thrift/transport/TServerSocket.h>
#include <thrift/transport/TBufferTransports.h>

using namespace ::apache::thrift;
using namespace ::apache::thrift::protocol;
using namespace ::apache::thrift::transport;
using namespace ::apache::thrift::server;

using boost::shared_ptr;

using namespace  ::ssan;
using namespace std;

class SSANAgentHandler : virtual public SSANAgentIf {
 public:
  SSANAgentHandler() {
    // Your initialization goes here
  }

  void run(std::string& _return, const std::string& command) {
      std::ostringstream oss;
      FILE * pp = popen(command.c_str(),"r");
      if(pp){
          char buf[4096];
          while(fgets(buf,sizeof(buf),pp)){
              oss << buf;
          }
          pclose(pp);
      }
      else{
          oss << "Error: No such command : " << command;
      }
      _return = oss.str();
  }
};

int main(int argc, char **argv) {
  int port = 9090;
  shared_ptr<SSANAgentHandler> handler(new SSANAgentHandler());
  shared_ptr<TProcessor> processor(new SSANAgentProcessor(handler));
  shared_ptr<TServerTransport> serverTransport(new TServerSocket(port));
  shared_ptr<TTransportFactory> transportFactory(new TBufferedTransportFactory());
  shared_ptr<TProtocolFactory> protocolFactory(new TBinaryProtocolFactory());

  TSimpleServer server(processor, serverTransport, transportFactory, protocolFactory);
  cout << "Start SSAN Server ..." << endl;
  server.serve();
  cout << "Done" << endl;
  return 0;
}

主要是在run方法里处理业务

生成rpcServer

先不借助Makefile,依次执行下面的命令编译

g++ -Wall -I/usr/local/include/thrift -c SSANAgent.cpp
g++ -Wall -I/usr/local/include/thrift -c SSANServer.cpp
g++ -Wall -I/usr/local/include/thrift -c ssan_constants.cpp
g++ -Wall -I/usr/local/include/thrift -c ssan_types.cpp

链接文件生成rpcServer,注意这里是动态链接

g++ -L/usr/local/lib *.o -o ssan_server –lthrift

链接后运行出现这个错误

这个文件其实已经存在了,不过在目录/usr/local/lib/下,而程序运行时再/usr/lib下搜索动态库文件,所以建立一个软链接

ln -s /usr/local/lib/libthrift-1.0.0-dev.so /usr/lib/libthrift-1.0.0-dev.so

再执行就成功启动了

编写rpcClient

rpcClient代码需要自己创建,头文件除了server部分,其他地方照抄就是了

#include "SSANAgent.h"

#include <ostream>
#include <sstream>

#include <thrift/protocol/TBinaryProtocol.h>
#include <thrift/transport/TServerSocket.h>
#include <thrift/transport/TBufferTransports.h>
#include <thrift/transport/TSocket.h>

using namespace ::apache::thrift;
using namespace ::apache::thrift::protocol;
using namespace ::apache::thrift::transport;

using namespace ssan;
using namespace std;

int main(int argc,char ** argv){
    if(argc < 3){
        printf("Usage: %s ip-address command ...\n",argv[0]);
        return -1;
    }
    //  处理输入参数
    ostringstream command,address;
    address << argv[1];
    if(argc > 2){
        command << argv[2];
        for(int i=3;i < argc;i++){
            command << " " << argv[i];
        }
    }
    //  访问rpc server执行命令
    boost::shared_ptr<TSocket> socket(new TSocket(address.str().c_str(),9090));
    boost::shared_ptr<TTransport> transport(new TBufferedTransport(socket));
    boost::shared_ptr<TProtocol> protocol(new TBinaryProtocol(transport));

    SSANAgentClient client(protocol);
    string output;

    transport->open();

    client.run(output,command.str());
    cout << output << endl;

    transport->close();
    return 0;
}

这里处理命令行参数

生成rpcClient

编译

g++ -Wall -I/usr/local/include/thrift -c SSANClient.cpp

链接

g++ -L/usr/local/lib SSANClient.o SSANAgent.o ssan_constants.o ssan_types.o -o ssan_client -lthrift

这部分基本没出什么大问题

编写Makefile编译

为什么更方便的调试代码,还是需要写一个Makefile文件。时间有限,这个是临时写的,后面会继续完善

LIB_INC     =-L/usr/local/lib
SHARE_OBJ   =ssan_constants.o ssan_types.o
all : server client

server: SSANAgent.o SSANServer.o $(SHARE_OBJ)
    g++ $(LIB_INC) $^ -o ssan_server -lthrift
    @echo ssan_server created.

client: SSANAgent.o SSANClient.o $(SHARE_OBJ)
    g++ $(LIB_INC) $^ -o ssan_client -lthrift
    @echo ssan_client created.

#default:server client

clean :
    -rm *.o ssan_client ssan_server
    @echo cleanup done;

执行make,可以看到这样的效果

至此,RPCServer和RPCClient都已经生成了,下一步就是解决静态编译的问题。因为时间有限,这个将会在下一篇博客中PHP对RPC服务的调用封装中写出

时间: 2024-10-14 21:03:54

rpc远程调用开发的相关文章

徒手撸框架--实现 RPC 远程调用

微服务,已经是每个互联网开发者必须掌握的一项技术.而 RPC 框架,是构成微服务最重要的组成部分之一.趁最近有时间.又看了看 dubbo 的源码.dubbo 为了做到灵活和解耦,使用了大量的设计模式和 SPI机制,要看懂 dubbo 的代码也不太容易. 按照<徒手撸框架>系列文章的套路,我还是会极简的实现一个 RPC 框架.帮助大家理解 RPC 框架的原理. 广义的来讲一个完整的 RPC 包含了很多组件,包括服务发现,服务治理,远程调用,调用链分析,网关等等.我将会慢慢的实现这些功能,这篇文章

测试JSON RPC远程调用(JSON客户端)

#include <string> #include <iostream> #include <curl/curl.h> /* 标题:JSon客户端 Author: Kagula LastUpdateDate:2014-05-17 描述:测试JSON RPC远程调用 测试环境:Windows 8.1.Visual Studio 2013 SP1 curl-7.36.0 CPPCMS 1.0.4(JSON服务端) Java Servlet (JSON服务端) */ sta

測试JSON RPC远程调用(JSONclient)

#include <string> #include <iostream> #include <curl/curl.h> /* 标题:JSonclient Author: Kagula LastUpdateDate:2014-05-17 描写叙述:測试JSON RPC远程调用 測试环境:Windows 8.1.Visual Studio 2013 SP1 curl-7.36.0 CPPCMS 1.0.4(JSON服务端) Java Servlet (JSON服务端) *

dubbo集成zookeeper rpc远程调用

注:下面使用dubbo依赖的是zookeeper注册中心,这里没有详细的介绍.在配置之前,请自行准备好zookeeper环境. 后续如果写zookeeper的配置会补放链接 添加Gradle依赖 compile group: 'com.alibaba', name: 'dubbo', version: '2.5.10'//dubbo compile group: 'org.apache.zookeeper', name: 'zookeeper', version: '3.3.3'//zookee

go语言net包rpc远程调用的使用

一.基于http的RPC 服务端: package main; import ( "net/rpc" "net/http" "log" ) //go对RPC的支持,支持三个级别:TCP.HTTP.JSONRPC //go的RPC只支持GO开发的服务器与客户端之间的交互,因为采用了gob编码 //注意字段必须是导出 type Params struct { Width, Height int; } type Rect struct{} //函数必须

手动实现RPC远程调用

java中的RPC核心思想就是:socket编程.传输Object.动态代理 package com.lala.rpc; import java.io.ObjectInputStream; import java.io.ObjectOutputStream; import java.lang.reflect.InvocationHandler; import java.lang.reflect.Method; import java.lang.reflect.Proxy; import java

[转]Linux下C语言-RPC远程调用编程rpcgen用法

在查看libc6-dev软件包提供的工具(用 dpkg -L libc6-dev 命令)的时候,发现此软件包提供了一个有用的工具rpcgen命令.通过rpcgen的man手册看到此工具的作用是把RPC源程序编译成C语言源程序,从而轻松实现远程过程调用.下面的例子程序的作用是客户端程序取中心服务器上时间的,编程过程如下:先编写一个 “ RPC 语言 ” ( RPC Language ( Remote Procedure Call Language ) ) 的源文件 test.x ,文件后缀名为 x

RPC远程调用概念 &amp;amp;&amp;amp; demo实例

RPC是指远程过程调用,直观说法就是A通过网络调用B的过程方法. 也就是说两台serverA.B,一个应用部署在Aserver上,想要调用Bserver上应用提供的函数/方法,因为不在一个内存空间,不能直接调用.须要通过网络来表达调用的语义和传达调用的数据. 为什么RPC呢?就是无法在一个进程内,甚至一个计算机内通过本地调用的方式完毕的需求,比方比方不同的系统间的通讯,甚至不同的组织间的通讯.因为计算能力须要横向扩展.须要在多台机器组成的集群上部署应用 首先要解决寻址的问题,也就是说,Aserv

基于http协议实现RPC远程调用

今天简单说一下基本Http协议来实现RPC框架~ 基于Http协议实现RPC框架: 优点: 1.简单.实用.开发方便 缺点: 1.性能不是很稳定,在海量数据时,完全顶不住,容易宕机 2.因为不是走的注册中心,不便于维护.监控以及统计分析 但是对于大多数公司而言,不会又像淘宝.京东那样大的数据量,所以基于Http协议的RPC,实现多个系统间的解耦,还是很实用的~ 下面,我们进入正题,通过Java实现简单的RPC调用 一.maven 引入第三方jar包(不是maven项目,可以自己去网上下载一个对应