Swoole http server + yaf, swoole socket server + protobuf 等小结

拥抱swoole, 拥抱更好的php

Swoole 是什么？

Yaf 是什么？

接触swoole已经4年多了，一直没有好好静下心来学习。一直在做web端的应用，对网络协议和常驻内存型服务器一窍不通。一不留神swoole已经从小众扩展变成了流行框架，再不学习就完了

swoole + yaf

swoole server 的角色

还是先用swoole来做一个http server。

常见的php web应用，通常是apache+fast-cgi 或者 nginx + php-fpm。这里以php-fpm为例，我们配置nginx.conf的时候都要配置一个

location ~*\.php$ {
        root            /usr/share/nginx/html;
        fastcgi_index   index.php;
        fastcgi_pass    127.0.0.1:9000;
        include         fastcgi_params;
        ...
}

主要是这句 fastcgi_pass 127.0.0.1:9000;。就是说nginx 匹配到请求的uri是php后缀的时候，就把http request 转交给127.0.0.1:9000处理了。如果你查看或者修改过php-fpm的配置文件，就知道9000是php-fpm的默认端口。那么到这里我们就清楚了，nginx把php文件交给php-fpm处理，php-fpm执行php脚本后返回http response给nginx。

接下来就好理解swoole http server 的作用以及应该扮演的角色。swoole http server 自己接受http请求，处理静态文件和php脚本，然后返回给客户端。swoole server 的配置项中有一个 document_root 用来告诉swoole 从哪里读取静态文件。当然，我们仍然可以用nginx来处理静态文件，只把php脚本交给swoole处理，这里需要修改nginx.conf，用nginx的代理功能 proxy_pass

location ~ .(gif|jpg|jpeg|png|bmp|swf|css|js)$ {
    root     /data/www/swoole-server/public;
} 

location / {
    proxy_http_version 1.1;
    proxy_set_header Connection "keep-alive";
    proxy_set_header X-Real-IP $remote_addr;
    proxy_pass http://127.0.0.1:9501;
}

以上说了这么多，作为一个php web开发人员，应该可以大概理解平常写的逻辑代码，就是在swoole server 的 onRequest中。包括平常的PHP全局变量 _SERVER, _COOKIE _GET _POST 等等，都在swoole server 的回调函数的参数 Request 中。那么我们接下来在onRequest回调中，自然要解析 uri，然后做路由解析进入到具体的业务逻辑。最简单的就是直接require uri的这个php脚本，也就是第一次接触php的script模式。路由解析，加载控制器MVC渲染这些都是框架最擅长的事情，因此在onRequest中我们引入框架，返回结果给swoole response对象。

接入Yaf

Swoole 的worker子进程是实际的工作进程，在收到客户端request的时候，swoole把request发送给worker，调用onRequest回调处理。如果我们在onRequest中引入Yaf 创建yaf app对象，由于onRequest是一个轮询事件回调，worker会重复创建yaf app，yaf app实际上处于相同的上下文，因此会提示已经存在yaf application对象。而且，我们并不需要在这里重复读取我们的配置文件。我们把yaf application 放在 onWorkerStart 中，一个worker 只产生一个yaf app对象，这个yaf对象轮询处理request uri 。

Swoole Http Server onWorkerStart & onRequest

public function onWorkerStart($serv, $work_id) {
    // var_dump(get_included_files()); // 打印worker启动前已经加载的php文件
    cli_set_process_title(‘swoole_worker_‘.$work_id); // 设置worker子进程名称
    Yaf\Registry::set(‘swoole_serv‘, $serv);
    $this->app = new Yaf\Application( APPLICATION_PATH . "conf/application.ini");
    $this->app->bootstrap();
}

public function onRequest($request, $response) {
    // print_r($request->server);
    $uri = $request->server[‘request_uri‘];
    printf("[%s]get %s\n", date(‘Y-m-d H:i:s‘), $uri);
    if ($uri == ‘/favicon.ico‘) {
        $response->status(404);
        $response->end();
    } else {
        Yaf\Registry::set(‘swoole_req‘, $request);
        Yaf\Registry::set(‘swoole_res‘, $response);
        // yaf 会自动输出脚本内容，因此这里使用缓存区接受交给swoole response 对象返回
        ob_start();
        $this->app->getDispatcher()->dispatch(new Yaf\Request\Http($this->rewrite($uri))); // rewrite 中可以应用自己的规则
        $data = ob_get_clean();
        $response->end(data);
    }
}

如果你用过yaf，接下来只需要写一个标准的yaf框架应用就可以了。yaf 框架的public文件夹不再需要入口文件 index.php，nginx 中也不再需要重写uri规则，想想为啥

Swoole WebSocket

理解了http server 之后，我们再来创建一个websocket 服务器。websocket是web开发人员相对更熟悉的服务器，浏览器用javascript可以写一个现成的客户端。swoole websocket服务器与http 服务器大同小异，只不过onRequest()方法变成了onMessage()，$response->end()变成了$server->push();

websocket是有状态的长连接，http是无状态的。无状态意思是说http你只需要知道request是什么，然后给他response，不管是谁，请求几次request，都是一样的response。而有状态的意思是，对于每一个请求，你需要分辨它是谁。因此对于相同的请求，可能会有不同的处理。websocket的每个客户端链接有唯一标识fd，有点类似于会话session id 的意思。

与onRequest()方法类似，在onMessage()方法中，我们需要对客户端发送的数据进行路由解析，然后想客户端返回结果。不过这里不再是http协议的url请求格式了，是我们自己组装的协议数据包，比如一个JSON结构，包括action,controller,module等等。我们仍然可以引入yaf框架，利用他的类库自动加载Loader和路由Dispatcher机制，来处理客户端请求，这里不再赘述。

public function onMessage(\Swoole\Websocket\Server $serv, \Swoole\Websocket\Frame $frame) {
    $route = json_decode($frame->data);
    if ($route->module) {
        try {
            ob_start();
            $this->app->getDispatcher()->dispatch(new Yaf\Request\Simple(‘cli‘, $route->module, $route->controller, $route->action, $route->params));
            $response = ob_get_clean();
        } catch (Exception $e) {
            // handle exception
        }
        $serv->push($frame->fd, $response);
    } else {
        printf("[%s] unknow message: %s\n", date(‘Y-m-d H:i:s‘), $frame->data);
    }
}

PHP 使用 Protobuf 消息

上面我们使用了一个 JSON 协议传输websocket的例子，而 Protobuf 是 与JSON 类似的一种消息协议，除此之外，大家熟知的xml也是一种消息协议。ProtoBuf 是google开源的一种通信协议，既然是google的，那么别问，学就对了。

什么是ProtoBuf

相比JSON与XML，ProtoBuf的好处体现在

  • 解析快。为什么比XML，JSON的字符串解析快呢，google大神们说快那就是快，别问。
  • 节省包体大小。它把我们的消息结构体转为二进制流进行传输，到了另一端再通过相同的结构体定义解析还原。
  • 天然的消息加密。传输过程中是二进制，xml或者json还需要进一步加解密才能保密。与之同时带来的缺点，就是可读性差。你看着一堆二进制串，在消息解析出来之前完全不知道发的是啥（个人认为并不是什么缺点）。

php 处理protobuf

用php处理protobuf我们需要用到两个东西

我们在解析protobuf二进制流之前，是需要先指定对应的消息结构体的，因此我们不能只发送一个protobuf，至少应该再附带一个消息ID。通过这个消息ID对应的结构体，我们才能解析具体的protobuf消息。

php处理二进制数据需要用到pack()和unpack()。如果像我一样没接触过的同学，可以临时补补课，学习一下字节序什么的

PHP中pack、unpack的详细用法

假设我们有一个int32位无符号消息ID，那么每个包体的结构就是 消息ID+protobuf。发送消息之前，我们进行数据打包

public function pack($msg_id, $msg_body) {
    $proto_class = Proto::GetResponseMessageProto($msg_id); // 由消息ID获取对应的proto结构体类名
    if (!$proto_class ) {
        $this->err = ‘No msg id matched.‘;
        return FALSE;
    }
    try {
        $msg_obj = new $proto_class ();
        // 定义消息
        $msg_obj->mergeFromArray($msg_body);
        // 打包protobuf
        $buf_str= $msg_obj->serializeToString();
        // 拼接消息体
        $this->bufString = pack(‘N‘, $msg_id). $buf_str;;
        return TRUE;
    } catch (\Exception $e){
        $this->err = $e->getMessage();
        return FALSE;
    }
}

数据打包相对简单些，数据解包会有一点曲折。也就是在这里我感觉PHP在处理二进制数据上有点局限，也可能是我没有掌握更高效的方法。如果有的话，还望各位读者不吝赐教。

public function unpack($msg) {
    $data = unpack(‘Nmsg_id/a*msg_body‘, $msg);
    $msg_id = $data[‘msg_id‘];
    // 暂时把protobuf解析成字符串
    $buf_str = $data[‘msg_body‘];
    $proto_class = Proto::GetRequestMessageProto($msg_id);
    if (!$proto_class) {
        $this->err = ‘No msg id matched.‘;
        return FALSE;
        // handle error.
    }
    try {
        $msg_obj = new $proto_class();
        // 上面已经把probuf解析成了字符串，因此这里需要再转化为二进制
        $msg_obj->mergeFromString(pack(‘a*‘, $buf_str));
        print_r($msg_obj->serializeToJsonString()); // protobuf 类的读取接口比较少，建议去看看源码
    } catch (\Exception $e) {
        $this->err = $e->getMessage();
        return FALSE;
        // handle invalid msg
//            throw new MessageParseException(‘Invalid message‘);
    }
    $this->msg_obj = $msg_obj->serializeToJsonString(); // 消息体
    $this->msg_id = $msg_id; // 消息ID
    return TRUE;
}

接收消息的处理

// onMessage
public function onMessage(swoole_websocket_server $serv, swoole_websocket_frame $frame) {
    $msg = new \Message\Message();
    if ($msg->unpack($frame->data)) {
        printf("[%s] receive data: %d %s\n", date(‘Y-m-d H:i:s‘), $msg->msg_id, $msg->msg_obj);
        // dispatcher
        list($module, $controller, $action) = $this->dispatch($msg->msg_id); // 自己的消息路由，就是某一个消息ID交给哪个控制器进行处理
        try {
            ob_start();
            $this->app->getDispatcher()->dispatch(new Yaf\Request\Simple(‘cli‘, $module, $controller, $action, json_decode($msg->msg_obj, TRUE)));
            $response = ob_get_clean();
            $code = 0;
        } catch (Exception $e) {
            $response = json_encode([‘err‘ => $e->getMessage()]);
            $code = -1;
        }
        print_r($response);
        if (!$msg->pack($msg->msg_id, $response)) {
            print_r(‘msg pack err:‘. $msg->err);
        } else {
            $serv->push($frame->fd, $msg->bufString, WEBSOCKET_OPCODE_BINARY); // websocket 发送二进制
        }
    } else {
        printf("[%s] unpack err: %s\n", date(‘Y-m-d H:i:s‘), $frame->data);
        print_r(‘msg unpack err:‘. $msg->err);
    }
}

附前端javascript的示例

javascript处理相对来说还更简单，用到的是 ArrayBuffer

var protoRoot = null;
protobuf.load(‘/data/game.proto‘, function(err, root) {
    if (err)
        throw err;
    protoRoot = root;
});
function writeBuf(msgid, buf) {
    // buf 是protobuf消息的二进制结果
    var length = buf.length;
    var buffer = new ArrayBuffer(buf.length + 4); // 消息ID占4位
    var dv = new DataView(buffer);
    dv.setUint32(0, msgid, false); // 大端字节序
    for (let i=0;i<buf.length;i++) {
        dv.setInt8(4+i, buf[i]); // 逐字节写入buffer
    }
    console.log(buffer);
    return buffer;
}
function readBuf(buf) {
    var dv = new DataView(buf);
    var msgid = dv.getUint32(0, false);
    var buf = new Uint8Array(buf, 4); // 截取消息ID后面的字节，交给protobuf解析
    return [msgid, buf];
}
function Request_Message(msg, req, callback) {
    // 将客户端请求的消息msg转成protobuf
    var RequestMessage = protoRoot.lookupType("dapianzi."+req); // 这里需要加上命名空间
    var errMsg = RequestMessage.verify(msg);
    if (errMsg)
        throw Error(errMsg);
    var message = RequestMessage.fromObject(msg);
    var buffer = RequestMessage.encode(message).finish();
    callback(buffer); // 下一步调用writeBuf 产生消息包，发送给服务器
}
function Response_Message(buf, res, callback) {
    // buf 是readBuf()中返回的二进制串，这里交给protobuf解析成消息体
    var ResponseMessage = protoRoot.lookupType("dapianzi."+res);
    var message = ResponseMessage.decode(buf);
    var object = ResponseMessage.toObject(message, {
        longs: String,
        enums: String,
        bytes: String,
    });
    callback(object); // 进行客户端逻辑
}

后记

在websocket服务器中使用yaf还是觉得比较牵强，毕竟yaf是一个web框架，使用它仅仅是可以比较方便的使用lib自动加载，以及路由映射。因此，还是得自己想办法写一个简单的框架，实现消息路由，类库加载，事件注册，和全局对象的容器管理。

原文地址：https://www.cnblogs.com/dapianzi/p/10321685.html

时间： 2024-11-05 22:52:16

Swoole http server + yaf, swoole socket server + protobuf 等小结的相关文章

用select模拟一个socket server

1, 必须在非阻塞模式下,才能实现IO的多路复用,否则一个卡住就都卡住了. 先检测自己,现在没有客户端连进来,所以会卡住. # 用select去模拟socket,实现单线程下的多路复用 import select import socket import queue server = socket.socket() server.bind(('localhost', 9000)) server.listen(1024) server.setblocking(False) # 设置为不阻塞,acc

C# Socket Server 收不到数据

#/usr/bin/env python # -*- coding: utf-8 -*- # C# Socket Server 收不到数据 # 说明: # 最近在调Python通过Socket Client连接C#的Socket Server,但是Server端能检测到连接, # 却收不到数据,这个问题困扰了几个小时,最后是因为Python这边发送完数据,直接关闭了 # 连接,最好是sleep一点点时间再关闭Socket,这样就能正常受到数据了. # # 2016-11-09 深圳 南山平山村

Python Socket，How to Create Socket Server? - 网络编程实例

文章出自:Python socket – network programming tutorial by Silver Moon 原创译文,如有版权问题请联系删除. Network programing in Python: Part2: Programing sockets servers. 在所有的通信实例中,都分为Client 和Server. 其中:Client是请求的发起点,Server是使用Socket接收传入的值并且提供返回数据. Server的职能如下: 1>.创建/打开一个so

Socket.Server &#39;module&#39; object has no attribute &#39;fork&#39; 原因分析

Exception happened during processing of request from ('127.0.0.1', 65066)Traceback (most recent call last): File "C:\Python27\lib\SocketServer.py", line 284, in _handle_request_nobloc self.process_request(request, client_address) File "C:\P

java网络编程socket\server\TCP笔记（转）

java网络编程socket\server\TCP笔记(转) 2012-12-14 08:30:04|  分类: Socket |  标签:java  |举报|字号 订阅 1 TCP的开销 a  连接协商三次握手,c->syn->s,s->syn ack->c, c->ack->s b  关闭协商四次握手,c->fin->s, s->ack-c,s->fin->c,c->ack->s c  保持数据有序,响应确认等计算开销 d

python之路 socket、socket server

一.socket socket的英文原义是“孔”或“插座”.作为BSD UNIX的进程通信机制,取后一种意思.通常也 称作"套接字",用于描述IP地址和端口,是一个通信链的句柄,可以用来实现不同虚拟机或不同计算机之间的通信.在Internet上的主机一 般运行了多个服务软件,同时提供几种服务.每种服务都打开一个Socket,并绑定到一个端口上,不同的端口对应于不同的服务.Socket正如其英文原 意那样,像一个多孔插座.一台主机犹如布满各种插座的房间,每个插座有一个编号,有的插座提供2

socket Server 解决TIME_WAIT状态等待问题

#include <stdlib.h> #include <dirent.h> #include <time.h> #include <unistd.h> #include <dirent.h> #include <sys/types.h> #include <errno.h> #include <sys/socket.h> #include <netinet/in.h> #include <

使用同步socket创建非阻塞socket server

这个socket server可以: 非阻塞的处理多个socket连接. 可以接收来自客户端的ping消息,并把5秒内无活动的客户端移除. 可以接收客户端的login请求,使用者可以按自己需求加入认证逻辑. /*''' Non-Blocking socket server using blocking API Created on Dec 25, 2014 (merry christmas) @author: ScottGu<[email protected], [email protected

Python之路-python(面向对象进阶（模块的动态导入、断言、Socket Server）)

模块的动态导入 断言 Socket Server 一.模块的动态导入 1 class C(object): 2 def __init__(self): 3 self.name = "zhangsan" 1 #动态导入 2 import importlib 3 test = importlib.import_module("lib.test") 4 print(test.C().name) 二.断言 assert断言是一句必须等价于布尔真的判定! 1 不等于 0 就会