高性能 Socket 组件 HP-Socket v3.2.1-RC2 公布

　　HP-Socket 是一套通用的高性能 TCP/UDP Socket 组件，包括服务端组件、client组件和 Agent 组件，广泛适用于各种不同应用场景的 TCP/UDP 通信系统，提供 C/C++、C#、Delphi、E、Java
等编程语言开发接口。HP-Socket 对通信层实现全然封装，上层应用不必关注通信层的不论什么细节；HP-Socket 提供基于事件通知模型的 API 接口，能很easy高效地整合到新旧应用程序中。为了让使用者能方便高速地学习和使用 HP-Socket，迅速掌握组件的设计思想和用法，特此精心制作了大量 Demo 演示样例，包含 PUSH 模型演示样例、PULL模型演示样例和性能測试演示样例等。HP-Socket 眼下执行在 Windows 平台，将来会实现跨平台支持。

----------------------------------------------------------------

通用性

• 通信组件的唯一职责就是接受和发送字节流，绝对不能參与上层协议解析等工作；
• 与上层使用者解耦、互不依赖，组件与使用者通过操作接口和监听器接口进行交互，组件实现操作接口为上层提供操作方法；使用者实现监听器接口把自己注冊为组件的 Listener，接收组件通知。因此，不论什么使用者仅仅要实现了监听器接口都能够使用组件；还有一方面，甚至能够自己又一次写一个实现方式全然不同的组件实现给使用者调用，仅仅要该组件遵从组件的操作接口，这也是 DIP 设计原则的体现。

可用性

　　可用性对全部通用组件都是至关重要的，假设太难用还不如自己重头写一个来得方便。因此，组件的操作接口和监听器接口设计得尽量简单易用（通俗来说就是“傻瓜化”），这两个接口的主要方法均不超过 5 个。另外，组件全然封装了全部的底层 Socket 通信，上层应用看不到不论什么通信细节，不必也不能干预不论什么通信操作，Socket 连接被抽象为 Connection ID，该參数作为连接标识提供给上层应用识别不同的连接。

高性能

　　作为底层的通用组件，性能问题是必须考虑的，绝对不能成为系统的瓶颈。而还有一方面，从实际出发，依据client组件与服务端组件的性能要求採用不同的 Socket 模型。组件在设计上充分考虑了性能、现实使用情景、可用性和实现复杂性等因素，确保满足性能要求的同一时候又不会写得太复杂。做出下面两点设计决策：

• client：在单独线程中实现 Socket 通信交互，这样能够避免与主线程或其他线程相互干扰；I/O 模型选择 Event Select 通信模型。每一个组件对象管理一个 Socket 连接。
• 服务端：採用高效的 IOCP 通信模型；利用缓存池技术，在通信的过程中，通常须要频繁的申请和释放内存缓冲区，建立了动态缓存池， 仅仅有当缓存池中没有可用对象时才创建新对象，而当缓存对象过多时则会压缩缓存池；另外，组件的动态内存通过私有堆（Private Heap）机制分配，避免与 new / malloc 竞争同一时候又降低内存空洞。
• Agent：对于代理server或中转server等应用场景，server自身也作为client向其他server发起大规模连接，一个 Agent 组件对象管理多个 Socket 连接，与服务端採用同样的技术架构，能够用作代理server或中转server的client部件。

伸缩性

　　能够依据实际的使用环境要求设置组件的各项性能參数（如：工作线程的数量、各种缓存池的大小、收发缓冲区的大小、Socket 监听队列的大小、Accep 派发的数目以及心跳检查的间隔等）。

　　 (项目主页：点击这里，下载地址：点击这里)

> 添加 TcpAgent / TcpPullAgent 通信组件：

-----------------

1. 对于代理server或中转server等应用场景，server自身也作为client向其他server发起大规模连接
2. TcpClient / TcpPullClient 基于 Event Select 通信模型，每一个组件对象管理一个 Socket，并开启一个线程，不适合上述应用场景
3. TcpAgent / TcpPullAgent 基于 IOCP 通信模型，一个组件对象管理多个 Socket，适合用作代理server或中转server的client通信组件
4. TcpAgent / TcpPullAgent 的使用方式依旧简单，提供下面接口方法：

   /* 1) 通知接口方法 */
   OnPrepareConnect(CONNID dwConnID, SOCKET socket)
   OnConnect(CONNID dwConnID)
   OnSend(CONNID dwConnID, const BYTE* pData, int iLength)
   OnReceive(CONNID dwConnID, const BYTE* pData, int iLength)	//（Push 模型）
   OnReceive(CONNID dwConnID, int iLength)						//（Pull 模型）
   OnClose(CONNID dwConnID)
   OnError(CONNID dwConnID, EnSocketOperation enOperation, int iErrorCode)
   OnAgentShutdown()
   
   /* 2) 主要操作方法 */
   Start(LPCTSTR pszBindAddress = nullptr, BOOL bAsyncConnect = TRUE)
   Stop()
   Connect(LPCTSTR pszRemoteAddress, USHORT usPort, CONNID* pdwConnID = nullptr)
   Send(CONNID dwConnID, const BYTE* pBuffer, int iLength)
   Disconnect(CONNID dwConnID, BOOL bForce = TRUE)
   Fetch(CONNID dwConnID, BYTE* pData, int iLength)	//（Pull 模型）

5. 添加 TcpAgent / TcpPullAgent 使用演示样例：Agent-PFM / Agent-Pull / Agent-4C

   

> 添加 HPSocket for Java SDK：

-----------------

1. 提供 Java 开发包：hpsocket-3.2.1.jar（通过 JNA 实现，眼下仅仅支持 Windows 平台）
2. 执行环境：JDK 1.6+，JVM 执行在 server 模式（"java -server"，在 client 模式下性能受影响）
3. MBCS 和 Unicode 版本号分布位于包 org.jessma.hpsocket.mbcs 和 org.jessma.hpsocket.unicode
4. HPSocket for Java SDK 提供下面通信组件：

   1) TcpServer：TCP 通信服务端组件，支持 PUSH/PULL 模型
   2) TcpClient：TCP 通信client组件，支持 PUSH/PULL 模型
   3) TcpAgent ：TCP 通信 Agent 组件，支持 PUSH/PULL 模型
   4) UdpServer：UDP 通信服务端组件，支持 PUSH 模型
   5) UdpClient：UDP 通信client组件，支持 PUSH 模型

5. HPSocket4J 的用法（以 TcpAgent 为例）：

   /* 0: 应用程序添加 hpsocket-3.2.1.jar 和 jna-4.1.0.jar */
   
   /* 1: 创建通信组件对象 */
   TcpAgent agent = TcpAgent.create(Mode.PUSH);
   
   /* 2: 设置回调函数对象 */
   // （可选）
   agent.setCallBackOnPrepareConnect(new OnPrepareConnectImpl());
   // （可选）
   agent.setCallBackOnConnect(new OnConnectImpl());
   // （必须）PUSH 模型须要设置 OnReceive 回调函数对象
   agent.setCallBackOnReceive(new OnReceiveImpl());
   // （必须）PULL 模型须要设置 OnPullReceive 回调函数对象
   // agent.setCallBackOnPullReceive(new OnPullReceiveImpl());
   // （可选）
   agent.setCallBackOnSend(new OnSendImpl());
   // （必须）
   agent.setCallBackOnClose(new OnCloseImpl());
   // （必须）
   agent.setCallBackOnError(new OnErrorImpl());
   // （可选）
   agent.setCallBackOnAgentShutdown(new OnAgentShutdownImpl());
   
   /* 3：启动通信组件 */
   agent.start("127.0.0.1", false);
   
   /* 4：连接服务器 */
   agent.connect("localhost", (short)5555, pdwConnID);
   
   /* 5：处理通信数据 */
   // 响应 OnReceive / OnPullReceive 事件接收数据
   // 使用 agent.send(dwConnID, data, data.length) 发送数据
   
   /* 6：关闭通信组件 */
   agent.stop();
   
   /* 7：销毁通信组件 */
   TcpAgent.destroy(agent);

6. 添加演示样例project TestEcho-4J，展示 HPSocket4J 的用法（包含 PULL 模型演示样例和性能測试演示样例）

   

> 优化数据发送策略：

-----------------

1. IClient/IServer/IAgent 组件的 Send() 方法不直接把数据投递到完毕port
2. 在高负载情形下，数据会放入发送队列，并进行数据包合并，避免高负载下发生 10055 错误
3. 当发送大量小数据包时，自己主动组包机制能大大提高发送效率
4. 应用程序能够通过 GetPendingDataLength() 获取队列中未发出的数据，从而实现流量控制

> 其他更新：

-----------------

1. IServer 的 GetClientAddress() 方法改名为 GetRemoteAddress()
2. IClient 的 Send() 方法删除 “CONNID dwConnID” 參数
3. IClient/IServer/IAgent 的 Send() 方法添加发送数据缓冲区指针偏移量參数 “int iOffset”
4. EnServerError / EnClientError 枚举类型合并为 EnSocketError
5. EnSocketError / EnHandleResult / EnFetchResult 枚举类型从原所在类中移到外部
6. IClient/IServer/IAgent 添加方法：BOOL GetPendingDataLength()，获取连接中未发出数据的长度
7. HPSocket4C.dll 添加方法 SendPart()，支持指定缓冲区指针偏移量
8. 添加 HPSocket for C# SDK（由 int 2e 提供）
9. 公共代码包 vc-common-src 更新为 v2.3.4（參考：vc-common-src v2.3.4 的 Change Log）

> 升级说明：

-----------------

1. HP-Socket v3.2.1 在功能上兼容 HP-Socket v3.1.3 及曾经版本号
2. 接口有变化，须要依据提示改动程序代码；注意：现有程序不能直接替换 v3.1.3 的 DLL
3. EnServerError / EnClientError 枚举类型合并为 EnSocketError，注意一些枚举值发生了变化

> 添加其他语言 Demo：

-----------------

1. C#
2. Delphi
3. E 语言

> Bug Fix：

-----------------

1. 修复 IP 地址推断错误 Bug

   1) client连接server时，假设server IP 地址满位（12个数字：‘AAA.BBB.CCC.DDD’），IP 地址解析错误
   2) 影响组件：全部 TCP/UDP client组件
   3) 影响版本号：v3.1.2 及之前全部版本号

2. 修复域名或主机名的 IP 地址解析错误 Bug

   1) client组件通过域名或主机名连接server时，可能会解析到错误的 IP 地址
   2) 影响组件：全部 TCP/UDP client组件
   3) 影响版本号：v3.1.2 及之前全部版本号

 > 改动 Server 组件的 OnClose() / OnError() 事件的触发规则：

-----------------

1. 曾经版本号的 TCP/UDP Server 组件中，当关闭一个连接时可能会同一时候触发一个 OnClose() 事件和若干个 OnError() 事件
2. 因为存在上述可能性，所以应用程序须要对 OnClose() / OnError() 的处理事件代码段进行同步
3. 从 v3.1.2 開始，当多个 OnClose() / OnError() 事件同一时候发生时，组件仅仅会向应用程序通知第一个事件，兴许事件则忽略
4. 因此，应用程序在处理 OnClose() / OnError() 事件时不必处理同步，降低了出错的可能和编写同步及检測代码的负担
5. 演示样例代码

   /* 演示样例代码一：*/
   /*----------------------------------------------------------------------------*/
   ISocketListener::EnHandleResult CServerDlg::OnClose(CONNID dwConnID)
   {
   	// 曾经版本号：有可能存在并发的 OnClose()/OnError()，要把代码放在临界区中并检測返回值
   
   	CCriSecLock locallock(m_csPkgInfo);	// <-- 临界区
   
   	PVOID pInfo = nullptr;
   	// <-- 检測返回值
   	if(m_Server->GetConnectionExtra(dwConnID, &pInfo) && pInfo != nullptr)
   	{
   		m_Server->SetConnectionExtra(dwConnID, nullptr);
   		delete pInfo;
   	}
   }
   
   /* 演示样例代码二：*/
   /*----------------------------------------------------------------------------*/
   ISocketListener::EnHandleResult CServerDlg::OnClose(CONNID dwConnID)
   {
   	// v3.1.2 版本号：仅仅会接收到一个 OnClose()/OnError() 事件，能安全地移除临界区代码和检測代码
   
   	PVOID pInfo = nullptr;
   	m_Server->GetConnectionExtra(dwConnID, &pInfo);
   	ASSERT(pInfo != nullptr);
   
   	delete pInfo;
   }

 > 添加导出纯 C 函数的动态链接库 HPSocket4C.dll：

-----------------

1. 添加代码文件 HPSocket4C.h 和 HPSocket4C.cpp，用于创建 HPSocket4C.dll
2. 导出纯 C 函数，让其他语言（如：C/C#/Delphi 等）能方便地使用 HPSocket
3. HPSocket4C.dll 用法

   方法一：
   ------------------------------------------------------------------------------
   (0) （C/C++ 程序）包括 HPSocket4C.h 头文件
   (1) 调用 ::Create_HP_XxxListener() 函数创建监听器对象
   (2) 调用 ::Create_HP_Xxx(pListener) 函数创建 HPSocket 对象
   (3) 调用 ::HP_Set_FN_Xxx_OnYyy(pListener, ...) 函数设置监听器的回调函数
   (4) 调用相关导出函数操作 HPSocket 对象
   (5) ...... ......
   (6) 调用 ::Destroy_HP_Xxx(pSocket) 函数销毁 HPSocket 对象
   (7) 调用 ::Destroy_HP_XxxListener(pListener) 函数销毁监听器对象
   
   方法二：
   ------------------------------------------------------------------------------
   (1) 应用程序把须要用到的导出函数封装到特定语言的包装类中
   (2) 通过包装类封装后，以面向对象的方式使用 HPSocket

4. 动态链接库发行版本号

   (1) x86/HPSocket4C.dll		- (32位/MBCS/Release)
   (2) x86/HPSocket4C_D.dll	- (32位/MBCS/DeBug)
   (3) x86/HPSocket4C_U.dll	- (32位/UNICODE/Release)
   (4) x86/HPSocket4C_UD.dll	- (32位/UNICODE/DeBug)
   (5) x64/HPSocket4C.dll		- (64位/MBCS/Release)
   (6) x64/HPSocket4C_D.dll	- (64位/MBCS/DeBug)
   (7) x64/HPSocket4C_U.dll	- (64位/UNICODE/Release)
   (8) x64/HPSocket4C_UD.dll	- (64位/UNICODE/DeBug)

> 全面启用 Buffer Pool 缓存机制：

-----------------

1. Common/Src 添加代码文件 bufferpool.h 和 bufferpool.cpp，实现 Buffer Pool 缓存机制
2. 通过 Buffer Pool 缓存机制提升内存使用效率，降低动态内存分配和释放操作，避免内存空洞
3. ICTcpClient 用 CItemPool 和 TItemList 实现发送缓冲区
4. CUdpClient 用 CItemPool 和 TItemList 实现发送缓冲区
5. CTcpPullClient 用 CItemPool 和 TItemList 实现发送缓冲区和 PULL 缓冲区
6. CTcpPullServer 用 CBufferPool 和 TBuffer 实现 PULL 缓冲区

> 把 HP-Socket 编译为动态链接库：

-----------------

1. 应用程序能够通过导入源码或动态链接库方式使用 HP-Socket
2. 动态链接库用法

   方法一：
   ------------------------------------------------------------------------------
   (0) 应用程序包括 SocketInterface.h 和 HPSocket.h 头文件
   (1) 调用 HP_Create_Xxx() 函数创建 HPSocket 对象
   (2) 使用完成后调用 HP_Destroy_Xxx() 函数销毁 HPSocket 对象
   
   方法二：
   ------------------------------------------------------------------------------
   (0) 应用程序包括 SocketInterface.h 和 HPSocket.h 头文件
   (1) 创建 CXxxWrapper 包装器，通过包装器智能指针使用 HPSocket 对象

3. 动态链接库发行版本号

   (1) x86/HPSocket.dll      - (32位/MBCS/Release)
   (2) x86/HPSocket_D.dll    - (32位/MBCS/DeBug)
   (3) x86/HPSocket_U.dll    - (32位/UNICODE/Release)
   (4) x86/HPSocket_UD.dll   - (32位/UNICODE/DeBug)
   (5) x64/HPSocket.dll      - (64位/MBCS/Release)
   (6) x64/HPSocket_D.dll    - (64位/MBCS/DeBug)
   (7) x64/HPSocket_U.dll    - (64位/UNICODE/Release)
   (8) x64/HPSocket_UD.dll   - (64位/UNICODE/DeBug)

> 新增 UDP 通信组件：

-----------------

1. 新增两个 UDP 通信组件：CUdpServer 为服务端组件，CUdpClient 为client组件
2. 服务端组件 CUdpServer 採用 IOCP 通信模型
3. client组件 CUdpClient 採用 Event Select 通信模型
4. UDP 通信组件的接口与原 TCP 通信组件一致，简单有用
5. UDP 通信组件内置通信线路自己主动监測机制
6. 新增 UDP 通信组件演示样例project TestEcho-UDP

> 代码重构与优化：

-----------------

1. 规范全部接口、类以及代码文件的命名
2. 重构和优化了大量组件代码
3. 服务端组件增加读写锁机制，有效平衡处理性能与安全性
4. 服务端组件的 Socket 对象缓存列表设置了锁定时间，提高訪问的安全性