SQLDebug_Fan-CSDN博客

原创 Netty高性能大容量Socket并发（二）：Netty简介

Netty随着最近几年的发展，特别是跟着云计算、大数据的流行，很多开源分布式框架都使用了Netty作为通讯框架，如：Hadoop、Storm、Spark、Facebook、Twitter、阿里巴巴都在使用的Java高性能NIO通信框架，Netty经过多年打磨，其稳定性和性能达到了非常高的程度。

2015-11-16 14:41:02 9685

原创 Netty高性能大容量Socket并发（一）：Netty性能测试

从测试结果看，Netty性能是非常高的，在所有使用默认配置的情况下，单台服务器能够达到4万次请求解析，作为RPC框架是足够用的。还有一个有趣的现象是每次都创建连接和重用连接的差别不大，性能损耗对应用层几乎没影响，但是大家如果在应用环境中使用每次新建的情况，一定要进行压测，确认没影响后再使用。

2015-11-12 17:35:50 58036 6

原创 C#高性能大容量SOCKET并发（十一）：编写上传客户端

C#的TcpClient封装了NET的底层Socket操作，基于TCP协议，提供了阻塞和非阻塞模式调用，具体是设置m_tcpClient.Client.Blocking = true表示使用阻塞模式，反之则使用非阻塞模式。阻塞模式表示接收完指定长度的数据才返回，非阻塞模式表示收到一点数据就返回。如我们调用m_tcpClient.Client.Receive(m_recvBuffer.Buffer, sizeof(int), packetLength, SocketFlags.None)，假设传入的长度为1

2014-06-08 21:02:06 18686 26

原创 C#高性能大容量SOCKET并发（零）：代码结构说明

C#版完成端口具有以下特点：连接在线管理（提供在线连接维护，连接会话管理，数据接收，连接断开等相关事件跟踪）；发送数据智能合并（组件会根据资源使用情况，对多个同时发送向同一连接的多个消息数据进行合并写入缓冲区；内存池管理（提供一系列的接收和发送buffer可复用池）；数据读写封装；通讯协议封装；

2014-04-07 22:35:48 34559 29

原创 C#高性能大容量SOCKET并发（十）：SocketAsyncEventArgs线程模型

SocketAsyncEventArgs编程模式不支持设置同时工作线程个数，使用的NET的IO线程，由NET底层提供，这点和直接使用完成端口API编程不同。NET底层IO线程也是每个异步事件都是由不同的线程返回到Completed事件，因此在Completed事件需要对用户对象进行加锁，避免同一个用户对象同时触发两个Completed事件。

2014-03-07 17:18:22 18261 6

原创 C#高性能大容量SOCKET并发（九）：断点续传

断点续传主要是用在上传或下载文件，一般做法是开始上传的时候，服务器返回上次已经上传的大小，如果上传完成，则返回-1；下载开始的时候，由客户端上报本地已经下载大小，服务器根据位置信息下发数据，因此上传下载协议都需要带Size大小。

2014-03-07 16:28:21 14614 4

原创 C#高性能大容量SOCKET并发（八）：通讯协议

开发Socket程序有两种协议类型，一种是用文本描述的，类似HTTP协议，定义字符集，好处是兼容性和调试方便，缺点是解析文本会损耗一些性能；一种是用Code加结构体，定义字节顺序，好处是性能高，缺点是兼容性和调试不方便。这个可以根据应用场景灵活选择，如果您的应用相对稳定，需求变化少，性能要求高，则可以使用Code加结构体的方式。如果您的应用需要不停的扩充功能，但是对性能要求不苛刻，则可以使用文本解析的方式。这两种协议有两个比较典型的应用场景，Code加结构体更多应用在中间件上，因为协议的封装都是透明的，不需

2014-03-07 15:54:42 14440 2

原创 C#高性能大容量SOCKET并发（七）：协议字符集

UTF-8是UNICODE的一种变长字符编码又称万国码，由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。用在网页上可以同一页面显示中文简体繁体及其它语言（如日文，韩文）。使用UTF-8的好处是现在一些手机平台都是使用UTF-8，另外在一些嵌入式平台，如果不支持中文，只支持英文，可以不转换，UTF-8就可以识别。NET默认支持的编码是Unicode，为了支持UTF-8，需要转换下，为了编程简便性，我们只在发包和解包的地方进行UT

2014-03-07 15:34:39 10493 1

原创 C#高性能大容量SOCKET并发（六）：超时Socket断开（守护线程）和心跳包

在服务端版Socket编程需要处理长时间没有发送数据的Socket，需要在超时多长时间后断开连接，我们需要独立一个线程（DaemonThread）来轮询，在执行断开时，需要把Socket对象锁定，并调用CloseClientSocket来断开连接。有超时连接，相对应的需要设计心跳包，心跳包用来检测连接和维护连接状态，心跳包的原理是客户端发送一个包给服务器，服务器收到后发一个响应包给客户端，通过检测是否有返回来判断连接是否正常。

2014-03-07 15:06:22 27734 28

原创 C#高性能大容量SOCKET并发（五）：粘包、分包、解包

使用TCP长连接就会引入粘包的问题，粘包是指发送方发送的若干包数据到接收方接收时粘成一包，从接收缓冲区看，后一包数据的头紧接着前一包数据的尾。粘包可能由发送方造成，也可能由接收方造成。TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一包数据，造成多个数据包的粘连。如果接收进程不及时接收数据，已收到的数据就放在系统接收缓冲区，用户进程读取数据时就可能同时读到多个数据包。粘包一般的解决办法是制定通讯协议，由协议来规定如何分包解包，因此在Scoket编程中需要定义分包、解包的逻辑。

2014-03-07 11:40:41 48616 11

原创 C#高性能大容量SOCKET并发（四）：缓存设计

在编写服务端大并发的应用程序，需要非常注意缓存设计，缓存的设计是一个折衷的结果，需要通过并发测试反复验证。有很多服务程序是在启动时申请足够的内存空间，避免在运行期间再申请空间，这种是固定空间申请。还有一种是在运行期间动态增长的缓存设计，随着运行动态申请内存，这种事动态空间申请。这两种机制各有优劣，固定空间申请优点是效率高，运行稳定，缺点是对应用场景具有限制；动态空间申请优点是能适应更好的应用场景，缺点是效率相对低一些，并发数降一些；这种性能下降不是太明显，毕竟申请释放内存的效率NET是有优化的，具体需要根据

2014-03-05 17:30:32 22106 4

原创 C#高性能大容量SOCKET并发（三）：接收、发送

异步数据接收有可能收到的数据不是一个完整包，或者接收到的数据超过一个包的大小，因此我们需要把接收的数据进行缓存。异步发送我们也需要把每个发送的包加入到一个队列，然后通过队列逐个发送出去，如果每个都实时发送，有可能造成上一个数据包未发送完成，这时再调用SendAsync会抛出异常，提示SocketAsyncEventArgs正在进行异步操作，因此我们需要建立接收缓存和发送缓存。

2014-03-04 16:57:11 34877 37

原创 C#高性能大容量SOCKET并发（二）：SocketAsyncEventArgs封装

SocketAsyncEventArgs是微软提供的高性能异步Socket实现类，主要为高性能网络服务器应用程序而设计，主要是为了避免在在异步套接字 I/O 量非常大时发生重复的对象分配和同步。

2014-03-04 15:28:39 67645 37

原创 C#高性能大容量SOCKET并发（一）：IOCP完成端口例子介绍

例子主要包括SocketAsyncEventArgs通讯封装、服务端实现日志查看、SCOKET列表、上传、下载、远程文件流、吞吐量协议，用于测试SocketAsyncEventArgs的性能和压力，最大连接数支持65535个长连接，最高命令交互速度达到250MB/S（使用的是127.0.0.1的方式，相当于千兆网卡1Gb=125MB/S两倍的吞吐量）。服务端用C#编写，并使用log4net作为日志模块。

2014-01-22 15:49:50 61048 60

原创 DELPHI高性能大容量SOCKET并发（十）：IOCP完成端口性能优化

IOCP性能优化主要是集中在每个处理接收数据和发送数据的对象锁，如果能降低锁的调用次数和提高锁的效率，对IOCP的整理效率和吞吐量都非常有帮助。有很多开发人员在优化IOCP的时候，对于如何提高锁的效率，有使用原子操作来加锁，这样做的效率比较调用Windows的锁效率，因而吞吐率也更高。我们不讨论提高锁的效率，我们这次的优化是降低锁的调用次数。服务端优化IOCP是异步线程通知方式，有

2013-06-10 22:22:36 9562 27

原创 DELPHI高性能大容量SOCKET并发（九）：稳定性问题解决

IOCP接收缓存导致的内存错乱在用IOCP控件写了一个ERP服务器后，服务器会发生运行3天后，出现莫名的内存错误，用FastMM检测，是本没有内存错误的地方，而且内存错误出现的地方也不固定。这是一个不可重现的Bug，后续通过打日志把错误范围缩小后发现，每次出现内存错误之前都是由于有链接断开释放，因此就加了日志逐步定位到是TSocketHandle释放引起的，具体原因是：在IOCP中，每个S

2013-06-07 22:23:12 11296 2

原创 DELPHI高性能大容量SOCKET并发（八）：断点续传

断点续传断点续传主要是用在上传或下载文件，一般做法是开始上传的时候，服务器返回上次已经上传的大小，如果上传完成，则返回-1；下载开始的时候，由客户端上报本地已经下载大小，服务器根据位置信息下发数据，因此上传下载协议都需要带Size大小，例如我们协议格式。上传开始：客户端->服务器{[Request]Command=UploadDir=Dir

2013-06-06 23:38:55 5527

原创 DELPHI高性能大容量SOCKET并发（七）：通讯协议

协议种类开发Socket程序有两种协议类型，一种是用文本描述的，类似HTTP协议，定义字符集，好处是兼容性和调试方便，缺点是解析文本会损耗一些性能；一种是用Code加结构体，定义字节顺序，好处是性能高，缺点是兼容性和调试不方便。这个可以根据应用场景灵活选择，如果您的应用相对稳定，需求变化少，性能要求高，则可以使用Code加结构体的方式。如果您的应用需要不停的扩充功能，但是对性能要求不苛刻，

2013-06-06 23:15:03 6436 1

原创 DELPHI高性能大容量SOCKET并发（六）：协议字符集

UTF-8UTF-8是UNICODE的一种变长字符编码又称万国码，由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。用在网页上可以同一页面显示中文简体繁体及其它语言（如日文，韩文）。使用UTF-8的好处是现在一些手机平台都是使用UTF-8，另外在一些嵌入式平台，如果不支持中文，只支持英文，可以不转换，UTF-8就可

2012-12-18 18:58:08 5781 14

原创 DELPHI高性能大容量SOCKET并发（五）：锁和对象分离

锁和对象一起封装的危险在多线程编写中，绝大多数编码风格喜欢把锁和要访问的对象封装在同一个对象，释放对象的时候也释放锁，这样会造成死锁。我们写一个测试例子，我们创建一个锁，把锁锁住，然后再创建一个线程，一直不停的等待锁返回，然后我们把锁释放，这时线程就死锁，代码如下：定义接口：type TLockObject = class; TLockTestThread = clas

2012-09-16 23:35:20 6860

原创 DELPHI高性能大容量SOCKET并发（四）：粘包、分包、解包

粘包使用TCP长连接就会引入粘包的问题，粘包是指发送方发送的若干包数据到接收方接收时粘成一包，从接收缓冲区看，后一包数据的头紧接着前一包数据的尾。粘包可能由发送方造成，也可能由接收方造成。TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一包数据，造成多个数据包的粘连。如果接收进程不及时接收数据，已收到的数据就放在系统接收缓冲区，用户进程读取数据时就可能同时读到多个数据包。粘

2012-09-05 22:51:59 10313

原创 DELPHI高性能大容量SOCKET并发（三）：接收、发送、缓存

接收完成端口是结合重叠端口一起使用的，在接收数据之前，我们需要投递一个接收请求，使用function WSARecv(s: TSocket; lpBuffers: LPWSABUF; dwBufferCount: DWORD; var lpNumberOfBytesRecvd, lpFlags: DWORD; lpOverlapped: LPWSAOVERLAPPED; lpCompl

2012-08-25 21:21:47 12008 6

原创 DELPHI高性能大容量SOCKET并发（二）：IOCP完成端口控件封装

IOCP完成端口介绍：完成端口模型是Windows平台下SOCKET端口模型最为复杂的一种I/O模型。如果一个应用程序需要同时管理为数众多的套接字，而且希望随着系统内安装的CPU数量的增多，应用程序的性能也可以线性提升，采用完成端口模型，往往可以达到最佳的系统性能。完成端口可以管理成千上万的连接，长连接传文件可以支持5000个以上，长连接命令交互可以支持20000个以上。这么大并发的连

2012-08-19 22:41:09 15549 18

原创 DELPHI高性能大容量SOCKET并发（一）：IOCP完成端口例子介绍

例子主要包括IOCP控件封装、服务端实现、传输协议和日志、控制、SQL查询、上传、下载等协议实现，并包括一些初步的性能测试结果。服务端：界面截图如下：提供服务和桌面方式运行，桌面方式可直接打开程序，方便日常调试，可以使用命令行注册或卸载服务，在CMD中输入D:\DEMO\IOCPDemo\Bin\IOCPDemoSvr.exe -install来注册服务，在CMD输入D:\DE

2012-08-18 22:52:23 34737 141

原创栈和堆

1 栈栈是由操作系统在创建线程的时候，系统自动创建，栈是由顶像下分配的，DELPHI中默认的栈大小是1M，这个可以通过Project->Options->Linker->Max Stack size来改变其大小。栈是线程执行代码的地方，操作系统根据系统调度算法来加载执行的代码，另外栈还存放函数的参数值，局部变量。栈的存取是按4字节偏移，不会根据需要动态增长，因此超出范围会报栈溢出。栈栈底栈顶2 堆我们把在栈之外的分配内存都叫在堆上分配内存，堆是由程序员分配释放。在DELPHI中是用GetMem.inc中

2010-07-15 15:40:00 4817 5

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

SQLDebug_Fan的专栏