在Java语言中,传统的Socket编程分为两种实现方式,这两种实现方式也对应着两种不同的传输层协议:TCP协议和UDP协议,但作为互联网中最常用的传输层协议TCP,在使用时却会导致粘包和半包问题,于是为了彻底的解决此问题,便诞生了此篇文章。
什么是TCP协议?
TCP全称是TransmissionControlProtocol(传输控制协议),它由IETF的RFC定义,是一种面向连接的点对点的传输层通信协议。
TCP通过使用序列号和确认消息,从发送节点提供有关传输到目标节点的数据包的传递的信息。TCP确保数据的可靠性,端到端传递,重新排序和重传,直到达到超时条件或接收到数据包的确认为止。
TCP是Internet上最常用的协议,它也是实现HTTP(HTTP1.0/HTTP2.0)通讯的基础,当我们在浏览器中请求网页时,计算机会将TCP数据包发送到Web服务器的地址,要求它将网页返还给我们,Web服务器通过发送TCP数据包流进行响应,然后浏览器将这些数据包缝合在一起以形成网页。
TCP的全部意义在于它的可靠性,它通过对数据包编号来对其进行排序,而且它会通过让服务器将响应发送回浏览器说“已收到”来进行错误检查,因此在传输过程中不会丢失或破坏任何数据。
目前市场上主流的HTTP协议使用的版本是HTTP/1.1,如下图所示:
什么是粘包和半包问题?
粘包问题是指当发送两条消息时,比如发送了ABC和DEF,但另一端接收到的却是ABCD,像这种一次性读取了两条数据的情况就叫做粘包(正常情况应该是一条一条读取的)。
半包问题是指,当发送的消息是ABC时,另一端却接收到的是AB和C两条信息,像这种情况就叫做半包。
为什么会有粘包和半包问题?
这是因为TCP是面向连接的传输协议,TCP传输的数据是以流的形式,而流数据是没有明确的开始结尾边界,所以TCP也没办法判断哪一段流属于一个消息。
粘包的主要原因:
发送方每次写入数据套接字(Socket)缓冲区大小;接收方读取套接字(Socket)缓冲区数据不够及时。半包的主要原因:
发送方每次写入数据套接字(Socket)缓冲区大小;发送的数据大于协议的MTU(MaximumTransmissionUnit,最大传输单元),因此必须拆包。小知识点:什么是缓冲区?
缓冲区又称为缓存,它是内存空间的一部分。也就是说,在内存空间中预留了一定的存储空间,这些存储空间用来缓冲输入或输出的数据,这部分预留的空间就叫做缓冲区。
缓冲区的优势以文件流的写入为例,如果我们不使用缓冲区,那么每次写操作CPU都会和低速存储设备也就是磁盘进行交互,那么整个写入文件的速度就会受制于低速的存储设备(磁盘)。但如果使用缓冲区的话,每次写操作会先将数据保存在高速缓冲区内存上,当缓冲区的数据到达某个阈值之后,再将文件一次性写入到磁盘上。因为内存的写入速度远远大于磁盘的写入速度,所以当有了缓冲区之后,文件的写入速度就被大大提升了。
粘包和半包问题演示
接下来我们用代码来演示一下粘包和半包问题,为了演示的直观性,我会设置两个角色:
服务器端用来接收消息;客户端用来发送一段固定的消息。然后通过打印服务器端接收到的信息来观察粘包和半包问题。
服务器端代码如下:
/***服务器端(只负责接收消息)*/classServSocket{//字节数组的长度privatestaticfinalintBYTE_LENGTH=20;publicstaticvoidmain(String[]args)throwsIOException{//创建Socket服务器ServerSocketserverSocket=newServerSocket();//获取客户端连接SocketclientSocket=serverSocket.accept();//得到客户端发送的流对象try(InputStreaminputStream=clientSocket.getInputStream()){while(true){//循环获取客户端发送的信息byte[]bytes=newbyte[BYTE_LENGTH];//读取客户端发送的信息intcount=inputStream.read(bytes,0,BYTE_LENGTH);if(count0){//成功接收到有效消息并打印System.out.println(接收到客户端的信息是:+newString(bytes));}count=0;}}}}客户端代码如下:
/***客户端(只负责发送消息)*/staticclassClientSocket{publicstaticvoidmain(String[]args)throwsIOException{//创建Socket客户端并尝试连接服务器端Socketsocket=newSocket(.0.0.1,);//发送的消息内容finalStringmessage=Hi,Java.;//使用输出流发送消息try(OutputStreamoutputStream=socket.getOutputStream()){//给服务器端发送10次消息for(inti=0;i10;i++){//发送消息outputStream.write(message.getBytes());}}}}以上程序的通讯结果如下图所示:
通过上述结果我们可以看出,服务器端发生了粘包和半包的问题,因为客户端发送了10次固定的“Hi,Java.”的消息,正常的结果应该是服务器端也接收到了10次固定的消息才对,但现实的结果并非如此。
粘包和半包的解决方案
粘包和半包的解决方案有以下3种:
发送方和接收方规定固定大小的缓冲区,也就是发送和接收都使用固定大小的byte[]数组长度,当字符长度不够时使用空字符弥补;在TCP协议的基础上封装一层数据请求协议,既将数据包封装成数据头(存储数据正文大小)+数据正文的形式,这样在服务端就可以知道每个数据包的具体长度了,知道了发送数据的具体边界之后,就可以解决半包和粘包的问题了;以特殊的字符结尾,比如以“\n”结尾,这样我们就知道结束字符,从而避免了半包和粘包问题(推荐解决方案)。那么接下来我们就来演示一下,以上解决方案的具体代码实现。
解决方案1:固定缓冲区大小
固定缓冲区大小的实现方案,只需要控制服务器端和客户端发送和接收字节的(数组)长度相同即可。
服务器端实现代码如下:
/***服务器端,改进版本一(只负责接收消息)*/staticclassServSocketV1{privatestaticfinalintBYTE_LENGTH=;//字节数组长度(收消息用)publicstaticvoidmain(String[]args)throwsIOException{ServerSocketserverSocket=newServerSocket();//获取到连接SocketclientSocket=serverSocket.accept();try(InputStreaminputStream=clientSocket.getInputStream()){while(true){byte[]bytes=newbyte[BYTE_LENGTH];//读取客户端发送的信息intcount=inputStream.read(bytes,0,BYTE_LENGTH);if(count0){//接收到消息打印System.out.println(接收到客户端的信息是:+newString(bytes).trim());}count=0;}}}}客户端实现代码如下:
/***客户端,改进版一(只负责接收消息)*/staticclassClientSocketV1{privatestaticfinalintBYTE_LENGTH=;//字节长度publicstaticvoidmain(String[]args)throwsIOException{Socketsocket=newSocket(.0.0.1,);finalStringmessage=Hi,Java.;//发送消息try(OutputStreamoutputStream=socket.getOutputStream()){//将数据组装成定长字节数组byte[]bytes=newbyte[BYTE_LENGTH];intidx=0;for(byteb:message.getBytes()){bytes[idx]=b;idx++;}//给服务器端发送10次消息for(inti=0;i10;i++){outputStream.write(bytes,0,BYTE_LENGTH);}}}}以上代码的执行结果如下图所示:
优缺点分析
从以上代码可以看出,虽然这种方式可以解决粘包和半包的问题,但这种固定缓冲区大小的方式增加了不必要的数据传输,因为这种方式当发送的数据比较小时会使用空字符来弥补,所以这种方式就大大的增加了网络传输的负担,所以它也不是最佳的解决方案。
解决方案二:封装请求协议
这种解决方案的实现思路是将请求的数据封装为两部分:数据头+数据正文,在数据头中存储数据正文的大小,当读取的数据小于数据头中的大小时,继续读取数据,直到读取的数据长度等于数据头中的长度时才停止。
因为这种方式可以拿到数据的边界,所以也不会导致粘包和半包的问题,但这种实现方式的编码成本较大也不够优雅,因此不是最佳的实现方案,因此我们这里就略过,直接来看最终的解决方案吧。
解决方案三:特殊字符结尾,按行读取
以特殊字符结尾就可以知道流的边界了,因此也可以用来解决粘包和半包的问题,此实现方案是我们推荐最终解决方案。
这种解决方案的核心是,使用Java中自带的BufferedReader和BufferedWriter,也就是带缓冲区的输入字符流和输出字符流,通过写入的时候加上\n来结尾,读取的时候使用readLine按行来读取数据,这样就知道流的边界了,从而解决了粘包和半包的问题。
服务器端实现代码如下:
/***服务器端,改进版三(只负责收消息)*/staticclassServSocketV3{publicstaticvoidmain(String[]args)throwsIOException{//创建Socket服务器端ServerSocketserverSocket=newServerSocket();//获取客户端连接SocketclientSocket=serverSocket.accept();//使用线程池处理更多的客户端ThreadPoolExecutorthreadPool=newThreadPoolExecutor(,,,TimeUnit.SECONDS,newLinkedBlockingQueue(0));threadPool.submit(()-{//消息处理processMessage(clientSocket);});}/***消息处理*
paramclientSocket*/privatestaticvoidprocessMessage(SocketclientSocket){//获取客户端发送的消息流对象try(BufferedReaderbufferedReader=newBufferedReader(newInputStreamReader(clientSocket.getInputStream()))){while(true){//按行读取客户端发送的消息Stringmsg=bufferedReader.readLine();if(msg!=null){//成功接收到客户端的消息并打印System.out.println(接收到客户端的信息:+msg);}}}catch(IOExceptionioException){ioException.printStackTrace();}}}PS:上述代码使用了线程池来解决多个客户端同时访问服务器端的问题,从而实现了一对多的服务器响应。客户端的实现代码如下:
/***客户端,改进版三(只负责发送消息)*/staticclassClientSocketV3{publicstaticvoidmain(String[]args)throwsIOException{//启动Socket并尝试连接服务器Socketsocket=newSocket(.0.0.1,);finalStringmessage=Hi,Java.;//发送消息try(BufferedWriterbufferedWriter=newBufferedWriter(newOutputStreamWriter(socket.getOutputStream()))){//给服务器端发送10次消息for(inti=0;i10;i++){//注意:结尾的\n不能省略,它表示按行写入bufferedWriter.write(message+\n);//刷新缓冲区(此步骤不能省略)bufferedWriter.flush();}}}}以上代码的执行结果如下图所示:
总结
本文我们讲了TCP粘包和半包问题,粘包是指读取到了两条信息,正常情况下消息应该是一条一条读取的,而半包问题是指读取了一半信息。导致粘包和半包的原因是TCP的传输是以流的形式进行的,而流数据是没有明确的开始和结尾标识的,因此就导致了此问题。
本文我们提供了3种粘包和半包的解决方案,其中最推荐的是使用BufferedReader和BufferedWriter按行来读、写和区分消息,也就是本文的第三种解决方案。
参考鸣谢