【网络协议笔记】第五层:应用层(Application)HTTPS协议简介(10)

李明燮(li_mingxie)

2022-04-27

network

Page content

这一篇整理了WebSocket、FTP、RESTful、SMTP、IMAP、POP等协议。

1.ARP/RARP/ICMP

ARP（Address Resolution Protocol），地址解析协议。

通过IP地址获取MAC地址。

RARP（Reverse Address Resolution Protocol），逆地址解析协议。

使用与ARP相同的报头结构
作用与ARP相反，用于将MAC地址转换为IP地址
后来被BOOTP、DHCP所取代

ICMP（Internet Control Message Protocol），互联网控制消息协议。

IPV4中的ICMP被称作ICMPv4，IPV6中的ICMP则被称作ICMPv6
通常用于返回错误信息，比如TTL值过期，目的不可达
ICMP的错误消息总是包括了源数据并返回给发送者

2.WebSocket

WebSocket是基于TCP的支持全双工通信的应用层协议（全双工：客户端和服务器均可主动发消息给对方）。
在2011年由IETF标准化为RFC_6455，后由RFC_7936补充规范。

WebSocket的应用场景很多：社交订阅、股票基金报价、体育实况更新、多媒体聊天、多玩家游戏等。

Socket是一套网络编程API，几乎所有的网络应用协议（HTTP/FTP/SMTP等）都是基于Socket实现的。
而WebSocket是Web端的一个应用层通信协议。

2.1 HTTP和WebSocket

HTTP请求的特点：通信只能由客户端发起，所以早期很多网站为了实现推送技术，使用的技术都是轮询。

轮询是指由浏览器每隔一段时间（如每秒）向服务器发出HTTP请求，然后服务器返回最新的数据给客户端。
为了能更好的节省服务器资源和带宽，并且能够更实时地进行通讯，HTML5规范中出现了WebSocket协议。

图片备用地址
application

WebSocket和HTTP属于平级关系，都是应用层的协议。其实TCP本身就是支持全双工通信的，只是HTTP的“请求-应答”模式限制了TCP的能力。

WebSocket使用80（ws://）、443（wss://）端口，
可以绕过大多数防火墙的限制（http默认使用80端口，https默认使用443端口）。

与HTTP不同的是，WebSocket需要先建立连接（应用层连接）。
这就使得WebSocket成为一种有状态的协议，之后通信时可以省略部分状态信息。而HTTP请求可能需要在每个请求都额外携带状态信息（如身份认证等）。

2.2 建立连接

WebSocket需要借助HTTP协议来建立连接（也叫作握手，Handshake）。

由客户端（浏览器）主动发出握手请求：

GET /chat HTTP/1.1  
Host: server.example.com  
Upgrade: websocket  
Connection: Upgrade  
Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ==  
Origin: <http://example.com>  
Sec-WebSocket-Protocol: chat, superchat  
Sec-WebSocket-Version: 13

服务器响应：

HTTP/1.1 101 Switching Protocols  
Upgrade: websocket  
Connection: Upgrade  
Sec-WebSocket-Accept: s3pPLMBiTxaQ9kYGzzhZRbK+xOo=  
Sec-WebSocket-Protocol: chat

Connection：必须设置Upgrade，表示客户端希望连接升级。
Upgrade：必须设置websocket，表示希望升级到WebSocket协议。
Sec-WebSocket-Version：表示支持的WebSocket版本，RFC_6455要求使用的版本是13。
Sec-WebSocket-Key：客户端生成的随机字符串（比如例子中的dGhlIHNhbXBsZSBub25jZQ==）。

服务器接收到客户端的Sec-WebSocket-Key后，会进行以下操作：

Sec-WebSocket-Key拼接一个固定的GUID值（258EAFA5-E914-47DA-95CA-C5AB0DC85B11）。
例：dGhlIHNhbXBsZSBub25jZQ==258EAFA5-E914-47DA-95CA-C5AB0DC85B11。
将1的结果进行SHA-1摘要计算，结果：b37a4f2cc0624f1690f64606cf385945b2bec4ea。
将2的结果进行Hex to Base64编码，结果：s3pPLMBiTxaQ9kYGzzhZRbK+xOo=。
将3的结果作为Sec-WebSocket-Accept响应头的值，返回给客户端。

如此操作，可以尽量避免普通HTTP请求被误认为WebSocket协议。

2.3 使用

WebSocket体验和演示：https://www.websocket.org/echo.html
W3C标准化了一套WebSocket API，可以直接使用JS调用。

let ws = new WebSocket('wss://example.com')

3.WebService

WebService（Web服务）是一种跨编程语言和跨操作系统平台的远程调用技术标准。

WebService使用场景举例：

天气预报、手机归属地查询、航班信息查询、物流信息查询等。
比如天气预报，是气象局把自己的服务以WebService形式暴露出来，让第三方程序可以调用这些服务功能（http://www.webxml.com.cn/zh_cn/index.aspx）。

事实上，WebService完全可以用普通的Web API取代（比如HTTP + JSON），现在很多企业的开放平台都是直接采用Web API。

3.1 WebService - 核心概念

SOAP（Simple Object Access Protocol），简单对象访问协议。
很多时候，SOAP = HTTP + XML。WebService使用SOAP协议来封装传递数据。

图片备用地址
application

SOAP其实就是正常的HTTP请求和有规范格式的XML，请求和响应都是XML文件。

WSDL（Web Services Description Language），Web服务描述语言。
一个XML文档，用以描述WebService接口的细节（比如参数、返回值等）。
一般在WebService的URL后面跟上?wsdl获取WSDL信息。
比如：http://ws.webxml.com.cn/WebServices/WeatherWS.asmx?wsdl

4.RESTful

REST（Representatioanl State Transfer），表现层状态转移。

REST是一种互联网软件架构设计风格，定义了一组用于创建Web服务的约束。
符合REST架构的Web服务，称为RESTful Web服务器。

RESTful后面的ful表示形容词，例如wonder -> wonderful 。

实践建议:

URL中使用名词（建议用复数形式），不使用动词。
推荐：/users、/users/6
不推荐：listUsers、/getUser?id=6、/user/list、/user/get?id=6
使用HTTP的方法表达动作：

图片备用地址
application

一个资源连接到其他资源，使用子资源的形式
GET：/users/6/cars/88
POST：/users/8/cars
API版本化
idbeny.com/v1/users
idbeny.com/v2/users/66
返回JSON格式的数据
发生错误时，不要返回200状态码

5.TTPDNS

HTTPDNS是基于HTTP协议向DNS服务器发送域名解析请求。
替代了基于DNS协议向运营商Local DNS发起解析请求的传统方式，可以避免Local DNS造成的域名劫持和跨网访问问题。
常用在移动互联网中（比如Android、iOS开发中）。

图片备用地址
application

市面上已经有现成的解决方案，移动端集成相关的SDK即可使用HTTPDNS服务。

腾讯云：https://cloud.tencent.com/product/httpdns
阿里云：https://help.aliyun.com/product/30100.html

6.FTP

FTP（File Transport Protocol），文件传输协议。
RFC_959定义了此规范，是基于TCP的应用层协议。
在RFC_1738中有定义，FTP的URL格式为：ftp://[user[:password]@]host:[:port]/url-path。

图片备用地址
application

6.1 连接模式

FTP有2种连接模式：主动（Active）和被动（Passive）。
不管是哪种方式，都需要客户端和服务器建立2个连接：

控制连接：用于传输状态信息（指令）
数据连接：用于传输文件和目录信息（数据）

图片备用地址
application

6.1.1 主动模式

主动模式是服务器主动，客户端被动。

图片备用地址
application

客户端打开一个随机的命令端口
端口号大于1024，假设为N。同时连接至服务器的命令端口21（固定）
客户端开始监听N+1数据端口
同时向服务器发送一个Port命令给服务器的命令端口21
此命令告诉服务器，客户端正在监听的数据端口是N+1，并且已准备好从此端口接收数据
服务器打开20号数据端口（固定），并且创建和客户端数据端口（N+1）的连接

6.1.2 被动模式

被动模式是客户端主动，服务器被动。

图片备用地址
application

客户端通过两个随机的端口与服务器建立连接：命令端口N、数据端口N+1。
客户端的命令端口N用于连接服务器的命令端口21（固定）
客户端通过命令端口N发送PASV命令给服务器的命令端口21
服务器打开一个随机的数据端口P，并告知客户端该端口号是P
客户端数据端口N+1发起与服务器数据端口P的连接

7.邮件相关的协议

发邮件使用的协议：
- SMTP（Simple Mail Transfer Protocol），简单邮件传输协议。
  基于TCP，标准参考RFC_5321
  服务器默认使用25端口，SSL/TLS使用465端口
收邮件使用的协议：
- POP（Post Office Protocol），邮局协议。
  基于TCP，最新版是POP3，标准参考RFC_1939
  服务器默认使用110端口，SSL/TLS使用995端口
- IMAP（Internet Message Access Protocol），因特网信息访问协议。
  基于TCP，最新版是IMAP4，标准参考RFC_3501
  服务器默认使用143端口，SSL/TLS使用993端口