【网络通信 -- 直播】IM 学习系列 -- 网络通信协议简介(HTTP 协议 一)

【1】HTTP 简介

HTTP 即超文本传输协议，HTTP 是一个在计算机世界里专门在两点之间传输文字、图片、音频、视频等超文本数据的约定和规范，HTTP 是一个协议，是一种计算机间通信的规范，不存在“单独的实体”，HTTP 不是互联网，HTTP 不是编程语言，HTTP 不是 HTML，注意，HTML 是超文本的载体，是一种标记语言，使用各种标签描述文字、图片、超链接等资源，并且可以嵌入 CSS、JavaScript 等技术实现复杂的动态效果；

HTTP 是协议
第一点，协议必须要有两个或多个参与者，也就是“协”；
第二点，协议是对参与者的一种行为约定和规范，也就是“议”；

HTTP 是传输协议
第一点，HTTP 协议是一个双向协议；
第二点，数据虽然是在 A 和 B 之间传输，但并没有限制只有 A 和 B 这两个角色，允许中间有“中转”或者“接力”；

HTTP 超文本

"文本"（Text）表示 HTTP 传输的不是 TCP/UDP 这些底层协议里被切分的杂乱无章的二进制包，而是完整的、有意义的数据，可以被浏览器、服务器这样的上层应用程序处理;
“超文本”即“超越了普通文本的文本”，它是文字、图片、音频和视频等的混合体，最关键的是含有“超链接”，能够从一个“超文本”跳跃到另一个“超文本”，形成复杂的非线性、网状的结构关系；

【2】HTTP 相关的概念

1. 浏览器本质上是 HTTP 协议中的请求方，使用 HTTP 协议获取网络上的各种资源；
2. Web 服务器是 HTTP 协议中的应答方，是 HTTP 协议里响应请求的主体；
3. CDN(“Content Delivery Network”)即“内容分发网络”，它应用 HTTP 协议里的缓存和代理技术，代替源站响应客户端的请求，
可以缓存源站的数据，让浏览器的请求不用到达源站服务器，直接在“半路”就可以获取响应，如果 CDN 的调度算法很优秀，便可以找到离用户最近的节点，大幅度缩短响应时间，提供网络加速，负载均衡、安全防护、边缘计算、跨运营商网络等功能，能够成倍地“放大”源站服务器的服务能力；
4. “爬虫”(Crawler)是一种可以自动访问 Web 资源的应用程序;
5. HTML 是 HTTP 协议传输的主要内容之一，它描述了超文本页面，用各种“标签”定义文字、图片等资源和排版布局，最终由浏览器“渲染”出可视化页面;HTML 目前有两个主要的标准，HTML4 和 HTML5，广义上的 HTML 通常是指 HTML、JavaScript、CSS 等前端技术的组合，能够实现比传统静态页面更丰富的动态页面；
6. Web Service 是一种由 W3C 定义的应用服务开发规范，使用 client-server 主从架构，通常使用 WSDL(Web服务描述语言，Web Services Description Language) 定义服务接口，使用 HTTP 协议传输 XML(可扩展标记语言) 或 SOAP(简单对象访问协议) 消息，即它是一个基于 Web（HTTP）的服务架构技术，既可以运行在内网，也可以在适当保护后运行在外网；
7. WAF “网络应用防火墙”，它是应用层面的“防火墙”，专门检测 HTTP 流量，是防护 Web 应用的安全技术；

【3】HTTP 相关的协议

URI/URL

URI（Uniform Resource Identifier），统一资源标识符，能够唯一地标记互联网上资源；
URL（Uniform Resource Locator）， 统一资源定位符，即“网址”，是 URI 的一个子集；

http://nginx.org/en/download.html

URI 主要有三个基本的部分构成：协议名，即访问该资源应当使用的协议，在这里是“http”；主机名，即互联网上主机的标记，可以是域名或 IP 地址，在这里是“nginx.org”；路径，即资源在主机上的位置，使用“/”分隔多级目录，在这里是“/en/download.html”；

HTTPS

HTTPS HTTP over SSL/TLS”，即运行在 SSL/TLS 协议上的 HTTP；SSL/TLS 是一个负责加密通信的安全协议，建立在 TCP/IP 之上，所以也是个可靠的传输协议，可以被用作 HTTP 的下层；SSL(“Secure Socket Layer”)由网景公司发明，当发展到 3.0 时被标准化，改名为 TLS(“Transport Layer Security”);

代理

代理(Proxy) 是 HTTP 协议中请求方和应答方中间的一个环节，既可以转发客户端的请求，也可以转发服务器的应答；
代理的种类常见的有：匿名代理，完全“隐匿”了被代理的机器，外界看到的只是代理服务器；透明代理，在传输过程中是“透明开放”的，外界既知道代理，也知道客户端；正向代理，靠近客户端，代表客户端向服务器发送请求；反向代理，靠近服务器端，代表服务器响应客户端的请求；
代理在传输过程中插入了一个“中间层”在该中间层可以做一些处理，比如：负载均衡，把访问请求均匀分散到多台机器，实现访问集群化；内容缓存，暂存上下行的数据，减轻后端的压力；安全防护，隐匿 IP, 使用 WAF 等工具抵御网络攻击，保护被代理的机器；数据处理，提供压缩、加密等额外的功能；

DNS

DNS(Domain Name System)“域名系统” 用有意义的名字来作为 IP 地址的等价替代，DNS 中，“域名”(Domain Name)又称为“主机名”(Host)；
域名的形式
域名是一个有层次的结构，是一串用“.”分隔的多个单词，最右边的被称为“顶级域名”，然后是“二级域名”，层级关系向左依次降低，最左边的是主机名，通常用来表明主机的用途，比如“www”表示提供万维网服务、“mail”表示提供邮件服务，域名本质上还是个名字空间系统，使用多级域名就可以划分出不同的国家、地区、组织、公司、部门，每个域名都是独一无二的，可以作为一种身份的标识；

DNS 架构

DNS 的核心系统是一个三层的树状、分布式服务，基本对应域名的结构：根域名服务器（Root DNS Server），管理顶级域名服务器，返回“com”“net”“cn”等顶级域名服务器的 IP 地址；顶级域名服务器（Top-level DNS Server），管理各自域名下的权威域名服务器，比如 com 顶级域名服务器可以返回 apple.com 域名服务器的 IP 地址；权威域名服务器（Authoritative DNS Server），管理自己域名下主机的 IP 地址，比如 apple.com 权威域名服务器可以返回 www.apple.com 的 IP 地址；

核心 DNS 系统之外，减轻域名解析压力的方式 : 首先，许多大公司、网络运行商都会建立自己的 DNS 服务器，作为用户 DNS 查询的代理，代替用户访问核心 DNS 系统，这些“野生”服务器被称为“非权威域名服务器”，可以缓存之前的查询结果，如果已经有了记录，就无需再向根服务器发起查询，直接返回对应的 IP 地址；其次，操作系统里也会对 DNS 解析结果做缓存，若之前访问过“www.apple.com”，那么下一次在浏览器里再输入这个网址的时候就不会再访问 DNS 而是直接在操作系统里获取对应的 IP 地址；此外，操作系统里还有一个特殊的“主机映射”文件，在 Linux 里是“/etc/hosts”，在 Windows 里是“C:\WINDOWS\system32\drivers\etc\hosts”，如果操作系统在缓存里找不到 DNS 记录，就会找这个文件；

域名解析

主机向本地域名服务器的查询一般都是采用递归查询；
递归查询即如果主机所询问的本地域名服务器不知道被查询的域名的IP地址，那么本地域名服务器就以DNS客户的身份，向其它根域名服务器继续发出查询请求报文(即替主机继续查询)，而不是让主机自己进行下一步查询，递归查询返回的查询结果或者是所要查询的IP地址，或者是报错，表示无法查询到所需的IP地址；
本地域名服务器向根域名服务器的查询的迭代查询；
迭代查询即当根域名服务器收到本地域名服务器发出的迭代查询请求报文时，要么给出所要查询的IP地址，要么告诉本地服务器下一步应当向哪一个域名服务器进行查询，然后本地服务器进行后续的查询；根域名服务器通常是把自己知道的顶级域名服务器的IP地址告诉本地域名服务器，让本地域名服务器再向顶级域名服务器查询，顶级域名服务器在收到本地域名服务器的查询请求后，要么给出所要查询的IP地址，要么告诉本地服务器下一步应当向哪一个权限域名服务器进行查询；最后，知道了所要解析的IP地址或报错，然后把这个结果返回给发起查询的主机；

域名的扩展功能
1. “重定向”，因为域名代替了 IP 地址，所以可以让对外服务的域名不变，而主机的 IP 地址任意变动，当主机有情况需要下线、迁移时，可以更改 DNS 记录，让域名指向其他的机器；
2. 因为域名是一个名字空间，所以可以使用 bind9 等开源软件搭建一个在内部使用的 DNS，作为名字服务器，这样各种内部服务就都用域名来标记，比如数据库服务都用域名“mysql.inner.app”，商品服务都用“goods.inner.app”，发起网络通信时也就不必再写死的 IP 地址，可以直接使用域名，而且这种方式也兼具了“重定向”；
3. 基于域名实现的负载均衡
3.1 因为域名解析可以返回多个 IP 地址，所以一个域名可以对应多台主机，客户端收到多个 IP 地址后，就可以自己使用轮询算法依次向服务器发起请求，实现负载均衡；
3.2 域名解析可以配置内部的策略，返回离客户端最近的主机，或者返回当前服务质量最好的主机，这样在 DNS 端把请求分发到不同的服务器，实现负载均衡；
4. “域名屏蔽”，对域名直接不解析，返回错误，让你无法拿到 IP 地址，也就无法访问网站；
5. “域名劫持”，也叫“域名污染”，你要访问 A 网站，但 DNS 返回 B 网站；

参考致谢
本博客为博主的学习实践总结，并参考了众多博主的博文，在此表示感谢，博主若有不足之处，请批评指正。

【1】透视HTTP协议

【2】chronolaw / http_study

【3】DNS原理总结及其解析过程详解（递归查询+迭代查询）