合并回源请求场景

Nginx的缓存满足了绝大部分的应用场景，当我们的服务面对非常大的流量的时候，如果我们的缓存服务例如nginx出现了一些问题，比如新增加了或者一些nginx宕机了，缓存已经失效了，这些ngixn起来的时候会导致大量的请求穿透nginx，因为当前nginx缓存都是失效的，这样全部的请求打到了上游服务，特别是对一些热点的文件，很多用户访问的是同一个资源，但是因为这个资源突然失效了，这些并发的请求全部打到了上游服务，而导致上游服务一直起不来。Nginx对于这种场景有很多的处理方法。

Nginx是怎么样通过合并回源请求等等方式来减轻上游服务在高峰期并发访问压力的呢？

合并回源请求，减轻峰值流量下的压力

最近使用nginx做缓存，发现当大量客户端访问一个没有cache的文件时，回源的流量非常大，在站源上查看日志也看到确实有并发的请求。这个就是需要改成合并回源，当cache内没有数据的时候，只允许1个请求去站源请求数据，写到本地cache。nginx从1.1.12开始原生支持合并回源了。主要有2个配置项(proxy_cache_lock和proxy_cache_lock_timeout控制). 

Syntax: proxy_cache_lock on | off;
Default: proxy_cache_lock off;
Context: http, server, locationSyntax: proxy_cache_lock_timeout time;
Default: proxy_cache_lock_timeout 5s;
Context: http, server, locationSyntax: proxy_cache_lock_age time;
Default: proxy_cache_lock_age 5s;
Context: http, server, location
是一个请求发挥响应超时时间，到达后再放行一个请求发往上游

合并回源请求：如果是正常的情况下，nginx对某个热点资源没有做缓存还有四个客户端同时访问的话，那么这四个请求全部都打到了上游服务，那么怎么样解决这个问题呢？

可以使用proxy_cahce_lock指令，这个指令默认是关闭的，当我们打开为on的时候，同一时间，仅第一个请求可以发到上游，其他请求要求等待第一个响应返回或者超时以后来使用缓存响应客户端。

如图：第一步，第一个客户端发来的请求到达nginx，第二步，第二个客户端也发来了请求，nginx让第二个客户端请求其在此等待，也不会向第二个客户端发送响应，也不会发送到上游服务。第三步，nginx将第一个请求向上游发送了，而这个时候第三个客户端发来请求nginx告诉其要求再次等待，第四个客户端发来请求也在此等待，第六步上游服务器终于发回来了响应，第七步，先向第一个客户端发送响应，同时由于已经有缓存了，所以会向第二个客户端，第三个客户端，第四个客户端根据缓存发送响应，这就大大的减轻了上游服务的压力。

为了控制这个流程还有两个指令，第一个指令是proxy_cache_lock_timeout，默认是5秒，表示等待第一个请求返回响应的最大时间，也就是说针对的是2，3，4客户端，当2，3，4客户端等待了5秒以后，第一个客户端请求还没有生成响应的缓存，那么2，3，4请求直接同时打向上游服务器。

第二个指令是proxy_cahce_lock_age，第一个请求返回响应的超时时间达到了达到了默认的5秒了，再放行第二个请求，第三个第四个依次等待，依次放行。