一.Varnish概述
1.Varnish 简介
Varnish是一款高性能且开源的反向代理服务器和HTTP加速器，其采用全新的软件体系机构，和现在的硬件体系紧密配合。与传统的squid相比，Varnish具有高性能、速度快、管理更加方便等优点，目前很多大型的网站都开始尝试使用Varnish来代替squid，这便是Varnish迅速发展的最根本的原因。
Varnish的主要特征：
（1）缓存代理位置：可以使用内存也可以使用磁盘；
（2）日志存储：日志存储在内存中；
（3）支持虚拟内存的使用；
（4）有精确的时间管理机制，即缓存的时间属性控制；
（5）状态引擎架构：在不同的引擎上完成对不同的缓存和代理数据进行处理；
（6）缓存管理：以二叉堆管理缓存数据，做到数据的及时清理；
2.Varnish 与 Squid 的对比相同点
- 都是开源软件；
- 都是一个反向代理服务器；
Varnish 的优势
（1）稳定性：Varnish和Squid在完成相同负载的工作时，Squid服务器发生故障的几率要高于Varnish，因为使用Squid需要经常重启；
（2）访问速度更快：Varnish所有缓存的数据都是直接从内存中读取，而Squid是从硬盘中读取；
（3）支持更多的并发连接：因为Varnish的TCP连接和释放的速度比Squid快很多
Varnish 的劣势
（1）Varnish进程一旦重启，缓存数据都会从内存中完全释放，此时所有请求都会发送到后端服务器，在高并发情况下，会给后端服务器造成很大压力；
（2）在Varnish使用中如果使用单个URL的请求通过负载均衡时，则每次请求都会落在不同的Varnish服务器中，造成请求都会到后端服务器；而且同样的秦桂在多台服务器上缓存，也会造成Varnish的缓存资源的浪费，造成性能下降；
Varnish 劣势的解决方案
针对劣势一：在访问量很大的情况下推荐使用 varnish 的内存缓存方式启动，而且后面需要 跟多台 squid/nginx 服务器。主要为了防止前面的 varnish 服 务、服务器被重启的情况下， 大量请求穿透 varnish，这样 squid/nginx 可以就担当第二层 CACHE，而且也弥补了 varnish 缓 存在内存中重启都会释放的问题；
针对劣势二：可以在负载均衡上做 url 哈希，让单个 url 请求固定请求到一台 varnish 服务器 上;
3.Varnish的工作原理
当Varnish服务器收到客户端的请求时，首选检查缓存中是否有数据，如果有，则直接响应客户端；如果没有则向后端服务器请求相应的资源，缓存到Varnish服务器本地，再响应客户端；
根据规则和请求页面的类型选择数据是否需要进行缓存，可以根据请求头中Cache-Contorl判断是否缓存，以及cookis是否有标记，这些功能都可以通过编写配置文件的方式来实现。
4.Varnish简单架构
Varnish分为management进程和child进程
- management进程：对child进程进行管理，同事对VCL配置进行编译，并应用到不同的状态引擎中；
- child进程：生成线程池，负责对用户请求进行处理，并通过hash查找返回用户结果；
child进程生成的常见线程有
- accept线程：接收新的连接请求并响应；
- worker线程：会话，处理请求资源；
- expiry线程：清除缓存中过期的内容；
5.varnish 主要配置部分
- 后端配置：给Varnish添加反向代理服务器节点，最少配置一个；
- ACL配置：给Varnish添加访问控制列表，可以指定这些列表访问或禁止访问；
- probes配置：给Varnish添加探测后端服务器是否正常的规则，方便切换或禁止对应后端服务器；
- directors配置：给Varnish添加负载均衡模式管理多个后端服务器；
- 核心子程序配置：给Varnish添加后端服务器切换，请求缓存、访问控制、错误处理等规则；
6.VCL 中内置预设变量：变量(也叫 object)：
如图
（1）req：客户端请求Varnish服务器时可用的变量；
（2）bereq：Varnish服务器请求后端服务器可用的变量；
（3）beresp：后端服务器响应Varnish服务器请求，并返回结果时，使用的变量；
（4）resp：Varnish服务器响应客户端请求是使用的变量；
（5）obj：高速缓存对象，缓存后端响应请求内容；
（6）now：作用就是返回当前的时间戳；
客户端
Clienet.ip：返回客户端的IP地址
Client.port：获取客户端请求的端口号（在vatnish4.0以后需要调取std模块才能使用）语法为 import std； std.port(client.ip)
Client.identiy 获取客户端标识码，软件在安装过程中会生成一个序列号，用来标识身份
服务器
Server.hostname：服务器主机名
Server.identiy：获取服务器标识码
Server.ip：获取服务器IP地址
Server.prot：获取服务器IP端口号，需要调用std模块
客户端请求req （客户端请求发送的对象）
- Req：整个请求的数据结构
- req.bachend_hint：指定请求后端节点 如gif 给图片服务器
- Req.can_gzip：客户端是否接受gzip传输编码（通常浏览器支持所有压缩格式）
- req.hash_always_miss：是否从缓存中读取数据
- req.hash_ignore_busy： 忽略缓存中忙碌的数据 死锁（如两台varnish服务器在处理过程中共同争抢一个资源造成堵塞，如果不手动停止则会僵持支持僵持下去）
- req.http：对应请求http的header
- req.method ：请求类型或者请求的方式（如gt，post）
- req.proto：客户端请求使用的http协议的版本
- req.restarts：重新启动次数，默认最大值是4（通常用于判断是否访问过服务器）
- req.url：请求的url
- req.xid：唯一id，varnish服务器访问时在头部增加了X-varnish，后面的数字是varnish的id，第一个数据是请求的标识id，第二个数据是缓存的标识id
varnish请求后端服务器（bereq）
- bereq：整个后端请求的数据结构
- bereq.backend：所请求后端节点的配置
- bereq.between_bytes_timeout：从后端每接收一个字节之间的等待时间或者超时时间
- bereq.http：对应发送到后端的http的头部信息
- bereq.method： 发送到后端的请求类型或者请求方式
- bereq.proto：发送到后端的请求的http协议版本
- bereq.retires：相同请求重试计数
- bereq.uncacheable：请求数据没有被缓存，或者请求不缓存
- bereq.url：发送到后端请求的url
- bereq.xid：请求唯一id
后端服务器向varnish返回数据beresq
- Beresp：后端服务器响应数据
- Beresp.backend.ip：后端响应（处理请求数据）服务器的IP地址
- Beresp.backend.name：后端响应服务器的节点名
- Beresp.do_gunzip：默认为false，缓存前解压改对象
- Beresp.grace：设置缓存过期的额外宽限时间
- Beresp.http：响应时http的头部
- Beresp.keep：对象缓存后带保持时间
- Beresp.proto：响应的http版本
- Beresp.reason ：后端服务器返回的http状态信息
- Beresp.status：后端服务器返回的在状态码
- Beresp.storage_hint：指定保存的的特定存储器（内存）
- Beresp.ttl：改对象缓存的剩余时间，指定统一缓存剩余时间
- Beresp,uncacheable：对数据不进行缓存
存储
- Storage.<name>.free_space：存储可用空间（字节数）
- Storage.<name>.used_space：存储剩余时间（字节数）
- Storage.<name>.happy：存储节点状态
- deliver将数据发送给客户端，返回的数据
- fetch从后端获取数据，并将数据缓存到本地
7.特定功能语句
- Ban（expression）：清除指定对象缓存；
- Call(subroutine)：调用子程序；
- Hash_data（input）：根据input的子程序的值生成hash键；
- New（）：创建新的vcl对象，只能在vcl_init 子进程中；
- Return（）：结束当前子程序，并指定继续下一步动作；
- Rollback()：恢复 HTTP 头到原来状态，已经弃用，使用 std.rollback() 代替；
- Synthetic （STRING）：合成器，定义返回给客户端页面和状态码；
- Regsub（str，regex，sub）使用正则表达式替换第一次出现的字符串；
- Regsuball（str，regex,sub）替换所有出现的字符串；
8.varnish请求处理的步骤
如图
varnish请求处理的步骤
Receive 状态（vcl_recv）。也就是请求处理的入口状态，根据 VCL 规则判断该请求应该 pass（vcl_pass）或是 pipe（vcl_pipe），还是进入 lookup（本地查询）。
Lookup 状态。进入该状态后，会在 hash 表中查