爬虫模块。

使用ktana来进行url的主动爬取，深度要可选择，默认就2吧
使用gau来被动获取url
将获取的所有url丢到下面的缓存检测模块进行检测，并标记上是否缓存进行分类。以方便下面的缓存逻辑检测模块

缓存检测模块

对同一个url进行3次请求，当三次中出现了如下的响应头的规范就缓存命中

cdn

出现如下响应头时其缓存命中


CDN提供商	缓存状态响应头字段	表示命中的值	响应头示例
Cloudflare	CF-Cache-Status	HIT	CF-Cache-Status: HIT
AWS CloudFront	X-Cache	Hit from cloudfront	X-Cache: Hit from cloudfront
Akamai	X-Cache, Server-Timing	包含HIT的值	X-Cache: TCP_HIT, Server-Timing: cdn-cache; desc=HIT
Fastly	X-Cache, X-Served-By	HIT	X-Cache: HIT, HIT, X-Served-By: cache-hkg17926-HKG
Varnish Cache	X-Cache, X-Cache-Hits	HIT	X-Cache: HIT, X-Cache-Hits: 4
Nginx Proxy Cache	X-Proxy-Cache, X-Cache	HIT	X-Proxy-Cache: HIT
百度云加速	X-Cache	HIT from baiducdn	X-Cache: HIT from baiducdn
腾讯云CDN	X-Cache-Lookup, X-Cache	Hit From Disktank	X-Cache-Lookup: Hit From Disktank
阿里云CDN	X-Cache, Ali-Swift-Global-Savetime	HIT from cdn	X-Cache: HIT from cdn, Ali-Swift-Global-Savetime: 1700000000
七牛云CDN	X-Cache, X-Log	HIT	X-Cache: HIT, X-Log: Qiniu;...
华为云CDN	X-Cache, X-Cache-Lookup	HIT from cache	X-Cache: HIT from cache
网宿CDN	X-Cache	HIT from wangsu	X-Cache: HIT from wangsu
又拍云	X-Cache, X-Upyun-Content-Length	HIT	X-Cache: HIT, X-Upyun-Content-Length: 12345
京东云CDN	X-Cache, X-Cache-Lookup	Hit from JDCDN	X-Cache-Lookup: Hit from JDCDN
百度智能云	X-BD-Cache-Status	HIT	X-BD-Cache-Status: HIT
Google Global Cache	Age, Via	Age > 0	Age: 600, Via: 1.1 google

CDN / 缓存系统	命中标识字段	常见取值	是否命中缓存	示例响应头
Cloudflare	`CF-Cache-Status`	`HIT` / `MISS` / `EXPIRED` / `BYPASS` / `DYNAMIC`	✅ `HIT` 表示命中	`CF-Cache-Status: HIT` `Age: 523`
AWS CloudFront	`X-Cache`	`Hit from cloudfront` / `Miss from cloudfront` / `Error from cloudfront`	✅ `Hit from cloudfront`	`X-Cache: Hit from cloudfront` `Age: 214`
Akamai	`X-Cache`、`Server-Timing`	`TCP_HIT` / `TCP_MISS` / `TCP_REFRESH_HIT` / `TCP_EXPIRED_HIT`	✅ 含 `HIT` 的值均表示命中	`X-Cache: TCP_HIT` `Server-Timing: cdn-cache; desc=HIT`
Fastly	`X-Cache`、`X-Served-By`	`HIT` / `MISS` / `PASS`	✅ `HIT`	`X-Served-By: cache-hkg17926-HKG` `X-Cache: HIT, HIT`
Varnish Cache	`X-Cache`、`X-Cache-Hits`、`Via`	`HIT` / `MISS` / `BYPASS`	✅ `HIT`	`X-Cache: HIT` `X-Cache-Hits: 4` `Via: 1.1 varnish`
Nginx Proxy Cache	`X-Proxy-Cache`、`X-Cache`	`HIT` / `MISS` / `BYPASS`	✅ `HIT`	`X-Proxy-Cache: HIT`
百度云加速（Baidu Cloud CDN）	`X-Cache`	`HIT from baiducdn` / `MISS from baiducdn`	✅ `HIT`	`X-Cache: HIT from baiducdn`
腾讯云 CDN（Tencent Cloud CDN）	`X-Cache-Lookup`、`X-Cache`	`Hit From Disktank` / `Miss From Upstream` / `Bypass`	✅ `Hit`	`X-Cache-Lookup: Hit From Disktank`
阿里云 CDN（Aliyun CDN）	`X-Cache`、`Ali-Swift-Global-Savetime`	`HIT from cdn` / `MISS from cdn`	✅ `HIT`	`X-Cache: HIT from cdn` `Ali-Swift-Global-Savetime: 1700000000`
七牛云 CDN（Qiniu CDN）	`X-Cache`、`X-Log`	`HIT` / `MISS`	✅ `HIT`	`X-Cache: HIT` `X-Log: Qiniu;...`
华为云 CDN（Huawei Cloud CDN）	`X-Cache`、`X-Cache-Lookup`	`HIT from cache` / `MISS from origin`	✅ `HIT`	`X-Cache: HIT from cache`
网宿 CDN（Wangsu CDN）	`X-Cache`	`HIT from wangsu` / `MISS from wangsu`	✅ `HIT`	`X-Cache: HIT from wangsu`
又拍云（UPYUN）	`X-Cache`、`X-Upyun-Content-Length`	`HIT` / `MISS`	✅ `HIT`	`X-Cache: HIT` `X-Upyun-Content-Length: 12345`
京东云 CDN（JD Cloud）	`X-Cache`、`X-Cache-Lookup`	`Hit from JDCDN` / `Miss from Upstream`	✅ `Hit`	`X-Cache-Lookup: Hit from JDCDN`
百度智能云 BOS/CDN	`X-BD-Cache-Status`	`HIT` / `MISS` / `EXPIRED`	✅ `HIT`	`X-BD-Cache-Status: HIT`
Google Global Cache (GGC)	`Age` / `Via`	无特定标志，命中时 `Age` > 0	✅ 有 `Age` 且 > 0	`Age: 600` `Via: 1.1 google`

反向代理

反向代理系统	命中标识字段	可能值	是否命中	示例
Nginx Proxy Cache	`X-Proxy-Cache`	`HIT` / `MISS` / `BYPASS` / `EXPIRED`	✅ `HIT` 表示命中	`X-Proxy-Cache: HIT`
	`X-Cache-Status`（新版）	`HIT` / `MISS` / `BYPASS`	✅ `HIT`	`X-Cache-Status: HIT`
Varnish Cache	`X-Cache` / `X-Cache-Hits` / `Via`	`HIT` / `MISS` / `BYPASS`	✅ `X-Cache: HIT`	`X-Cache: HIT` `Via: 1.1 varnish`
Squid Proxy	`X-Cache` / `X-Cache-Lookup`	`HIT from proxy` / `MISS from proxy`	✅ 包含 `HIT`	`X-Cache: HIT from squid`
Apache Traffic Server (ATS)	`X-Cache` / `X-Cache-Key` / `Via`	`HIT` / `MISS` / `STALE` / `REVALIDATED`	✅ `HIT`	`X-Cache: HIT` `Via: http/1.1 ats (ApacheTrafficServer)`
LiteSpeed / OpenLiteSpeed	`X-LiteSpeed-Cache`	`hit` / `miss` / `no-cache` / `force-recache`	✅ `hit`	`X-LiteSpeed-Cache: hit`
Nginx + FastCGI Cache	`X-FastCGI-Cache`	`HIT` / `MISS` / `BYPASS`	✅ `HIT`	`X-FastCGI-Cache: HIT`

缓存逻辑检测

1.静态文件缓存逻辑

有些服务器会将静态后缀文件设置为缓存。
直接对传入的url添加a.js,a.css等即发送https://xxxxxx/a.js或者http://xxxxxxxx/a.js
当缓存命中时则存在静态文件缓存逻辑

2.分隔符验证

选择一个不可缓存的路径，可以优先查找login这类动态页面，如果爬取的url中没用则随机选择。注意需要这个页面返回200如果非200换一个，直到200
然后对这个url进行如下操作，下面以url为http://xxxxx/login举例（具体url根据实际情况获取）
再url后直接添加一个aa如http://xxxxx/login变为http://xxxxx/loginaa如果两个页面的返回相同则后端做了强制校验换一个路径
当http://xxxxx/login与http://xxxxx/loginaa不同时，使用如下字典来进行分隔符检测

!
"
#
$
%
&
'
(
)
*
+
,
-
.
/
:
;
<
=
>
?
@
[
\
]
^
_
`
{
|
}
~
%21
%22
%23
%24
%25
%26
%27
%28
%29
%2A
%2B
%2C
%2D
%2E
%2F
%3A
%3B
%3C
%3D
%3E
%3F
%40
%5B
%5C
%5D
%5E
%5F
%60
%7B
%7C
%7D
%7E

将这些字符一个个的嵌入http://xxxxxx/xxxx{字典中的分隔符}aa
如果这个url与http://xxxxxx/xxxx返回相同则那个字符即为分隔符

3.静态目录缓存检测

提取出专门存在静态问题的目录，再后面加上不存在文件aaaa如果换成则其存静态目录缓存，如果有多个静态目录就提取多个检测
举例
如果爬虫爬出了如下路径

1
2
3

http://xxxxxx/static/aa.js
http://xxxxxx/static/aa.css
http://xxxxxx/static/aa.txt

那么http://xxxxxx/static/就是静态目录再后面加上aaaaa即http://xxxxxx/static/aaaaa
若缓存则存在静态目录缓存逻辑

4.服务器规范化检测

缓存服务器规范化

../规范化

从爬取的url中获取一个可缓存的url,如果存在静态文件缓存则不找静态文件的路径
如http://xxxxxxx/aaa
如果http://xxxxxxx/a/..%2faaa可缓存则存在缓存服务器规范化

源服务器规范化

提取一个爬取url随便什么。如http://xxxxx/test
访问http://xxxxx/a/..%2ftest
当两个请求的body相同时存在源服务器规范化

出现如下逻辑组合则大概率存在漏洞

静态文件缓存+分隔符

静态目录缓存+缓存服务器规范化

缓存服务器规范化+源服务器不规范化

源服务器规范化，但缓存没有规范化

[*] 扫描完成.
root@VM-4-16-debian:~/cache# go build -o cache-hijacking-scanner
root@VM-4-16-debian:~/cache# ./cache-hijacking-scanner -u https://0a8b007e038b1af1813bb2fe00e20034.web-security-academy.net/ -d 2 -v