背景描述
最近准备测试一下家里的宽带跟linode各个节点的访问速度,准备选一个速度比较好的节点购买,但结果测试后发现,所有节点的速度都是满速,经过抓包分析,发现是长城宽带的大缓存系统造成的,所有流量都被重定向的局域网内的缓存服务器上,所以下载速度异常的快。但这并不符合预期,我们需要测试真实的下载速度。因此,就有了本文探究如何绕过运营商的劫持测试真实速度的过程。
声明
本文所用的方法并不是一个通用的反劫持方法,但提供了一个可行的通用方案,且使用的方法比较繁琐,因为限于手中的设备,知道其原理后,读者可以自行发挥做出一个完整的解决方案。
劫持原理
在访问链路上,运营商劫持http请求(linode的节点测速地址只支持http协议,如果支持了https则运营商就不敢轻易劫持了)分析请求的地址,并进行缓存匹配(据推测,只是根据url部分进行匹配,通过增加随机url参数都无法绕过缓存),如果匹配到则立即返回一个302和缓存地址给客户端,并且关闭连接(发送FIN关闭TCP),但并不与服务器关闭连接。
此时,在客户端抓包可见,服务器(运营商伪造的包)发送了一个302状态码的http响应,并且响应头包含Connection:Close,TCP的flag中包含FIN。过了一段时间,可以收到真正服务器发来的响应,但由于之前客户端已经关闭了TCP,此时真服务器发来的TCP数据将被客户端RESET掉。
由于ISP劫持没有给服务器发送FIN或RST,所以服务器仍不知道链接已经断开,这就给了我们反劫持的机会。
首先,查看前面几个服务器发回来的IP数据帧的TTL值,再对比第5个数据帧发现,TTL值相差很大(图中未截出,可点击下载原始数据),正常情况下一次会话两个端点之间的路由基本差不了太多,所以TTL值基本相同或相近,如果TTL差了10个以上,一定是有问题。其次,查看302跳转的Location,发现IP地址归属于ISP,故这个一定不是服务器返回的。
第9帧开始是服务器发来的正确的响应,但由于TCP链接已经关闭,所以对每个数据帧都返回了一个RST响应。
反劫持思路
既然知道了ISP会返回302,可以直接通过暴力屏蔽302的数据帧,下面的方法过于暴力,因为我们的目标只是跟真实服务器取得联系,并没有其他上网需求,所以302响应数据一律禁掉。
我们手头的工具/设备有:
1. Mac本,没有网线接口
2.Windows本,有网线接口
3. 除正常上网使用的无线路由器(下称路由器2)之外,多余的一个可以充当无线AP的设备(下称路由器1)
4. 树莓派
5. 网线一根
由于Mac系统配置防火墙规则不能使用iptables,其他方法没有具体尝试,有一定的学习成本,故没有直接配在Mac上
Windows的防火墙有点渣,没有深入研究过,尝试过在Windows上装个虚拟机跑linux,发现虚拟机的网卡有点问题,只能使用hostonly模式,linux配上防火墙试了下,好像没有起作用,貌似是因为宿主机收到FIN数据帧之后直接就把后面的数据RESET掉了,估计用nat模式可以,宿主机只做转发并不会处理数据,由于虚拟机的虚拟网卡有点问题,就没再尝试。
下面说说路由器1的作用,其实可以直接用网线连树莓派的,不过Mac没有网口,我也没有转换头,而且测速脚本我是用shell写的,所以Windows上跑还得搞虚拟机,正好有多余的无线路由器,WAN口接到树莓派上刚刚好。
最后,网络的拓扑结构基本就是:
Mac(192.168.10.137)->(wifi:192.168.10.1)路由器1(wan口:169.254.159.199)->(eth0:169.254.159.198)树莓派(wlan0:192.168.1.253)->(192.168.1.1)路由器2(公网IP)
关键的一步,在树莓派上设置防火墙规则,拦截所有302请求(下面命令需要sudo):
1. 开启转发功能:
vi /etc/sysctl.conf
增加net.ipv4.ip_forward=1
并保存
执行sysctl -p /etc/sysctl.conf
2. 增加iptables
iptables -A FORWARD -p tcp -m string --string "302 Found" --algo bm --from 45 --to 80 -j DROP
这个iptables写的有点暴力,将所有TCP数据帧的第45到第80个字节处找到302 Found字符串的数据帧丢弃,这样所有连接路由器1的设备,如果有http协议(https加密了就无法匹配到)返回302状态码的数据帧就会收不到,这样后面真实的http响应数据就会被客户端接收。
总结
本文提供的方法只是针对了特定的需求,对运营商的劫持进行绕过,具体问题可以具体分析,如果运营商劫持的时候,向服务器发送了FIN帧,则此种方法就会无效,或者运营商没有使用302劫持,而是直接返回了结果,并与服务器端断开了链接,那么就只能通过架设一层代理来绕过劫持了,但这并不是我们希望的,我们要测端到端的速度,而不是客户端到代理服务器再到服务器的速度。
长城宽带的本意是建立局域网缓存,减少出口流量,提高网络速度,这样你办个100M的宽带,它们出口不需要多大就能满足,毕竟很多大的数据都在内网缓存着呢(如部分视频网站的视频也会被劫持到缓存服务器上),但这个缓存有时候比较坑,例如源站内容更新,但文件名没有改,这个缓存服务器就一直返回陈旧的内容,会忽略缓存头、链接变化等(根据网友反馈,这种事情经常发生)
所以,建议能开https的尽量都开https吧,但有好处也有坏处,好处是防篡改、更安全,坏处是,没有运营商做的缓存,网站维护者可能会支付更多的流量费用,对于一些不会变的大文件,如视频,可以用http,其他的还是用https比较合适。apk、exe这些容易被篡改成推广的APP、恶意广告程序,视频一般篡改没什么意义,所以有财力的网站全站https;大文件类型的小站(如下载站、视频站),为了节省流量钱可以考虑一些不重要的大文件优先走http并提供md5,同时支持https。