利用树莓派解决长城宽带HTTP302劫持问题

背景描述

最近准备测试一下家里的宽带跟linode各个节点的访问速度,准备选一个速度比较好的节点购买,但结果测试后发现,所有节点的速度都是满速,经过抓包分析,发现是长城宽带的大缓存系统造成的,所有流量都被重定向的局域网内的缓存服务器上,所以下载速度异常的快。但这并不符合预期,我们需要测试真实的下载速度。因此,就有了本文探究如何绕过运营商的劫持测试真实速度的过程。

声明

本文所用的方法并不是一个通用的反劫持方法,但提供了一个可行的通用方案,且使用的方法比较繁琐,因为限于手中的设备,知道其原理后,读者可以自行发挥做出一个完整的解决方案。

劫持原理

在访问链路上,运营商劫持http请求(linode的节点测速地址只支持http协议,如果支持了https则运营商就不敢轻易劫持了)分析请求的地址,并进行缓存匹配(据推测,只是根据url部分进行匹配,通过增加随机url参数都无法绕过缓存),如果匹配到则立即返回一个302和缓存地址给客户端,并且关闭连接(发送FIN关闭TCP),但并不与服务器关闭连接。
此时,在客户端抓包可见,服务器(运营商伪造的包)发送了一个302状态码的http响应,并且响应头包含Connection:Close,TCP的flag中包含FIN。过了一段时间,可以收到真正服务器发来的响应,但由于之前客户端已经关闭了TCP,此时真服务器发来的TCP数据将被客户端RESET掉。
由于ISP劫持没有给服务器发送FIN或RST,所以服务器仍不知道链接已经断开,这就给了我们反劫持的机会。
上图为典型的http302会话劫持图,序号5即是关键劫持包,它是运营商伪造服务器返回的,具体是如何判断的呢?
首先,查看前面几个服务器发回来的IP数据帧的TTL值,再对比第5个数据帧发现,TTL值相差很大(图中未截出,可点击下载原始数据),正常情况下一次会话两个端点之间的路由基本差不了太多,所以TTL值基本相同或相近,如果TTL差了10个以上,一定是有问题。其次,查看302跳转的Location,发现IP地址归属于ISP,故这个一定不是服务器返回的。
第9帧开始是服务器发来的正确的响应,但由于TCP链接已经关闭,所以对每个数据帧都返回了一个RST响应。

反劫持思路

既然知道了ISP会返回302,可以直接通过暴力屏蔽302的数据帧,下面的方法过于暴力,因为我们的目标只是跟真实服务器取得联系,并没有其他上网需求,所以302响应数据一律禁掉。

我们手头的工具/设备有:
1. Mac本,没有网线接口
2.Windows本,有网线接口
3. 除正常上网使用的无线路由器(下称路由器2)之外,多余的一个可以充当无线AP的设备(下称路由器1)
4. 树莓派
5. 网线一根

由于Mac系统配置防火墙规则不能使用iptables,其他方法没有具体尝试,有一定的学习成本,故没有直接配在Mac上
Windows的防火墙有点渣,没有深入研究过,尝试过在Windows上装个虚拟机跑linux,发现虚拟机的网卡有点问题,只能使用hostonly模式,linux配上防火墙试了下,好像没有起作用,貌似是因为宿主机收到FIN数据帧之后直接就把后面的数据RESET掉了,估计用nat模式可以,宿主机只做转发并不会处理数据,由于虚拟机的虚拟网卡有点问题,就没再尝试。
下面说说路由器1的作用,其实可以直接用网线连树莓派的,不过Mac没有网口,我也没有转换头,而且测速脚本我是用shell写的,所以Windows上跑还得搞虚拟机,正好有多余的无线路由器,WAN口接到树莓派上刚刚好。

最后,网络的拓扑结构基本就是:
Mac(192.168.10.137)->(wifi:192.168.10.1)路由器1(wan口:169.254.159.199)->(eth0:169.254.159.198)树莓派(wlan0:192.168.1.253)->(192.168.1.1)路由器2(公网IP)

关键的一步,在树莓派上设置防火墙规则,拦截所有302请求(下面命令需要sudo):
1. 开启转发功能:
vi /etc/sysctl.conf
增加net.ipv4.ip_forward=1并保存
执行sysctl -p /etc/sysctl.conf
2. 增加iptables
iptables -A FORWARD -p tcp -m string --string "302 Found" --algo bm --from 45 --to 80 -j DROP

这个iptables写的有点暴力,将所有TCP数据帧的第45到第80个字节处找到302 Found字符串的数据帧丢弃,这样所有连接路由器1的设备,如果有http协议(https加密了就无法匹配到)返回302状态码的数据帧就会收不到,这样后面真实的http响应数据就会被客户端接收。

总结

本文提供的方法只是针对了特定的需求,对运营商的劫持进行绕过,具体问题可以具体分析,如果运营商劫持的时候,向服务器发送了FIN帧,则此种方法就会无效,或者运营商没有使用302劫持,而是直接返回了结果,并与服务器端断开了链接,那么就只能通过架设一层代理来绕过劫持了,但这并不是我们希望的,我们要测端到端的速度,而不是客户端到代理服务器再到服务器的速度。

长城宽带的本意是建立局域网缓存,减少出口流量,提高网络速度,这样你办个100M的宽带,它们出口不需要多大就能满足,毕竟很多大的数据都在内网缓存着呢(如部分视频网站的视频也会被劫持到缓存服务器上),但这个缓存有时候比较坑,例如源站内容更新,但文件名没有改,这个缓存服务器就一直返回陈旧的内容,会忽略缓存头、链接变化等(根据网友反馈,这种事情经常发生)

所以,建议能开https的尽量都开https吧,但有好处也有坏处,好处是防篡改、更安全,坏处是,没有运营商做的缓存,网站维护者可能会支付更多的流量费用,对于一些不会变的大文件,如视频,可以用http,其他的还是用https比较合适。apk、exe这些容易被篡改成推广的APP、恶意广告程序,视频一般篡改没什么意义,所以有财力的网站全站https;大文件类型的小站(如下载站、视频站),为了节省流量钱可以考虑一些不重要的大文件优先走http并提供md5,同时支持https。

树莓派通过Shadowsocks科学上网方法

本文所有操作的前提是,你在非大陆地区拥有vps服务器并配置好了shadowsocks服务器,或拥有某个shadowsocks服务的账号密码
如何搭建shadowsocks服务器不在本文讨论范围

一、更改软件安装源(非必须)
此操作主要为了下载软件包更快,这里使用阿里云提供的源

$ sudo vi /etc/apt/sources.list

在行前添加#注释掉默认的源
在最后添加两行:
deb http://mirrors.aliyun.com/raspbian/raspbian/ stretch main non-free contrib rpi
deb-src http://mirrors.aliyun.com/raspbian/raspbian/ stretch main non-free contrib rpi
注意上面的stretch对应系统的版本,可以直接在该文件默认源中看到,也可以通过lsb_release -a查看
保存并推出vi

二、安装shadowsocks
方法1:

$ sudo apt-get install shadowsocks

方法2:

$ sudo pip install shadowsocks

两种方法安装的版本可能不同,可选择版本较高的一个来安装
建议在stretch版本上通过apt-get安装,在jessie版本上通过pip安装

三、配置参数

$ sudo vi /etc/shadowsocks/config.json
{
    "server": "代理服务器的IP,如1.2.3.4",
    "server_port": "代理服务器的端口,如8388",
    "local_address": "127.0.0.1", // 本地IP
    "local_port": "1080", // 本地端口
    "password": "密码",
    "timeout": 300,
    "method": "aes-256-cfb", // 加密方式,根据服务器的配置填写
    "fast_open": false,
    "workers": 1
}

注意,如果vi在编辑模式下使用方向键不能移动光标,而是显示成字母,则需要对vi编辑器进行一下配置

$ sudo vi /etc/vim/vimrc.tiny

set compatible改为set nocompatible

退格键无法使用则在上面的文件中添加set backspace=2
保存退出之后,再进入vi编辑器就可以正常使用

四、启动shadowsocks
apt-get方式安装启动方法:

$ sudo /usr/bin/sslocal -c /etc/shadowsocks/config.json -d start

pip方式安装启动方法

$ sudo /usr/local/bin/sslocal -c /etc/shadowsocks/config.json -d start

如果提示-d参数无效的问题,说明shadowsocks版本比较低,尝试通过第二节中的另一种方式安装

五、设置开机启动
sudo权限编辑/etc/rc.local
在最后exit 0的上一行添加sudo /usr/bin/sslocal -c /etc/shadowsocks/config.json -d start
注意不同方式安装的文件位置不同,请将/usr/bin/sslocal用实际的位置替换,可以用which sslocal来查看文件位置

六、使用
1.https://www.switchyomega.com/download.html 下载chrome插件
2.安装插件:需要打开Chromium进入chrome://extensions页面,然后将下载的crx文件拖动到页面中间安装
3.安装成功后会打开插件设置页面,点击左侧导航情景模式的autoswitch,删除原有默认的规则
4.点击导入在线规则列表下添加规则列表按钮
5.列表格式为AutoProxy,规则列表网址https://raw.githubusercontent.com/gfwlist/gfwlist/master/gfwlist.txt
6.点击立即更新情景模式
7.更新成功后在上面的切换规则中默认情景模式和默认规则列表选择proxy,然后点击左侧导航中的应用选项按钮
8.点击左侧导航情景模式下的proxy,代理协议选择socks5、代理服务器为127.0.0.1、端口为1080
9.点击左侧应用选项
10.访问https://www.facebook.com确定是否正常