代理检测扫描的一些经验

最近要给一个扫描器(Java 写的)添加代理检测的插件。

思路很简单,尝试使用待检测的 IP 和端口作为代理,访问 http://ipinfo.io/ip/ 之类的可以返回用户 IP 的网站。
如果返回的 IP 和自己本机不一样,就判断为代理。

不过也遇到了不少坑。

刚开始直接向端口发送 GET http://ipinfo.io/ip/ HTTP/1.1\r\n\r\n 检查代理,速度虽然很快,但这种方式部分 HTTP 代理不支持,而且显然对 Socks 代理不适用。

后来换成 HttpURLConnection,代码类似:

    String checkUrl = "http://ipinfo.io/ip/";
    Proxy proxy = new Proxy(Proxy.Type.HTTP, addr);
    URL url = new URL(checkUrl);
    uc = (HttpURLConnection)url.openConnection(proxy);
    uc.setConnectTimeout(3000);
    uc.connect();

然后跑了一会儿发现有卡住不动的情况,经小伙伴提醒加上了 uc.setReadTimeout(3000) 解决。
这里 setReadTimeout 的意思就是 "If the timeout expires before there is data available for read, a java.net.SocketTimeoutException is raised"。

搞定超时之后扫了一堆端口,扫出不少代理——然而大部分是用来翻墙的。
以百度为例,223.252.xxx.xxx:12345 是百度公司的 IP,但代理出口 IP 220.130.xxx.xxx 却属于台湾。
怎么判断是不是目标公司的内网代理呢?

如果有百度的外网 IP 段列表的话,直接查查代理出口 IP 在不在列表里就行,然而我们肯定不可能有完整的 IP 列表。去 https://www.ipip.net/ 查出口 IP 是不是属于百度的?很多都查不出来。

于是只能采取迂回的办法,如果出口 IP 和检查的 IP 是一样的,那肯定是内网代理,级别定为高危。如果不一样,那可能是用来翻墙的代理,调低危险级别。

最后上线扫描时又出了个问题,代理扫描器还是卡住了。已经设置超时了为啥也会卡住?

查看 log 怀疑是类似 Slowloris DOS 的情况。比如检查的端口返回了畸形的 HTTP Header,或是一直发送数据,但每次只发几个字节,维持 HTTP 连接,使 HttpURLConnection 无法关闭。

但这种情况可能性不大,查了下发现有人提到过在使用代理的情况下 setConnectTimeout 没用,可是至今没有人解答。

找出造成扫描器卡住的 IP 在本地测试却没问题,给其他小伙伴测试了下也一切正常,想到扫描器环境用的是 OpenJDK 1.6,最终只能猜测是 OpenJDK 的 bug。

纠结半天后决定把 HttpURLConnection 换成 HttpClient,HttpClient 想要支持 SOCKS 代理的话要重写一下 SOCKS 工厂类:

public static String connectSocksProxy(String checkHost, String proxyHost, int proxyPort, int timeout) throws Exception{
        String result;
        Registry<ConnectionSocketFactory> reg = RegistryBuilder.<ConnectionSocketFactory>create()
                .register("http", new MyConnectionSocketFactory()).build();
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager(reg);
        CloseableHttpClient httpclient = HttpClients.custom().setConnectionManager(cm).build();
        try {
            InetSocketAddress socksaddr = new InetSocketAddress(proxyHost, proxyPort);
            RequestConfig config = RequestConfig.custom().setSocketTimeout(timeout).setConnectTimeout(timeout)
                    .setConnectionRequestTimeout(timeout).build();
            HttpClientContext context = HttpClientContext.create();
            context.setAttribute("socks.address", socksaddr);
            context.setRequestConfig(config);

            HttpHost target = new HttpHost(checkHost, 80, "http");
            HttpGet request = new HttpGet("/ip/");

            logger.info("Executing request " + request + " to " + target + " via SOCKS proxy " + socksaddr);

            result = getResponse(httpclient, target, request, context);
        } finally {
            httpclient.close();
        }
        return result;
    }

    static class MyConnectionSocketFactory extends PlainConnectionSocketFactory {
        @Override
        public Socket createSocket(final HttpContext context) throws IOException {
            InetSocketAddress socksaddr = (InetSocketAddress) context.getAttribute("socks.address");
            Proxy proxy = new Proxy(Proxy.Type.SOCKS, socksaddr);
            return new Socket(proxy);
        }

        @Override
        public Socket connectSocket(int connectTimeout, Socket socket, HttpHost host, InetSocketAddress remoteAddress,
                                    InetSocketAddress localAddress, HttpContext context) throws IOException {
            // Convert address to unresolved
            InetSocketAddress unresolvedRemote = InetSocketAddress
                    .createUnresolved(host.getHostName(), remoteAddress.getPort());
            return super.connectSocket(connectTimeout, socket, host, unresolvedRemote, localAddress, context);
        }
    }

总结:人生苦短,快用 Python …


为您推荐了相关的技术文章:

  1. 定时炸弹 - MQ 代理中危险的序列化数据
  2. VRouter: 一个虚拟路由器, 旨在实现 OS X/macOS 上的透明代理
  3. Rasp 技术介绍与实现
  4. SSTap支持SS/SSR全局代理,配置简单,愉快的玩游戏 - 教程资源|软件 - 如有乐享
  5. wyproxy - HTTP及HTTPS及Socks5代理服务器 相关介绍、文档、教程 - OpenDigg

原文链接: 0x0d.im