在python中,正常的抓取数据直接使用urllib2 这个模块: import urllib2 url = 'http://fanyi.baidu.com/' stream = urllib2.urlopen(url) cont = stream.read() print cont 如果要走http代理的话,我们也可以使用urllib2,不需要引用别的模块: import urllib2 url = 'https://clients5.google.com/pagead/drt/dn/dn.j…

使用 mitmproxy + python 做拦截代理   本文是一个较为完整的 mitmproxy 教程,侧重于介绍如何开发拦截脚本,帮助读者能够快速得到一个自定义的代理工具. 本文假设读者有基本的 python 知识,且已经安装好了一个 python 3 开发环境.如果你对 nodejs 的熟悉程度大于对 python,可移步到 anyproxy,anyproxy 的功能与 mitmproxy 基本一致,但使用 js 编写定制脚本.除此之外我就不知道有什么其他类似的工具了,如果你知道,欢迎评…

原文:SOCKS代理:从***到内网漫游 本文原创作者:tahf,本文属FreeBuf原创奖励计划,未经许可禁止转载 之前在Freebuf上学习过很多大牛写的关于Tunnel.SOCKS代理.***等文章,很受启发.作为一个小白,近期心血来潮,搜集并测试了一些Windows平台下的SOCKS代理工具,下面我想用自己简单搭建的一套模拟环境来展示SOCKS代理在内网漫游时的使用姿势并推荐几款Windows平台下实用的SOCKS代理工具.花了不少时间在制图上^0^. 0×00 引言 很久很久以前,突然…

环境:Ubuntu 15.10 64bit,Steam:built:May 10 2016 需要的工具:ssh/shadowsocks等socks5代理,tsocks -------------------------------------------------------------------------------------------------------- Steam是不支持代理设置的,所以需要用其他办法让Steam使用代理. 1.开socks代理,这个就不介绍了,我使用的sh…

早就想总结一下这部分内容了,总是有其他事情卡住,一直拖到现在 内网中有很多边界设备,比如防火墙.这种边界设备会控制内部主机的对外连接,一般会仅允许某些种类的端口开放或某种数据流量出入 这就意味着我们只能通过有限的选择,来绕过防火墙限制,与目标内网中的机器通信,这就需要隧道了,外观表现为各种端口转发连接,深层次还是隧道的思想 一般按照OSI模型也把隧道按照不同层的协议划分为网络层隧道.传输层隧道.应用层隧道,按部就班(老套路了) 本文只做思路总结,比较简单(懒)没啥演示的空间....... 如果有…

redsocks 需要手动下载编译.前置需求为libevent组件,当然gcc什么的肯定是必须的. 获取源码 git clone https://github.com/darkk/redsocks 安装 libevent 组件 centos 下 yum install libevent libevent-devel  -y 编译完,拷贝到/sbin 目录下,修改配置文件 vim /etc/redsocks/redsocks.conf base{ log_debug = on; log_info…

安装Privoxy 打开终端安装privoxy来实现这里我是通过brew来进行的安装 brew install privoxy 看到这行已经安装成功 ==> Caveats To have launchd start privoxy at login: ln -sfv /usr/local/opt/privoxy/*.plist ~/Library/LaunchAgents Then to load privoxy now: launchctl load ~/Library/LaunchAgen…

 ssh -L 219.143.16.157:58080:172.21.163.32:8080 用户名@localhost -p 10142  在 219.143.16.157机器执行   将ssh隧道打通 将172.21.163.32:8080 映射到本机58080上 1.用ssh做正向连接 啥叫正向连接?就是client连上server,然后把server能访问的机器地址和端口(当然也包括server自己)镜像到client的端口上. 命令: ssh -L [客户端IP或省略]:[客户端端口…

源程序 1.Winet API 支持使用IE代理.或者不使用代理.或者使用自定义代理三种方式. 2.使用自定义代理的话,支持HTTP代理,SOCKS代理,但是SOCKS代理不知支持用户名密码,HTTP代理支持 3.这里写了一个使用Winet API写的测试程序,测试Winet API对各种代理的支持,截图如下: 4.下面是程序源码: void GetLastErrorMessage(DWORD dwError, LPTSTR lpBuffer, DWORD nSize) { if (lpBuff…

本文描述http client使用socks代理过程中需要注意的几个方面:1,socks5支持用户密码授权:2,支持https:3,支持让代理服务器解析DNS: 使用代理创建Socket 从原理上来看,不管用什么http客户端(httpclient,okhttp),最终都要转换到java.net.Socket的创建上去,看到代码: package java.net; public Socket(Proxy proxy) { ... } 这是JDK中对网络请求使用Socks代理的入口方法.(htt…