Shell curl 和 wget 使用代理IP
Linux Shell 提供两个非常实用的命令来爬取网页,它们分别是 curl 和 wget
curl 和 wget 使用代理
curl 支持 http、https、socks4、socks5
wget 支持 http、https
代理示例:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
#!/bin/bash # # curl 支持 http、https、socks4、socks5 # wget 支持 http、https # # 米扑代理示例: # http://proxy.mimvp.com/demo2.php # # 米扑代理购买: # http://proxy.mimvp.com # # mimvp.com # 2015-11-09 # http代理格式 http_proxy=http://IP:Port # https代理格式 https_proxy=http://IP:Port { 'http' : 'http://120.77.176.179:8888' } curl -m 30 --retry 3 -x http: //120 .77.176.179:8888 http: //proxy .mimvp.com /exist .php # http_proxy wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http: //proxy .mimvp.com /exist .php # http_proxy { 'https' : 'http://46.105.214.133:3128' } curl -m 30 --retry 3 --proxy-insecure -x http: //46 .105.214.133:3128 -k https: //proxy .mimvp.com /exist .php # https_proxy wget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https: //proxy .mimvp.com /exist .php # https_proxy # curl 支持socks { 'socks4' : '101.255.17.145:1080' } curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http: //proxy .mimvp.com /exist .php { 'socks5' : '82.164.233.227:45454' } curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http: //proxy .mimvp.com /exist .php # wget 不支持socks |
wget 配置文件设置代理
1
2
3
4
5
6
7
8
|
vim ~/.wgetrc http_proxy=http: //120 .77.176.179:8888:8080 https_proxy=http: //12 .7.17.17:8888:8080 use_proxy = on wait = 30 wget -T 30 --tries 3 http: //proxy .mimvp.com |
Shell 设置临时局部代理
1
2
3
4
5
6
7
8
9
10
11
12
|
# proxy no auth export http_proxy=http: //120 .77.176.179:8888:8080 export https_proxy=http: //12 .7.17.17:8888:8080 # proxy auth export http_proxy=http: //username :password@120.77.176.179:8888:8080 export https_proxy=http: //username :password@12.7.17.17:8888:8080 # 取消设置 unset http_proxy unset https_proxy |
Shell 设置系统全局代理
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
# 修改 /etc/profile,保存并重启服务器 sudo vim /etc/profile # 所有人有效 或 sudo vim ~/.bashrc # 所有人有效 或 vim ~/.bash_profile # 个人有效 # proxy no auth export http_proxy=http: //120 .77.176.179:8888:8080 export https_proxy=http: //12 .7.17.17:8888:8080 # proxy auth export http_proxy=http: //username :password@120.77.176.179:8888:8080 export https_proxy=http: //username :password@12.7.17.17:8888:8080 source /etc/profile 或 source ~/.bashrc 或 source ~/.bash_profile sudo reboot |
米扑代理示例
米扑代理示例,包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易语言等十多种编程语言或脚本,通过大量的可运行实例,详细讲解了使用代理IP的正确方法,方便网页爬取、数据采集、自动化测试等领域。
米扑代理示例,测试使用的代理IP,全部来自于米扑代理,其覆盖120多个国家,中国34个省市,支持http、https、socks4、socks5等
米扑代理示例官网 :
http://proxy.mimvp.com/demo2.php
参考推荐:
米扑代理之使用示例 (推荐)
mimvp-proxy-demo (GitHub)
Linux 抓取网页实例(shell+awk)
LinuxIP代理筛选系统(shell+proxy)
Shell curl 和 wget 使用代理IP的更多相关文章
- Java中使用多线程、curl及代理IP模拟post提交和get访问
Java中使用多线程.curl及代理IP模拟post提交和get访问 菜鸟,多线程好玩就写着玩,大神可以路过指教,小弟在这受教,谢谢! 更多分享请关注微信公众号:lvxing1788 ~~~~~~ 分 ...
- Java中使用多线程、curl及代理IP模拟post提交和get訪问
Java中使用多线程.curl及代理IP模拟post提交和get訪问 菜鸟,多线程好玩就写着玩.大神能够路过不吝赐教.小弟在这受教.谢谢! 很多其它分享请关注微信公众号:lvxing1788 ~~~~ ...
- curl 做爬虫 用服务器代理ip
有时候会ip会封锁,所以会用一些模拟代理ip进行抓取测试 从网上找了一下代码 function curl_string ($url,$user_agent,$proxy){ $ch = ...
- curl与wget
curl 和wget 区别 使用方法 可参考 curl vs Wget 1.curl是libcurl这个库支持的,wget是一个纯粹的命令行命令.2.curl支持更多的协议.curl supports ...
- linux命令之curl,wget
curl由于可自定义各种请求参数所以在模拟web请求调试网页方面更擅长:wget由于支持ftp和Recursive所以在下载文件方面更擅长.类比的话curl是浏览器,而wget是迅雷9. 在下载上,也 ...
- Wireshark抓包分析/TCP/Http/Https及代理IP的识别
前言 坦白讲,没想好怎样的开头.辗转三年过去了.一切已经变化了许多,一切似乎从没有改变. 前段时间调研了一次代理相关的知识,简单整理一下分享之.如有错误,欢迎指正. 涉及 Proxy IP应用 原理/ ...
- php 使用代理IP进行数据抓取
什么是代理?什么情况下会用到代理IP?代理服务器(Proxy Server),其功能就是代用户去取得网络信息,然后返回给用户.形象的说:它是网络信息的中转站.通过代理IP访问目标站,可以隐藏用户的真实 ...
- curl 与wget的区别
CURL与wget的区别 当想要直接通过linux 命令行下载文件,马上就能想到两个工具:wget 和 CURL.它们有很多一样的特征,可以很轻易的完成一些相同的任务,虽然它们有一些相似的特征,但它们 ...
- Linux 项目 shell 自动获取报告本机IP (1) | 通过shell 自动获取报告本机IP
由于电脑设置静态IP经常出现链接不上网络,动态IP又非常不方便,故有了这个想法并实现 原理: Linux,包含PC机器,树莓派等,通过shell 自动获取报告本机IP | 通过 Mutt+Msmtp ...
随机推荐
- JAVA基础——类和对象
java类与对象学习笔记 一.成员变量和局部变量 (1)定义 1.成员变量 在类中定义,用来描述对象将要有什么.(默认的成员变量值为0) 2.局部变量 在类的方法中定义,在方法中临时保存数据. 演示示 ...
- Nio经典工作方式
public void selector() throws IOException { ByteBuffer buffer = ByteBuffer.allocate(1024); Selector ...
- OJ2236“孤单数”题目报告
题目描述:有2n+1个数,其中有n对数字是成双出现的,有且仅有1个数字只有它自己一个.请你找出这个孤单数. 输入描述: 第一行有且只有一个正整数n(n<=500000) 第二行有2n+1个数ai ...
- 不用EF框架,完成完美实体映射,且便于维护!(AutoMapper,petapoco)
最近,需要搭建一个新项目,在需求分析时确定数据库中需要创建多个存储过程.所以如果还是用原来EF框架生成ADO.net实体模型的话,不利于修改. 主要是解决以下两个问题: 1.比如前端需要一个值,如果存 ...
- Vue.js入学教程
Vue.js是什么Vue.js 是用于构建交互式的 Web 界面的库.Vue.js 提供了 MVVM 数据绑定和一个可组合的组件系统,具有简单.灵活的 API.Vue.js(类似于view)是一套构建 ...
- (转载)Bonding技术指南
原文链接:http://www.wushiqin.com/?post=68 一.什么是网卡绑定及简单原理 网卡绑定也称作"网卡捆绑",就是使用多块物理网卡虚拟成为一块网卡,以提供负 ...
- .net core建站踩坑记录
系统:win10 VS版本:2017 .NET Core 版本: 1.1 零.读取配置文件 参考:http://www.tuicool.com/articles/QfYVBvi 此版本无需添加其他组件 ...
- [随笔]_ELVE_git命令复习
mkdir: XX (创建一个空目录 XX指目录名) pwd: 显示当前目录的路径. git init 把当前的目录变成可以管理的git仓库,生成隐藏.git文件. git add XX 把xx文件添 ...
- P1280 尼克的任务
题目描述 尼克每天上班之前都连接上英特网,接收他的上司发来的邮件,这些邮件包含了尼克主管的部门当天要完成的全部任务,每个任务由一个开始时刻与一个持续时间构成. 尼克的一个工作日为N分钟,从第一分钟开始 ...
- 计算 x y 的最近值
计算xy的最近值. 代码如下: package Day05; import java.util.Arrays; public class FindNearestPoints { public stat ...