powershell中的两只爬虫
--------------------序--------------------
(PowerShell中的)两只爬虫,两只爬虫,跑地快,爬网页不赖~~~ 一只基于com版的ie,一只基于.net中的WebRequest类,都是老奶奶,不奇怪 。。。 虽然很老了,但爬的也很快 。。。比python简单。。。
powershell 爬虫 spider Invoke-RestMethod Invoke-WebRequest
--------------------概述--------------------
抓取(爬取)网上信息的脚本程序,俗称网络蜘蛛,又名爬虫。
用vbs或powershell调用ie浏览器的com对象,来解析html成为xml对象,从而扣取数据,是一种很老的爬虫办法,也很不错。 这里不多介绍,有感兴趣的去搜些vbs,powershell脚本即可。
用vbs或powershell调用.net中的WebRequest类,来解析html成为xml对象,从而扣取数据,是另一种挺好的办法。
如果你的系统是win8,或者win8以上,或者win7安装了powershell 4.0,5.0,那么 powershell中自带了这样的两个命令,【Invoke-WebRequest】和【Invoke-RestMethod】。
第一个命令返回的是对象,第二个返回的是(整个网页)字符串。
这两个命令有时候会返回乱码,很长一段时间,我认为,是这个命令有解码bug,但后来发现,把结果用其自带的-outfile参数输出到文件之后,编码是正确的。 也就是说,其实是我们不知道怎么解码。只能用写入磁盘的慢方法。
powershell 传教士 原创文章。始于 2016-04-09 允许转载,但必须保留名字和出处,否则追究法律责任
用这个方法写爬虫脚本是最简单的。写入磁盘虽然慢了一点点,但基本不影响我们用之爬数据。
--------------------正文--------------------
用【Invoke-RestMethod】写爬虫脚本太简单了。步骤为:
1 下载文件
2 打开文件,放入大字符串。
3 根据模板匹配字符串,扣出需要的内容。内容可以是行列标准的表格,也可以不是。
关键就是做好模板,和使用模板命令ConvertFrom-String。需要注意的是,这个是ps5.0新增命令,对于win7来说,要安装ps5.0哦。
ConvertFrom-String 命令的详细用法,请看本人拙作帖子:
ConvertFrom-String 命令研究
http://www.cnblogs.com/piapia/p/5089332.html
--------------------爬虫欣赏--------------------
<#
http://www.xicidaili.com/nn/1
http://haodailiip.com
从web页扣取代理服务器的ip端口。(只要ip,端口)
invoke-Request 写入 temp代理001.html,temp代理001.html 读入字符串,convertfrom-string 扣取数据,写入代理001.txt
#> $script:脚本存储路径 = Split-Path -Parent $myinvocation.mycommand.path
$Env:Path+=";$script:脚本存储路径;" $临时文件名 = "temp代理001.html"
$临时文件路径全名 = "$script:脚本存储路径\$临时文件名" $输出文件名 = "代理001.txt"
$输出文件路径全名 = "$script:脚本存储路径\$输出文件名" $网址 = 'http://www.xicidaili.com/nn/1' $模板 =
@'
<tr class="odd">
<td></td>
<td><img src="http://fs.xicidaili.com/images/flag/cn.png" alt="Cn" /></td>
<td>{IP地址*:171.34.189.91}</td>
<td>{端口:8118}</td>
<td>
<a href="/2016-04-07/jiangxi">江西</a>
</td>
<td>高匿</td>
<td>HTTP</td>
<td>
<div title="1.377秒" class="bar">
<div class="bar_inner fast" style="width:88%"> </div>
</div>
</td>
<td>
<div title="0.275秒" class="bar">
<div class="bar_inner fast" style="width:95%"> </div>
</div>
</td>
<td>16-04-07 01:45</td>
</tr> <tr class="">
<td></td>
<td><img src="http://fs.xicidaili.com/images/flag/cn.png" alt="Cn" /></td>
<td>{IP地址*:119.188.94.145}</td>
<td>80</td>
<td>
<a href="/2014-11-02/shandong">山东济南</a>
</td>
<td>高匿</td>
<td>HTTPS</td>
<td>
<div title="6.157秒" class="bar">
<div class="bar_inner medium" style="width:38%"> </div>
</div>
</td>
<td>
<div title="0.36秒" class="bar">
<div class="bar_inner fast" style="width:93%"> </div>
</div>
</td>
<td>16-04-07 01:27</td>
</tr>
'@ Invoke-RestMethod -uri $网址 -OutFile $临时文件路径全名 #PowerShell 爬虫步骤1:下载文件
$临时文件 = Get-Content -raw -LiteralPath $临时文件路径全名 #PowerShell 爬虫步骤2:打开文件放入大字符串
#powershell 传教士 2016-04-09 win10测试通过
$结果 = ConvertFrom-String -TemplateContent $模板 -InputObject $临时文件 #PowerShell 爬虫步骤3:根据模板匹配扣出需要的行列标准内容。关键就是做好模板。
$结果 | Format-Table -AutoSize | Tee-Object -Append -FilePath $输出文件路径全名
--------------------终--------------------
安装 powershell 5.1 for win7-sp1-64
1确保你已经安装了.net 4.5以上。如果没装,直接装.net 4.62即可:
Microsoft .NET Framework 4.62(win10红石自带此版本。其他win版本建议立即安装)
https://www.microsoft.com/zh-cn/download/details.aspx?id=53344
Microsoft .NET Framework 4.62 简体中文语言包
https://www.microsoft.com/zh-cn/download/details.aspx?id=53323
2装ps 5.1:
https://msdn.microsoft.com/en-us/powershell/wmf/5.1/install-configure
汝之老家,他就在这个屯,汝是win屯土生土长的人~~~
虽然家里不咋大,却有bat,有vbs,有powershellllllll
家里养的俩爬虫,誓要把那蟒蛇(python)挤回linux去~~~
引用 转帖 的 powershell 爬虫 相关文章:
http://beanxyz.blog.51cto.com/5570417/1784596
powershell中的两只爬虫的更多相关文章
- Scrapy爬虫框架中的两个流程
下面对比了Scrapy爬虫框架中的两个流程—— ① Scrapy框架的基本运作流程:② Spider或其子类的几个方法的执行流程. 这两个流程是互相联系的,可对比学习. 1 ● Scrapy框架的基本 ...
- PowerShell中的基础数据类型
PowerShell是一个面向对象的语言,在申明变量的时候不强制要求申明数据类型,使用$开头来申明变量即可. 基本数据类型 PowerShell本身是基于.Net开发出来的,所以在.Net中的基本数据 ...
- 使用管道符在PowerShell中进行各种数据操作
最近在培训PowerShell,在讲到Pipeline的时候,对于我这种长期和数据(数据库)打交道的人来说,觉得很实用,所以写此博文,记录一下. 无论是在Linux中写Bash脚本还是在Window上 ...
- PowerShell_零基础自学课程_5_自定义PowerShell环境及Powershell中的基本概念
PowerShell_零基础自学课程_5_自定义PowerShell环境及Powershell中的基本概念 据我个人所知,windows下的cmd shell除了能够通过修改系统参数来对其中的环境变量 ...
- MySQL中的两种临时表
MySQL中的两种临时表 伯乐在线2016-07-06 05:16:52阅读(4556)评论(3) 声明:本文由入驻搜狐公众平台的作者撰写,除搜狐官方账号外,观点仅代表作者本人,不代表搜狐立场.举报 ...
- Linux中的两种守护进程stand alone和xinetd
Linux中的两种守护进程stand alone和xinetd --http://www.cnblogs.com/itech/archive/2010/12/27/1914846.html#top 一 ...
- 洛谷P1518 两只塔姆沃斯牛 The Tamworth Two
P1518 两只塔姆沃斯牛 The Tamworth Two 109通过 184提交 题目提供者该用户不存在 标签USACO 难度普及+/提高 提交 讨论 题解 最新讨论 求数据 题目背景 题目描 ...
- Linq to Entity中连接两个数据库时要注意的问题
Linq to Entity中连接两个数据库时要注意的问题 今天大学同学问了我一个问题,Linq to Entity中连接两个数据库时,报错“指定的 LINQ 表达式包含对与不同上下文关联的查询的引用 ...
- ScrollView中嵌套两个ListView
做的项目中要使用两个ListView在同一个页面上下显示,因为数据源不同,不能通过在Adapter中设置标志位去区分显示,最后只能硬着头皮做一个ScrollView嵌套两个ListView,但按正常情 ...
随机推荐
- 详解 Array.prototype.slice.call(arguments)
首先,slice有两个用法,一个是String.slice,一个是Array.slice,第一个返回的是字符串,第二个返回的是数组 在这里我们看第二个方法 1.在JS里Array是一个类 slice是 ...
- printk函数日志级别的设置【转】
本文转载自: 下面执行cat /proc/sys/kernel/printk 打印出的四个数字分别代表: 控制台日志级别.默认的消息日志级别.最低的控制台日志级别和默认的控制台日志级别 只有当prin ...
- tomcat部署https
在server.xml配置文件中增加证书位置跟密码: <Connector port="443" protocol="org.apache.coyote.http1 ...
- PDO处理大批量数据的入库
<?php //最东端 东经135度2分30秒 //最西端 东经73度40分 //最南端 北纬3度52分 //最北端 北纬53度33分 //转换为度的单位$dbName = 'txhl';//数 ...
- windows进程详解
1:系统必要进程system process 进程文件: [system process] or [system process]进程名称: Windows内存处理系统进程描述: Windows ...
- Iptables防火墙
1 位置 使用vim /usr/sysconfig/iptables 2 启动.关闭.保存 service iptables stop service iptables start service i ...
- dbutils中实现数据的增删改查的方法,反射常用的方法,绝对路径的写法(杂记)
jsp的三个指令为:page,include,taglib... 建立一个jsp文件,建立起绝对路径,使用时,其他jsp文件导入即可 导入方法:<%@ include file="/c ...
- Shell.xaml
<Window x:Class="HelloWorld.Shell" xmlns="http://schemas.microsoft.com/winfx/2006/ ...
- Hadoop笔记HDFS(2)
高级Hadoop MapReduce管理 1 调试部署好的Hadoop的配置 2 运行基准测试检验Hadoop的安装 3 重新利用JVM提升性能 4 容错性 5 调试脚本-分析失败任务原因 6 设置失 ...
- linux&win7双系统安装
linux&win7双系统安装 硬盘大小分配方案 按照顺序来建立分区 /swap 4G ==即交换分区,也是一种文件系统,它的作用是作为Linux的虚拟内存.在Windows下, ...