转载:R语言rvest包使用
R中有好几个包都可以抓取网页数据,但是rvest + CSS Selector最方便。
通过查看器立刻知道表格数据都在td:nth-child(1),td:nth-child(3)之类的节点中,直接代码提取就行了。
library(rvest)
先看看都有什么
freak <- html_session("http://torrentfreak.com/top-10-most-pirated-movies-of-the-week-130304/")
freak
<session> http://torrentfreak.com/top-10-most-pirated-movies-of-the-week-130304/
Status: 200
Type: text/html; charset=UTF-8
Size: 24983
freak %>% html_nodes("td:nth-child(3)") %>% html_text() %>% .[1:10]
[1] "Silver Linings Playbook "
[2] "The Hobbit: An Unexpected Journey "
[3] "Life of Pi (DVDscr/DVDrip)"
[4] "Argo (DVDscr)"
[5] "Identity Thief "
[6] "Red Dawn "
[7] "Rise Of The Guardians (DVDscr)"
[8] "Django Unchained (DVDscr)"
[9] "Lincoln (DVDscr)"
[10] "Zero Dark Thirty "
freak %>% html_nodes("td:nth-child(1)") %>% html_text() %>% .[2:11]
[1] "1" "2" "3" "4" "5" "6" "7" "8" "9" "10"
freak %>% html_nodes("td:nth-child(4)") %>% html_text() %>% .[1:10]
[1] "7.4 / trailer" "8.2 / trailer" "8.3 / trailer" "8.2 / trailer"
[5] "8.2 / trailer" "5.3 / trailer" "7.5 / trailer" "8.8 / trailer"
[9] "8.2 / trailer" "7.6 / trailer"
freak %>% html_nodes("td:nth-child(4) a[href*='imdb']") %>% html_attr("href") %>% .[1:10]
[1] "http://www.imdb.com/title/tt1045658/"
[2] "http://www.imdb.com/title/tt0903624/"
[3] "http://www.imdb.com/title/tt0454876/"
[4] "http://www.imdb.com/title/tt1024648/"
[5] "http://www.imdb.com/title/tt2024432/"
[6] "http://www.imdb.com/title/tt1234719/"
[7] "http://www.imdb.com/title/tt1446192/"
[8] "http://www.imdb.com/title/tt1853728/"
[9] "http://www.imdb.com/title/tt0443272/"
[10] "http://www.imdb.com/title/tt1790885/?"
#构建数据框
data.frame(movie=freak %>% html_nodes("td:nth-child(3)") %>% html_text() %>% .[1:10],
rank=freak %>% html_nodes("td:nth-child(1)") %>% html_text() %>% .[2:11],
rating=freak %>% html_nodes("td:nth-child(4)") %>% html_text() %>% .[1:10],
imdb.url=freak %>% html_nodes("td:nth child(4) a[href*='imdb']") %>% html_attr("href") %>% .[1:10],stringsAsFactors=FALSE)
movie rank rating imdb.url
1 Silver Linings Playbook 1 7.4 / trailer http://www.imdb.com/title/tt1045658/
2 The Hobbit: An Unexpected Journey 2 8.2 / trailer http://www.imdb.com/title/tt0903624/
3 Life of Pi (DVDscr/DVDrip) 3 8.3 / trailer http://www.imdb.com/title/tt0454876/
4 Argo (DVDscr) 4 8.2 / trailer http://www.imdb.com/title/tt1024648/
5 Identity Thief 5 8.2 / trailer http://www.imdb.com/title/tt2024432/
6 Red Dawn 6 5.3 / trailer http://www.imdb.com/title/tt1234719/
7 Rise Of The Guardians (DVDscr) 7 7.5 / trailer http://www.imdb.com/title/tt1446192/
8 Django Unchained (DVDscr) 8 8.8 / trailer http://www.imdb.com/title/tt1853728/
9 Lincoln (DVDscr) 9 8.2 / trailer http://www.imdb.com/title/tt0443272/
10 Zero Dark Thirty 10 7.6 / trailer http://www.imdb.com/title/tt1790885/?
如果不考虑网址,还有更简单的方式:
freak %>% html_nodes("table") %>% html_table()
[[1]]
Ranking (last week) Movie IMDb Rating / Trailer
1 torrentfreak.com <NA> <NA> <NA>
2 1 (5) Silver Linings Playbook 7.4 / trailer
3 2 (back) The Hobbit: An Unexpected Journey 8.2 / trailer
4 3 (9) Life of Pi (DVDscr/DVDrip) 8.3 / trailer
5 4 (back) Argo (DVDscr) 8.2 / trailer
6 5 (…) Identity Thief 8.2 / trailer
7 6 (1) Red Dawn 5.3 / trailer
8 7 (2) Rise Of The Guardians (DVDscr) 7.5 / trailer
9 8 (4) Django Unchained (DVDscr) 8.8 / trailer
10 9 (6) Lincoln (DVDscr) 8.2 / trailer
11 10 (back) Zero Dark Thirty 7.6 / trailer
转载:R语言rvest包使用的更多相关文章
- R语言rvest包网络爬虫
R语言网络爬虫初学者指南(使用rvest包) 钱亦欣 发表于 今年 06-04 14:50 5228 阅读 作者 SAURAV KAUSHIK 译者 钱亦欣 引言 网上的数据和信息无穷无尽,如 ...
- R语言扩展包dplyr——数据清洗和整理
R语言扩展包dplyr——数据清洗和整理 标签: 数据R语言数据清洗数据整理 2015-01-22 18:04 7357人阅读 评论(0) 收藏 举报 分类: R Programming(11) ...
- R语言-神经网络包RSNNS
code{white-space: pre;} pre:not([class]) { background-color: white; }if (window.hljs && docu ...
- R语言-Knitr包的详细使用说明
R语言-Knitr包的详细使用说明 by 扬眉剑 来自数盟[总舵] 群:321311420 1.相关资料 1:自动化报告-谢益辉 https://github.com/yihui/r-ninja/bl ...
- R语言dplyr包初探
昨天学了一下R语言dplyr包,处理数据框还是很好用的.记录一下免得我忘记了... 先写一篇入门的,以后有空再写一篇详细的用法. #dplyr learning library(dplyr) #fil ...
- R语言 ggplot2包
R语言 ggplot2包的学习 分析数据要做的第一件事情,就是观察它.对于每个变量,哪些值是最常见的?值域是大是小?是否有异常观测? ggplot2图形之基本语法: ggplot2的核心理念是将 ...
- 安装R语言的包的方法
安装R语言的包的方法: 1. 在线安装 在R的控制台,输入类似install.packages("TSA") # 安装 TSA install.packages("TS ...
- R语言 arules包 apriori()函数中文帮助文档(中英文对照)
apriori(arules) apriori()所属R语言包:arules Mining Associations w ...
- Bagging(R语言实现)—包外错误率,多样性测度
1. Bagging Bagging即套袋法,其算法过程如下: 从原始样本集中抽取训练集.每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本(在训练集中,有些样本可能被多次 ...
随机推荐
- tf.unstack()、tf.stack()
tf.unstack 原型: unstack( value, num=None, axis=0, name='unstack' ) 官方解释:https://tensorflow.google.cn/ ...
- Little-endian和Big-endian(小端数据和大端数据)
Little和Big指的是内存地址的大小,end指的是数据的末尾. Little-endian指内存地址低的地方存数据的末尾(即低字节) Big-endian指内存地址高的地方存数据的末尾(即高字节) ...
- 关于元表,self,元方法__index
这是需要仔细分辨的几个概念. 元表:相当于table的隐藏属性. 只有固定的一些方法,如__index,__tostring,__add等,称为元方法. 虽然是固定的,但是任何table都可以作为任何 ...
- 11-st跳舞消耗体力最少
/* 炫舞家 ST 时间限制:3000 ms | 内存限制:65535 KB 难度:3 描述 ...
- spring中配置监听队列的MQ
一.spring中配置监听队列的MQ相关信息注:${}是读取propertites文件的常量,这里忽略.绿色部分配置在接收和发送端都要配置. <bean id="axx" ...
- mybatis框架的架构(图解)
1. mybatis配置 SqlMapConfig.xml,此文件作为mybatis的全局配置文件,配置了mybatis的运行环境等信息. mapper.xml文件即sql映射文件,文件中配置了操作数 ...
- 深入浅出 JMS(三) - ActiveMQ 安全机制
深入浅出 JMS(三) - ActiveMQ 安全机制 一.认证 认证(Authentication):验证某个实体或者用户是否有权限访问受保护资源. MQ 提供两种插件用于权限认证: (一).Sim ...
- 旅游类APP原型模板分享——爱彼迎
这是一款专为游客提供全球范围内短租服务的APP,可以让你不论出门在外或在家附近都能开展探索之旅,并且还可以获取世界各地独特房源.当地体验及好去处等相关信息. 这款APP层级清晰简明,此原型模板所用到的 ...
- opp小节
本章总结 练习题 面向对象三大特性,各有什么用处,说说你的理解. 类的属性和对象的属性有什么区别? 面向过程编程与面向对象编程的区别与应用场景? 类和对象在内存中是如何保存的. 什么是绑定到对象的方法 ...
- Hadoop分布式远程Debug方式
1.进入目录修改配置文件 cd /cloud/hadoop-2.2.0/etc/hadoop vim hadoop-env.sh2.加入内容(文本最后): #远程调试NameNode export H ...