Golang 网络爬虫框架gocolly/colly 三
Golang 网络爬虫框架gocolly/colly 三
熟悉了《Golang 网络爬虫框架gocolly/colly一》和《Golang 网络爬虫框架gocolly/colly二》之后就可以在网络上爬取大部分数据了。本文接下来将爬取中证指数有限公司提供的行业市盈率。（http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio）
定义数据结构体，
//证监会行业市盈率
type ZhjhHyShyl struct {
Hydm string `json:"行业代码"`
Hymc string `json:"行业名称"`
Zxsj *float64 `json:"最新数据"`
Gpjs int `json:"股票家数"`
Ksjs int `json:"亏损家数"`
Jygy *float64 `json:"近一个月"`
Jsgy *float64 `json:"近三个月"`
Jlgy *float64 `json:"近六个月"`
Jyn *float64 `json:"近一年"`
Zhy []*ZhjhHyShyl `json:"细分行业"`
}
接下来为gocolly调用准备，将用户代理设置为Chrome浏览器，该值可以通过Fiddler工具查看
c.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299"
还可以利用Fiddler设置更多的Request Header，将爬虫工具伪装成浏览器。
接下来F12调用浏览器调试器查看目标数据的元素，拷贝jQuery选择器，然后改成相对路径。
完成所有的数据抓取代码:
package main
import (
"encoding/json"
"fmt"
"log"
"strconv"
"strings"
"github.com/PuerkitoBio/goquery"
"github.com/gocolly/colly"
)
//证监会行业市盈率
type ZhjhHyShyl struct {
Hydm string `json:"行业代码"`
Hymc string `json:"行业名称"`
Zxsj *float64 `json:"最新数据"`
Gpjs int `json:"股票家数"`
Ksjs int `json:"亏损家数"`
Jygy *float64 `json:"近一个月"`
Jsgy *float64 `json:"近三个月"`
Jlgy *float64 `json:"近六个月"`
Jyn *float64 `json:"近一年"`
Zhy []*ZhjhHyShyl `json:"细分行业"`
}
func main() {
var err error
c := colly.NewCollector()
c.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299"
zjhHyShyl := make([]*ZhjhHyShyl, 0)
c.OnRequest(func(r *colly.Request) {
fmt.Printf("%+v\r\n%+v\r\n", *r, *(r.Headers))
})
c.OnHTML("td>table.list-div-table>tbody>tr", func(e *colly.HTMLElement) {
hyShy := ZhjhHyShyl{
Hydm: e.ChildText("td:first-child"),
Hymc: e.ChildText("td:nth-child(2)"),
}
zxsj, err := strconv.ParseFloat(e.ChildText("td:nth-child(3)"), 64)
if err == nil {
hyShy.Zxsj = &zxsj
}
gpjs, err := strconv.ParseInt(e.ChildText("td:nth-child(4)"), 10, 32)
if err == nil {
hyShy.Gpjs = int(gpjs)
}
ksjs, err := strconv.ParseInt(e.ChildText("td:nth-child(5)"), 10, 32)
if err == nil {
hyShy.Ksjs = int(ksjs)
}
jygy, err := strconv.ParseFloat(e.ChildText("td:nth-child(6)"), 64)
if err == nil {
hyShy.Jygy = &jygy
}
jsgy, err := strconv.ParseFloat(e.ChildText("td:nth-child(7)"), 64)
if err == nil {
hyShy.Jsgy = &jsgy
}
jlgy, err := strconv.ParseFloat(e.ChildText("td:nth-child(8)"), 64)
if err == nil {
hyShy.Jlgy = &jlgy
}
jyn, err := strconv.ParseFloat(e.ChildText("td:nth-child(9)"), 64)
if err == nil {
hyShy.Jyn = &jyn
}
zjhHyShyl = append(zjhHyShyl, &hyShy)
hyShy.Zhy = make([]*ZhjhHyShyl, 0)
e.DOM.Parent().Parent().Next().Find("table.list-div-table>tbody>tr").Each(func(_ int, s *goquery.Selection) {
zhy := ZhjhHyShyl{
Hydm: strings.Trim(s.Find("td:nth-child(1)").Text(), "\r\n\t "),
Hymc: strings.Trim(s.Find("td:nth-child(2)").Text(), "\r\n\t "),
}
zxsj, err := strconv.ParseFloat(strings.Trim(s.Find("td:nth-child(3)").Text(), "\r\n\t "), 64)
if err == nil {
zhy.Zxsj = &zxsj
}
gpjs, err := strconv.ParseInt(strings.Trim(s.Find("td:nth-child(4)").Text(), "\r\n\t "), 10, 32)
if err == nil {
zhy.Gpjs = int(gpjs)
}
ksjs, err := strconv.ParseInt(strings.Trim(s.Find("td:nth-child(5)").Text(), "\r\n\t "), 10, 32)
if err == nil {
zhy.Ksjs = int(ksjs)
}
jygy, err := strconv.ParseFloat(strings.Trim(s.Find("td:nth-child(6)").Text(), "\r\n\t "), 64)
if err == nil {
zhy.Jygy = &jygy
}
jsgy, err := strconv.ParseFloat(strings.Trim(s.Find("td:nth-child(7)").Text(), "\r\n\t "), 64)
if err == nil {
zhy.Jsgy = &jsgy
}
jlgy, err := strconv.ParseFloat(strings.Trim(s.Find("td:nth-child(8)").Text(), "\r\n\t "), 64)
if err == nil {
zhy.Jlgy = &jlgy
}
jyn, err := strconv.ParseFloat(strings.Trim(s.Find("td:nth-child(9)").Text(), "\r\n\t "), 64)
if err == nil {
zhy.Jyn = &jyn
}
hyShy.Zhy = append(hyShy.Zhy, &zhy)
})
})
c.OnScraped(func(_ *colly.Response) {
bData, _ := json.MarshalIndent(zjhHyShyl, "", "\t")
fmt.Println(string(bData))
})
err = c.Visit("http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio?date=2017-12-27&type=zjh1")
if err != nil {
log.Fatal(err)
}
}
运行后的部分结果：
{
"行业代码": "D",
"行业名称": "电力、热力、燃气及水的生产和供应业",
"最新数据": 20.12,
"股票家数": 107,
"亏损家数": 5,
"近一个月": 19.51,
"近三个月": 19.7,
"近六个月": 19.87,
"近一年": 18.9,
"细分行业": [
{
"行业代码": "44",
"行业名称": "电力、热力生产和供应业",
"最新数据": 18.75,
"股票家数": 70,
"亏损家数": 3,
"近一个月": 18.28,
"近三个月": 18.43,
"近六个月": 18.55,
"近一年": 17.44,
"细分行业": null
},
{
"行业代码": "45",
"行业名称": "燃气生产和供应业",
"最新数据": 28.4,
"股票家数": 22,
"亏损家数": 2,
"近一个月": 25.71,
"近三个月": 25.33,
"近六个月": 25.38,
"近一年": 27.24,
"细分行业": null
},
{
"行业代码": "46",
"行业名称": "水的生产和供应业",
"最新数据": 27.78,
"股票家数": 15,
"亏损家数": 0,
"近一个月": 27.88,
"近三个月": 29.33,
"近六个月": 30.56,
"近一年": 29.64,
"细分行业": null
}
]
},
转载请注明出处：http://www.cnblogs.com/majianguo/p/8150060.html
Golang 网络爬虫框架gocolly/colly 三的更多相关文章
- Golang 网络爬虫框架gocolly/colly 四
Golang 网络爬虫框架gocolly/colly 四 爬虫靠演技,表演得越像浏览器,抓取数据越容易,这是我多年爬虫经验的感悟.回顾下个人的爬虫经历,共分三个阶段:第一阶段,09年左右开始接触爬虫, ...
- Golang 网络爬虫框架gocolly/colly 五 获取动态数据
Golang 网络爬虫框架gocolly/colly 五 获取动态数据 gcocolly+goquery可以非常好地抓取HTML页面中的数据,但碰到页面是由Javascript动态生成时,用goque ...
- Golang 网络爬虫框架gocolly/colly 二 jQuery selector
Golang 网络爬虫框架gocolly/colly 二 jQuery selector colly框架依赖goquery库,goquery将jQuery的语法和特性引入到了go语言中.如果要灵活自如 ...
- Golang 网络爬虫框架gocolly/colly 一
Golang 网络爬虫框架gocolly/colly 一 gocolly是用go实现的网络爬虫框架,目前在github上具有3400+星,名列go版爬虫程序榜首.gocolly快速优雅,在单核上每秒可 ...
- 试验一下Golang 网络爬虫框架gocolly/colly
参考:http://www.cnblogs.com/majianguo/p/8186429.html 框架源码在 github.com/gocolly/colly 代码如下(github源码中的dem ...
- 网络爬虫框架Scrapy简介
作者: 黄进(QQ:7149101) 一. 网络爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本:它是一个自动提取网页的程序,它为搜索引擎从万维 ...
- [原创]一款基于Reactor线程模型的java网络爬虫框架
AJSprider 概述 AJSprider是笔者基于Reactor线程模式+Jsoup+HttpClient封装的一款轻量级java多线程网络爬虫框架,简单上手,小白也能玩爬虫, 使用本框架,只需要 ...
- 基于java的网络爬虫框架(实现京东数据的爬取，并将插入数据库)
原文地址http://blog.csdn.net/qy20115549/article/details/52203722 本文为原创博客,仅供技术学习使用.未经允许,禁止将其复制下来上传到百度文库等平 ...
- Scrapy （网络爬虫框架）入门
一.Scrapy 简介: Scrapy是用纯Python实现一个为了爬取网站数据.提取结构性数据而编写的应用框架,Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado) ...
随机推荐
- 正则表达式——Java程序员懂你
正则表达式 关键字:正则表达式,Pattern,Matcher,字符串方法,split,replace 前文书立下了一个flag,这里要把它完成,就是正则表达式,它是一个工具,是很早就存在于标准Uni ...
- 实践作业2：黑盒测试实践——选择并下载测试工具 Day 2
1.选择工具为Katalon Studio 基于 Selenium 和 Appium 框架,Katalon Studio隐藏幕后的所有技术复杂性,并提供友好的用户界面与手动模式(用户可以拖放,选择关键 ...
- mysql 打开慢查询日志
打开mysql的配置文件 my.ini或是my.cnf找到节点[mysqld]下添加下面这两行(默认可能不带这两行,直接手敲即可) [AppleScript] 纯文本查看 复制代码 ? 1 2 3 ...
- 如何在PHP7中安装mysql的扩展
相对与PHP5,PHP7的最大变化之一是移除了mysql扩展,推荐使用mysqli或者pdo_mysql,实际上在PHP5.5开始,PHP就着手开始准备弃用mysql扩展,如果你使用mysql扩展,可 ...
- phpcms的验证码替换 及 phpcms实现全站搜索功能
在使用phpcms替换网页的时候,除了正常的替换栏目.内容页等,其他的什么验证码啦,提交表单了,搜索功能了,这些在替换的时候可能会对一些默认文件有一些小小 的改变 下面就是自己在失败中成功的过程,最后 ...
- 用python的requests第三方模块抓取王者荣耀所有英雄的皮肤
本文使用python的第三方模块requests爬取王者荣耀所有英雄的图片,并将图片按每个英雄为一个目录存入文件夹中,方便用作桌面壁纸 下面时具体的代码,已通过python3.6测试,可以成功运行: ...
- OpenXml读取word内容(三）
内容和表格内容一起读: word内容: 代码: public static void ReadWordByOpenXml(string path) { using (WordprocessingDoc ...
- 使用django UWSGI 出现 Bad Request (400)
使用 Nginx + Django+UWSGI 部署机器时,一直出现 Debugging Apache/Django/WSGI Bad Bad Request (400) 错误 最后发现问题是 Dja ...
- 两个linux之间拷贝文件及文件夹
Linux为我们提供了两个用于文件copy的命令.一个是cp,一个是scp,可是他们略有不同,cp 主要是用于在同一台电脑上,在不同的文件夹之间来回copy文件 scp 主要是在不同的Linux系统之 ...
- EventBus在Android中的简单使用
EventBus是一个方便与Android中各组件通信的开源框架,开源地址;https://github.com/greenrobot/EventBus.EventBus功能非常强大 ,今天在做一个功 ...