抓取天猫和淘宝的详情页图片|Golang
taobao.go
package main
import (
"crypto/md5"
"encoding/hex"
"fmt"
"github.com/PuerkitoBio/goquery"
"github.com/hunterhug/go_tool/spider"
"github.com/hunterhug/go_tool/spider/query"
"github.com/hunterhug/go_tool/util"
"regexp"
"strings"
)
func main() {
fmt.Println(`欢迎使用淘宝天猫图片下载小工具,在同级目录写入链接进taobao.txt,运行EXE即可`)
fmt.Println("链接如:tmall.com/item.htm?id=523350171126&skuId=3120562159704,tmall")
fmt.Println("---------------以上详情页中图片会保存在tmall目录-----------------------")
c, e := util.ReadfromFile("./taobao.txt")
if e != nil {
fmt.Println("打开taobao.txt出错")
} else {
urls := strings.Split(string(c), "\n")
for _, url := range urls {
url := strings.Replace(strings.TrimSpace(url), "\r", "", -1)
downlod(url)
}
}
fmt.Println("请手动关闭选框...")
util.Sleep(100)
}
func md55(s string) string {
h := md5.New()
h.Write([]byte(s))
rs := hex.EncodeToString(h.Sum(nil))
return rs
}
func downlod(urlmany string) {
temp := strings.Split(urlmany, ",")
url := temp[0]
filename := util.TodayString(3)
if len(temp) >= 2 {
filename = temp[1]
}
dir := "./" + filename
util.MakeDir(dir)
s, e := spider.NewSpider(nil)
if e != nil {
} else {
s.Url = url
dudu := "detail.tmall.com"
if strings.Contains(url, "item.taobao.com") {
dudu = "item.taobao.com"
}
s.NewHeader("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36", dudu, nil)
content, err := s.Get()
if err != nil {
} else {
//fmt.Println(string(content))
docm, err := query.QueryBytes(content)
if err != nil {
fmt.Println(err.Error())
} else {
//fmt.Println(string(content))
docm.Find("img").Each(func(num int, node *goquery.Selection) {
img, e := node.Attr("src")
if e == false {
img, e = node.Attr("data-src")
}
if e && img != "" {
if strings.Contains(img, ".gif") {
return
}
fmt.Println("原始文件:" + img)
r, _ := regexp.Compile(`([\d]{1,4}x[\d]{1,4})`)
imgdudu := r.FindStringSubmatch(img)
sizes := "720*720"
if len(imgdudu) == 2 {
sizes = imgdudu[1]
}
temp := strings.Replace(img, sizes, "720x720", -1)
filename := md55(temp)
if util.FileExist(dir + "/" + filename + ".jpg") {
fmt.Println("文件存在:" + dir + "/" + filename)
} else {
fmt.Println("下载:" + temp)
s.Url = "http:" + temp
imgsrc, e := s.Get()
if e != nil {
fmt.Println("下载出错" + temp + ":" + e.Error())
return
}
e = util.SaveToFile(dir+"/"+filename+".jpg", imgsrc)
if e == nil {
fmt.Println("成功保存在" + dir + "/" + filename)
}
util.Sleep(2)
fmt.Println("暂停两秒")
}
}
})
}
}
}
}
在源码同级目录写入taobao.txt:
https://detail.tmall.com/item.htm?id=523350171126&skuId=3120562159704,myword
图片将会保存在myword里面
首先安装库
go get -v github.com/PuerkitoBio/goquery
go get -v github.com/hunterhug/go_tool
然后开跑!
go run taobao.go
如果嫌麻烦
请到这里下载打包exe执行文件:
http://pan.baidu.com/s/1jHKUGZG
进入go目录,下载taobao.rar
源码在:
https://github.com/hunterhug/taobao_img
截图如下:
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
抓取天猫和淘宝的详情页图片|Golang的更多相关文章
- 仿淘宝商品详情页上拉弹出新ViewController
新项目就要开始做了,里面有购物那块,就试着先把淘宝商品详情页的效果做了一下. 1.需求 1.第一次上拉时,A视图拉到一定距离将视图B从底部弹出,A视图也向上 2.显示B视图时下拉时,有刷新效果,之后将 ...
- iOS app url scheme跳转到淘宝商品详情页 唤醒app
最近涉及的一个业务,在app内的一个广告,点击打开webView,加载的是一个淘宝商品详情页,效果是打开该webView自动跳转至淘宝对应的页面,同时在自己的app仍然加载页面,点击评论等也同样能跳转 ...
- 第十二篇、OC_仿淘宝商品详情页的翻页
// // GFBProductViewController.m // elmsc // // Created by MAC on 2016/11/26. // Copyright © 2016年 G ...
- android仿京东、淘宝商品详情页上拉查看详情
话不多说,直接上干货,基本就是一个scrollview中嵌套两个scrollview或者webview;关键点事处理好子scrollview和父scrollview的触摸.滑动事件已达到想要的效果.大 ...
- vue实现淘宝商品详情页属性选择功能
方法一是自己想出来的,方法二来自忘记哪里看到的了 不知道是不是你要的效果: 方法一:利用input[type="radio"] css代码: input { display: no ...
- 仿京东淘宝商品详情页属性选择js效果
在网上找了好久发现都不符合要求就自己摸索写了一个,用到了linq.js这个linq to js 扩展,不然用纯JS遍历json查询要死人啊 demo:http://123.207.28.46:8086 ...
- 【Python3 爬虫】14_爬取淘宝上的手机图片
现在我们想要使用爬虫爬取淘宝上的手机图片,那么该如何爬取呢?该做些什么准备工作呢? 首先,我们需要分析网页,先看看网页有哪些规律 打开淘宝网站http://www.taobao.com/ 我们可以看到 ...
- python爬虫爬取京东、淘宝、苏宁上华为P20购买评论
爬虫爬取京东.淘宝.苏宁上华为P20购买评论 1.使用软件 Anaconda3 2.代码截图 三个网站代码大同小异,因此只展示一个 3.结果(部分) 京东 淘宝 苏宁 4.分析 这三个网站上的评论数据 ...
- Vue实现仿淘宝商品详情属性选择的功能
Vue实现仿淘宝商品详情属性选择的功能 先看下效果图:(同个属性内部单选,属性与属性之间可以多选) 主要实现过程: 所使用到的数据类型是(一个大数组里面嵌套了另一个数组)具体格式如下: attrA ...
随机推荐
- Java与线程
导语 我们知道,new一个thread,调用它的start的方法,就可以创建一个线程,并且启动该线程,然后执行该线程需要执行的业务逻辑, 那么run方法是怎么被执行的呢? Java线程和os线程 os ...
- jquery.cookie.js 用法
jquery.cookie.js 用法 一个轻量级的cookie 插件,可以读取.写入.删除 cookie. jquery.cookie.js 的配置 首先包含jQuery的库文件,在后面包含 j ...
- ABAP程序系统字段中英文详解
SY-SUBRC: 系统执行某指令后,表示执行成功与否的变量,’0’ 表示成功SY-DBLNT: 被处理过的记录的笔数 SY-UNAME: 当前使用者登入SAP的USERNAME;SY-DATUM: ...
- 案例分享:电信行业零售业务CRM架构
最近跟一个客户讨论销售领域的移动化需求,谈到了他们的零售业务系统的整体框架,觉得很有分享的必要. 这次聊到的客户是电信行业的巨头,说的是他们的零售业务.电信公司么,卖出去的无非是设备和服务.大体的业务 ...
- ubuntu解决libstdc++.so.6: cannot open shared object file: No such file or directory:问题
解决libstdc++.so.6: cannot open shared object file: No such file or directory:原因在于,在13.10 版本中,ia32_lib ...
- org.apache.http.conn.HttpHostConnectException: Connection to http://localhost refused in android
给Manifest加网络权限<uses-permission android:name="android.permission.INTERNET"/>
- SQL语句的简单使用
首先要先引入libsqlite3.0.tbd框架 DataBaseHandle.h #import <Foundation/Foundation.h> @interface DataBas ...
- OC中NSDictionary和NSSet简单操作
/** * 字典 存放键值对类型的数据 存放数据是无序的 */ // 字典在控制台输出是用{}包括起来的 // NSDictionary 不可变字典 // 1.创建对象 // 初始化方法 NSDic ...
- 基础学习day03---程序结构与控制、函数与数组入门
一.程序结构 1.顺序结构 2.选择结构 3.循环结构 二.顺序结构 程序至上而下逐行执行,一条语句执行完之后继续执行下一条语句,一直到程序的末尾 三.条件选择结构 选择结构是根据条件的成立与否, ...
- iOS程序启动的过程及原理
iOS程序启动的过程及原理 文字部分 先执行main函数,main内部会调用UIApplicationMain函数 UIApplicationMain函数里面做了什么事情??? 1> 创建UIA ...