taobao.go

package main

import (
    "crypto/md5"
    "encoding/hex"
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "github.com/hunterhug/go_tool/spider"
    "github.com/hunterhug/go_tool/spider/query"
    "github.com/hunterhug/go_tool/util"
    "regexp"
    "strings"
)

func main() {
    fmt.Println(`欢迎使用淘宝天猫图片下载小工具,在同级目录写入链接进taobao.txt,运行EXE即可`)
    fmt.Println("链接如:tmall.com/item.htm?id=523350171126&skuId=3120562159704,tmall")
    fmt.Println("---------------以上详情页中图片会保存在tmall目录-----------------------")
    c, e := util.ReadfromFile("./taobao.txt")
    if e != nil {
        fmt.Println("打开taobao.txt出错")
    } else {
        urls := strings.Split(string(c), "\n")
        for _, url := range urls {
            url := strings.Replace(strings.TrimSpace(url), "\r", "", -1)
            downlod(url)
        }

    }
    fmt.Println("请手动关闭选框...")
    util.Sleep(100)
}

func md55(s string) string {
    h := md5.New()
    h.Write([]byte(s))
    rs := hex.EncodeToString(h.Sum(nil))
    return rs
}

func downlod(urlmany string) {
    temp := strings.Split(urlmany, ",")
    url := temp[0]
    filename := util.TodayString(3)
    if len(temp) >= 2 {
        filename = temp[1]
    }
    dir := "./" + filename
    util.MakeDir(dir)
    s, e := spider.NewSpider(nil)
    if e != nil {

    } else {
        s.Url = url
        dudu := "detail.tmall.com"
        if strings.Contains(url, "item.taobao.com") {
            dudu = "item.taobao.com"
        }
        s.NewHeader("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36", dudu, nil)
        content, err := s.Get()
        if err != nil {

        } else {
            //fmt.Println(string(content))
            docm, err := query.QueryBytes(content)
            if err != nil {
                fmt.Println(err.Error())
            } else {
                //fmt.Println(string(content))
                docm.Find("img").Each(func(num int, node *goquery.Selection) {
                    img, e := node.Attr("src")
                    if e == false {
                        img, e = node.Attr("data-src")
                    }
                    if e && img != "" {
                        if strings.Contains(img, ".gif") {
                            return
                        }
                        fmt.Println("原始文件:" + img)
                        r, _ := regexp.Compile(`([\d]{1,4}x[\d]{1,4})`)
                        imgdudu := r.FindStringSubmatch(img)
                        sizes := "720*720"
                        if len(imgdudu) == 2 {
                            sizes = imgdudu[1]
                        }
                        temp := strings.Replace(img, sizes, "720x720", -1)
                        filename := md55(temp)
                        if util.FileExist(dir + "/" + filename + ".jpg") {
                            fmt.Println("文件存在:" + dir + "/" + filename)
                        } else {
                            fmt.Println("下载:" + temp)
                            s.Url = "http:" + temp
                            imgsrc, e := s.Get()
                            if e != nil {
                                fmt.Println("下载出错" + temp + ":" + e.Error())
                                return
                            }
                            e = util.SaveToFile(dir+"/"+filename+".jpg", imgsrc)
                            if e == nil {
                                fmt.Println("成功保存在" + dir + "/" + filename)
                            }
                            util.Sleep(2)
                            fmt.Println("暂停两秒")
                        }
                    }
                })

            }

        }
    }

}

在源码同级目录写入taobao.txt:

https://detail.tmall.com/item.htm?id=523350171126&skuId=3120562159704,myword

图片将会保存在myword里面

首先安装库

go get -v github.com/PuerkitoBio/goquery
go get -v github.com/hunterhug/go_tool

然后开跑!

go run taobao.go

如果嫌麻烦

请到这里下载打包exe执行文件:

http://pan.baidu.com/s/1jHKUGZG

进入go目录,下载taobao.rar

源码在:

https://github.com/hunterhug/taobao_img

截图如下:


少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区
少于150字的随笔不允许发布到首页候选区

抓取天猫和淘宝的详情页图片|Golang的更多相关文章

  1. 仿淘宝商品详情页上拉弹出新ViewController

    新项目就要开始做了,里面有购物那块,就试着先把淘宝商品详情页的效果做了一下. 1.需求 1.第一次上拉时,A视图拉到一定距离将视图B从底部弹出,A视图也向上 2.显示B视图时下拉时,有刷新效果,之后将 ...

  2. iOS app url scheme跳转到淘宝商品详情页 唤醒app

    最近涉及的一个业务,在app内的一个广告,点击打开webView,加载的是一个淘宝商品详情页,效果是打开该webView自动跳转至淘宝对应的页面,同时在自己的app仍然加载页面,点击评论等也同样能跳转 ...

  3. 第十二篇、OC_仿淘宝商品详情页的翻页

    // // GFBProductViewController.m // elmsc // // Created by MAC on 2016/11/26. // Copyright © 2016年 G ...

  4. android仿京东、淘宝商品详情页上拉查看详情

    话不多说,直接上干货,基本就是一个scrollview中嵌套两个scrollview或者webview;关键点事处理好子scrollview和父scrollview的触摸.滑动事件已达到想要的效果.大 ...

  5. vue实现淘宝商品详情页属性选择功能

    方法一是自己想出来的,方法二来自忘记哪里看到的了 不知道是不是你要的效果: 方法一:利用input[type="radio"] css代码: input { display: no ...

  6. 仿京东淘宝商品详情页属性选择js效果

    在网上找了好久发现都不符合要求就自己摸索写了一个,用到了linq.js这个linq to js 扩展,不然用纯JS遍历json查询要死人啊 demo:http://123.207.28.46:8086 ...

  7. 【Python3 爬虫】14_爬取淘宝上的手机图片

    现在我们想要使用爬虫爬取淘宝上的手机图片,那么该如何爬取呢?该做些什么准备工作呢? 首先,我们需要分析网页,先看看网页有哪些规律 打开淘宝网站http://www.taobao.com/ 我们可以看到 ...

  8. python爬虫爬取京东、淘宝、苏宁上华为P20购买评论

    爬虫爬取京东.淘宝.苏宁上华为P20购买评论 1.使用软件 Anaconda3 2.代码截图 三个网站代码大同小异,因此只展示一个 3.结果(部分) 京东 淘宝 苏宁 4.分析 这三个网站上的评论数据 ...

  9. Vue实现仿淘宝商品详情属性选择的功能

    Vue实现仿淘宝商品详情属性选择的功能 先看下效果图:(同个属性内部单选,属性与属性之间可以多选) 主要实现过程: 所使用到的数据类型是(一个大数组里面嵌套了另一个数组)具体格式如下:   attrA ...

随机推荐

  1. Java与线程

    导语 我们知道,new一个thread,调用它的start的方法,就可以创建一个线程,并且启动该线程,然后执行该线程需要执行的业务逻辑, 那么run方法是怎么被执行的呢? Java线程和os线程 os ...

  2. jquery.cookie.js 用法

    jquery.cookie.js 用法   一个轻量级的cookie 插件,可以读取.写入.删除 cookie. jquery.cookie.js 的配置 首先包含jQuery的库文件,在后面包含 j ...

  3. ABAP程序系统字段中英文详解

    SY-SUBRC: 系统执行某指令后,表示执行成功与否的变量,’0’ 表示成功SY-DBLNT: 被处理过的记录的笔数 SY-UNAME: 当前使用者登入SAP的USERNAME;SY-DATUM: ...

  4. 案例分享:电信行业零售业务CRM架构

    最近跟一个客户讨论销售领域的移动化需求,谈到了他们的零售业务系统的整体框架,觉得很有分享的必要. 这次聊到的客户是电信行业的巨头,说的是他们的零售业务.电信公司么,卖出去的无非是设备和服务.大体的业务 ...

  5. ubuntu解决libstdc++.so.6: cannot open shared object file: No such file or directory:问题

    解决libstdc++.so.6: cannot open shared object file: No such file or directory:原因在于,在13.10 版本中,ia32_lib ...

  6. org.apache.http.conn.HttpHostConnectException: Connection to http://localhost refused in android

    给Manifest加网络权限<uses-permission android:name="android.permission.INTERNET"/>

  7. SQL语句的简单使用

    首先要先引入libsqlite3.0.tbd框架 DataBaseHandle.h #import <Foundation/Foundation.h> @interface DataBas ...

  8. OC中NSDictionary和NSSet简单操作

    /** *  字典 存放键值对类型的数据 存放数据是无序的 */ // 字典在控制台输出是用{}包括起来的 // NSDictionary 不可变字典 // 1.创建对象 // 初始化方法 NSDic ...

  9. 基础学习day03---程序结构与控制、函数与数组入门

    一.程序结构   1.顺序结构 2.选择结构 3.循环结构 二.顺序结构 程序至上而下逐行执行,一条语句执行完之后继续执行下一条语句,一直到程序的末尾 三.条件选择结构 选择结构是根据条件的成立与否, ...

  10. iOS程序启动的过程及原理

    iOS程序启动的过程及原理 文字部分 先执行main函数,main内部会调用UIApplicationMain函数 UIApplicationMain函数里面做了什么事情??? 1> 创建UIA ...