Go语言 之捧腹网爬虫案例

package main

import (
    "fmt"
    "net/http"
    "os"
    "regexp"
    "strings"
)

var urls = "https://www.pengfu.com/xiaohua_%d.html"

func DoHttpGet(urls string) (str string) {

    //创建一个Client
    client := &http.Client{}

    //使用指定的方法、网址和可选的主题创建并返回一个新的*Request
    request, err := http.NewRequest("GET", urls, nil)
    if err != nil {
        fmt.Println(err)
    }
    //添加请求头
    request.Header.Add("User-Agent", "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1")
    response, _ := client.Do(request)

    defer response.Body.Close()
    buf := make([]byte, 1024*10)
    for {
        n, _ := response.Body.Read(buf)
        if n == 0 {
            break
        }
        str += string(buf[:n])
    }
    return
}

func SaveDataToLocal(index int, c chan<- int) {
    //网络请求
    str := DoHttpGet(fmt.Sprintf(urls, index))
    //正则匹配所有的网址
    regex := regexp.MustCompile(`<h1 class="dp-b"><a href="(.*?)" target="_blank">`)
    findResult := regex.FindAllStringSubmatch(str, -1)

    var writeStr []string
    //便利当前页所有的网址
    for _, data := range findResult {
        fmt.Println(data[1])
        //网络请求详情页面
        s := DoHttpGet(data[1])
        //正则匹配标题
        titleRegex := regexp.MustCompile(`<h1>(.*)</h1>`)
        titleResult := titleRegex.FindAllStringSubmatch(s, 1)
        title := strings.TrimSpace(titleResult[0][1])

        //正则匹配内容
        contentRegex := regexp.MustCompile(`<div class="content-txt pt10">\s?\n?(.*)<a`)
        contentResult := contentRegex.FindAllStringSubmatch(s, 1)
        content := strings.TrimSpace(contentResult[0][1])

        //将标题与内容存到切片
        writeStr = append(writeStr, fmt.Sprintf(`{"title": "%s", "content" : "%s"}`, title, content))
    }
    //创建json文件
    f, err := os.Create(fmt.Sprintf("./page/%d.json", index))
    if err != nil {
        fmt.Println(err)
    }
    defer f.Close()
    //将数据写入文件
    f.WriteString(strings.Join(writeStr, ",") + "\n")

    //通知主协程爬取完毕
    c <- index
}

func ToDoWork(start, end int) {
    //创建通道：通知每页爬取完毕
    c := make(chan int)
    //每一页都创建一个协程
    for i := start; i <= end; i++ {
        //将每一页数据保存到文件中
        go SaveDataToLocal(i, c)
    }

    for i := start; i <= end; i++ {
        //阻塞等待协程通知
        fmt.Printf("第%d页爬取完成\n", <-c)
    }
}

func main() {
    //输入开始页与结束页
    var start, end int
    fmt.Print("请输入开始页码：")
    fmt.Scan(&start)
    if start <= 0 {
        fmt.Println("参数不正确，请输入大于0的数字")
        return
    }
    fmt.Print("请输入结束页码：")
    fmt.Scan(&end)
    if start > end {
        fmt.Println("参数不正确，结束页码必须大于开始页码")
    }

    //逻辑处理函数
    ToDoWork(start, end)
}

运行：

结果：

{"title": "都是二胎惹的祸", "content" : "    小区门口修车师傅生意特好。人实在,只要不换零件，常常不收钱或只收个块把钱辛苦钱。最近发现他心黑了，价钱明显上调,就连充个气也收1块钱。旁边书报亭大妈是知情人，: 唉，多担待一下吧！他家上个月二胎,一窝生了四个带把的。。。。"},{"title": "讨价还价", "content" : "去小卖部买烟，10块钱一盒的，给老板100，老板喜咪咪的看着我说：“我没零钱找你，就让我闺女陪你一晚抵账得了。”我一激动：“你老别介啊，我攒个私房钱出来偷偷买烟，真的很不容易啊！”老板：“怎么，你不愿意？要不然我去把我闺女叫出来！”我：“别！别！这钱你不用找了，千万别让您闺女知道我藏私房钱啊！”老板：“好女婿，只要你经常来买东西，我保证不说！哈哈哈”"},{"title": "猪没事就是涨价了", "content" : "前天和同事去逛超市，说好久没买肉吃了，于是去看猪肉，结果看到的最便宜的猪肉都要十八块多，同事当场惊呼：“猪怎么了，这是！”卖肉的师傅笑着说：“猪没事，就是涨价了。”"},{"title": "心宽", "content" : "刚才在QQ上有个还在上大学的姑娘突然跟我讲：“朋友介绍我去打工，今天晚上要到一个酒吧领舞，现在有点不敢去。”我：“有什么不敢去的？”姑娘：“刚才在小摊上只吃了碗牛肉面，怕到时候饿。”──姑娘，你心太宽了！"},{"title": "缺心眼", "content" : "昨天路过单位餐厅门口的金鱼池，正好看到一条小金鱼蹦到外边了，还在张嘴，就捡起来扔到池子里。回到家跟老婆聊天时随口说起，老婆抱怨着说，“我说你个缺心眼的，怎么不去向它要幢别墅呢！”"},{"title": "贵重物品", "content" : "下车时导游小姐说：“请带好您的贵重物品。”他拉着我的手说：“快走，贵重物品。”"},{"title": "镇静剂", "content" : "医生：“去给那位今天出院的病人注射一针镇静剂。”护士不解：“都可以出院了，还打镇静剂干嘛？”医生：“等下要结账，我怕他受不了！”"},{"title": "欢迎下次再来", "content" : "我一大学同学毕业后搞了一年营销，发奋考上公务员，分到民政局婚姻登记处。头天上班，一大早就来了对新人登记，那男的客气，给了一包烟和一包糖，同学很激动，麻利的办好手续，起身握手送别，很有礼貌地说了句：欢迎下次再来。"},{"title": "我们在睡觉", "content" : "公司一女同事中午外出吃饭。手机落公司，然后她老公一个劲的打电话，旁边一哥们吃完午睡，很是反感，在电话响起的第N回后，哥们很气愤的拿起电话，吼道：“我们在睡觉，你老打电话，烦不烦。”不一会儿办公室门口就出现了个男的。"},{"title": "不白之冤", "content" : "老先生已有60多岁，而头发胡须却都是黑的。朋友开玩笑地说：“如果用年龄为标准来衡量，您的头发胡须可说是抱冤受屈了！”老先生惊问何故，朋友答道：“它们蒙受了不白之冤呀。”"}

页数过多会比较慢，在第二次网络请求时可以创建协程解决，有代码优化的可以评论。