python3爬取淘宝商品(失效)

最近有人反映淘宝的搜索功能要登录才能用，原先的直接爬取的方法挂了。稍微把之前的代码修改了一下，登录采用最简单的复制cookie来解决。

顺便说一下，这只是根据搜索的的索引界面获取的信息，并未深入的获取每个具体商品的信息。为了以后有拓展空间，便于爬取详细的商品信息，我顺便把详情页的URL拿下来了。

淘宝的页面其实并未做多大改变(吐槽一下：淘宝的程序员也挺懒的)，之前的代码只要加上登录功能就能使用。

直接上代码：

import requests
from bs4 import BeautifulSoup
import re
from xlwt import Workbook
import xlrd
import sys

R = requests.Session()
URL = "https://s.taobao.com/search?q="

"""
Get_Html()函数功能：根据搜索的关键字和页数信息，获取包含数据的HTML源码
参数：
    keyword:字符串，搜索的关键字
    page:字符串，页数
返回值:
    text:字符串，包含数据的HTML源码
"""
def Get_Html(keyword,page):
    url = URL+keyword+"&ie=utf8&s="+str(page)
    cookies = {}
    raw_cookies = #这里copy你的cookie，我自然不可能放我的
    for lies in raw_cookies.split(';'):
        key,word = lies.split('=',1)
        cookies[key] = word

    res = R.get(url,cookies = cookies)
    text = res.text
    return text

"""
Get_Data()函数功能：从包含数据的HTML源码中解析出需要的数据
参数：
    text:字符串，是一些包含数据的HTML源码
返回值：
    data:字符串，包含需要数据的json字符串
"""
def Get_Data( text):
    reg = r',"data":{"spus":\[({.+?)\]}},"header":'
    reg = re.compile(reg)
    data = re.findall(reg, text)[0]
    return data

"""
Download_Data()函数功能：将获取的数据选择一部分写入excel表格，如果想写入数据库，这部分代码需要自己写
参数：
    data:包含数据的json字符串
    N:写入excel表的第几行
    sheet:excel表的一张表的句柄
"""
def Download_Data( data, N, sheet ):
    Date = eval(data)

    for d in Date:
        sheet.write(N,0,d['title'])
        sheet.write(N,1,d['price'])
        sheet.write(N,2," ".join([t['tag'] for t in d['tag_info']]))
        sheet.write(N,3,d['url'][2:])
        N = N + 1
    return N

"""
主调函数，函数工作流程大致如下：
1.创建存储数据需要的sheet表格，目前只获取四个个特征：手机名、价格、特点和商品链接
2.按照关键字进行搜索，然后将获得的数据全部存入创建好的sheet中。
参数：
    keyword:要搜索的关键字
"""
def main(keyword):
    book = Workbook()
    sheet = book.add_sheet(keyword)
    sheet.write(0,0,'品牌')
    sheet.write(0,1,'价格')
    sheet.write(0,2,'特点')
    sheet.write(0,3,'链接')
    book.save('淘宝数据.xls')

    k = 0
    N = 1
    i = 0
    while(True):
        text = Get_Html(keyword,i*48)
        try:

            data = Get_Data(text)
            N = Download_Data(data,N,sheet)
        except:
            break

        book.save('淘宝数据.xls')
        print('下载第' + str(i+1) + '页完成')
        i = i + 1

    print('全部数据收集完成')

if __name__ == '__main__':
    keyword = sys.argv[1]
    main(keyword)

只要把上面的Get_HTML()函数中的 raw_cookies 修改成你的 cookie 就可以了，至于怎么获取 cookie ，Google吧！

下面是我以"华为手机"为关键字的部分搜索结果：

发现了一个17块的华为手机，复制链接一看：

果然...

上面这个页面的信息和评论信息才是更有用的数据，以后有时间再看弄不弄吧！