Python转页爬取某铝业网站上的数据

天行健，君子以自强不息；地势坤，君子以厚德载物！

---

好了废话不多说，正式进入主题，前段时间应朋友的请求，爬取了某铝业网站上的数据。刚开始呢，还是挺不愿意的（主要是自己没有完整的爬取过网上的数据哎，即是不自信），但是在兄弟伙的面前不能丢脸卅，硬起头皮都要上，于是乎答应了他，好吧~~~~

---

我们的爬取目标：

http://www.chalco.com.cn/chalco/ywycp/cpbj/A120401web_1.htm

1、总共63页，每页有十几条的链接

2、爬取连接里面的数据（主要有产品名称、规格、合同、华东市场、华南市场、西南市场、中原市场、产品报价时间）

3、爬取的数据存为CSV格式

---

一、网页源代码分析:

1、分析网站每页的网址

第一页的网址：http://www.chalco.com.cn/chalco/ywycp/cpbj/A120401web_1.html

第二页的网址：http://www.chalco.com.cn/chalco/ywycp/cpbj/A120401web_2.html

第三页的网址：http://www.chalco.com.cn/chalco/ywycp/cpbj/A120401web_3.html

依次类推

咱们可以发现第63页的网址是：http://www.chalco.com.cn/chalco/ywycp/cpbj/A120401web_63.html

2、分析每页网页的源代码

通过查看第一页的网页的源代码，可以发现，第一页上的每天的产品报价的链接。

则，整体思路为：

（1）拼接所有页的网址（http://www.chalco.com.cn/chalco/ywycp/cpbj/A120401web_1.html）；

（2）解析出每页中的数据链接（<A href=/chalco/ywycp/cpbj/webinfo/2018/08/1533256568236442.htm target=_blank>中国铝业2018年8月3日产品报价</A>）；

（3）通过链接正则匹配出所需要的数据。

---

 二、Python源码

此次爬取，使用的是request和re包！

 __Author__ = "MEET Shen"
 import requests
 import re
 import pandas as pd

 def get_allpage_url(n):
     '''
     得到所有页的连接
     '''
     totalpage_urls=[]
     for i in range(n):
         i=i+1
         url_change_page="http://www.chalco.com.cn/chalco/ywycp/cpbj/A120401web_{0}.htm".format(str(i))
         totalpage_urls.append(url_change_page)
     return totalpage_urls
 url=get_allpage_url(20)
 def get_datapage_url(data):
     '''
     http://www.chalco.com.cn/chalco/ywycp/cpbj/webinfo/2018/06/1530058323659676.htm
                             /chalco/ywycp/cpbj/webinfo/2018/06/1530058323659676.htm
     :return:
     '''
     #正则表达式进行解析出所有的数据连接
     pattern=re.compile('.*?</DIV><DIV class=cpbj-item-xz><A href=(.*?) target=_blank>.*?',re.S)
     items=re.findall(pattern,data)
     del items[0]
     result_url=[]
     for i in items:
         joint="http://www.chalco.com.cn{0}".format(i)
         result_url.append(joint)
     items_len=len(items)
     return result_url,items_len

 headers={"User-Agent":'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36'
                       ' (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 '
                       'Core/1.53.4482.400 QQBrowser/9.7.13001.400'}

 def get_everypage_data(result_url):
     response = requests.get(url=result_url, headers=headers)
     data = response.text
     pattern=re.compile('.*?<P><STRONG>日历时间：</STRONG>(.*?)</P>.*?'
                        '<TD bgColor=#ffffff>(.*?)</TD>.*?'
                        '<TD bgColor=#ffffff>(.*?) </TD>.*?'
                        '<TD bgColor=#ffffff>(.*?)</TD>.*?'
                        '<TD bgColor=#ffffff>(.*?)</TD>.*?'
                        '<TD bgColor=#ffffff>(.*?)</TD>.*?'
                        '<TD bgColor=#ffffff>(.*?)</TD>.*?'
                        '<TD bgColor=#ffffff>(.*?)</TD>.*?'
                        '<TD bgColor=#ffffff>(.*?)</TD>.*?'
                        ,re.S)
     items=re.findall(pattern,data)
     items1=list(items[0])
     items1[7] = items1[7].replace('<p>','')
     items1[7] = items1[7].replace('</p>','')
     items1[8] = items1[8].replace('<p>','')
     items1[8] = items1[8].replace('</p>','')
     items1[8] = items1[8].replace('&nbsp;</P>', '')
     items1[5] = items1[5].replace('<FONT size=3 face="Times New Roman">', '')
     items1[5] = items1[5].replace('</FONT>', '')
     items1[6] = items1[6].replace('<FONT size=3 face="Times New Roman">', '')
     items1[6] = items1[6].replace('</FONT>', '')
     items1[7] = items1[7].replace('<FONT size=3 face="Times New Roman">', '')
     items1[7] = items1[7].replace('</FONT>', '')
     items1[8] = items1[8].replace('<FONT size=3 face="Times New Roman">', '')
     items1[8] = items1[8].replace('</FONT>', '')
     return items1

 def get_asignpage_data():
     items = []
     for i in range(len(url)):
         response = requests.get(url=url[i], headers=headers)
         data = response.text
         result_url,items_len = get_datapage_url(data)
         for i in range(items_len):
             item=get_everypage_data(result_url[i])
             items.append(item)
     return items

 items=get_asignpage_data()

 #存为CSV格式
 import pandas as pd
 data=pd.DataFrame(items,columns={'time','产品名称','规格','合同','中铝企业','华东市场','华南市场','西南市场','中原市场'})
 print(data)
 data.to_csv('C:/Users/Administrator/PycharmProjects/untitled/data/lvye1.csv',sep=',')

---

三、爬取的最终结果

由于数据不很大，爬取的速度还是能够接受的，最终爬取的数据，且形成的CSV文件如下所示：

---

笔者还处于学习的状态，如有写得不够专业或有错误的地方，真心希望各位读者前来探讨！！！！！

---