学习Python也有一段时间了,各种理论知识大体上也算略知一二了,今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫。

第一步:分析网站的请求过程

我们在查看拉勾网上的招聘信息的时候,搜索Python,或者是PHP等等的岗位信息,其实是向服务器发出相应请求,由服务器动态的响应请求,将我们所需要的内容通过浏览器解析,呈现在我们的面前。

可以看到我们发出的请求当中,FormData中的kd参数,就代表着向服务器请求关键词为Python的招聘信息。

分析比较复杂的页面请求与响应信息,推荐使用Fiddler,对于分析网站来说绝对是一大杀器。不过比较简单的响应请求用浏览器自带的开发者工具就可以,比如像火狐的FireBug等等,只要轻轻一按F12,所有的请求的信息都会事无巨细的展现在你面前。

经由分析网站的请求与响应过程可知,拉勾网的招聘信息都是由XHR动态传递的。

我们发现,以POST方式发出的请求有两个,分别是companyAjax.json和positionAjax.json,它们分别控制当前显示的页面和页面中包含的招聘信息。

可以看到,我们所需要的信息包含在positionAjax.json的Content->result当中,其中还包含了一些其他参数信息,包括总页面数(totalPageCount),总招聘登记数(totalCount)等相关信息。

第二步:发送请求,获取页面

知道我们所要抓取的信息在哪里是最为首要的,知道信息位置之后,接下来我们就要考虑如何通过Python来模拟浏览器,获取这些我们所需要的信息。

  1. 1 def read_page(url, page_num, keyword): # 模仿浏览器post需求信息,并读取返回后的页面信息
  2. 2 page_headers = {
  3. 3 'Host': 'www.lagou.com',
  4. 4 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
  5. 5 'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
  6. 6 'Connection': 'keep-alive'
  7. 7 }
  8. 8 if page_num == 1:
  9. 9 boo = 'true'
  10. 10 else:
  11. 11 boo = 'false'
  12. 12 page_data = parse.urlencode([ # 通过页面分析,发现浏览器提交的FormData包括以下参数
  13. 13 ('first', boo),
  14. 14 ('pn', page_num),
  15. 15 ('kd', keyword)
  16. 16 ])
  17. 17 req = request.Request(url, headers=page_headers)
  18. 18 page = request.urlopen(req, data=page_data.encode('utf-8')).read()
  19. 19 page = page.decode('utf-8')
  20. 20 return page

其中比较关键的步骤在于如何仿照浏览器的Post方式,来包装我们自己的请求。

request包含的参数包括所要抓取的网页url,以及用于伪装的headers。urlopen中的data参数包括FormData的三个参数(first、pn、kd)

包装完毕之后,就可以像浏览器一样访问拉勾网,并获得页面数据了。

第三步:各取所需,获取数据

获得页面信息之后,我们就可以开始爬虫数据中最主要的步骤:抓取数据。

抓取数据的方式有很多,像正则表达式re,lxml的etree,json,以及bs4的BeautifulSoup都是python3抓取数据的适用方法。大家可以根据实际情况,使用其中一个,又或多个结合使用。

  1. 1 def read_tag(page, tag):
  2. 2 page_json = json.loads(page)
  3. 3 page_json = page_json['content']['result']
  4. 4 # 通过分析获取的json信息可知,招聘信息包含在返回的result当中,其中包含了许多其他参数
  5. 5 page_result = [num for num in range(15)] # 构造一个容量为15的占位list,用以构造接下来的二维数组
  6. 6 for i in range(15):
  7. 7 page_result[i] = [] # 构造二维数组
  8. 8 for page_tag in tag:
  9. 9 page_result[i].append(page_json[i].get(page_tag)) # 遍历参数,将它们放置在同一个list当中
  10. 10 page_result[i][8] = ','.join(page_result[i][8])
  11. 11 return page_result # 返回当前页的招聘信息

第四步:将所抓取的信息存储到excel中

获得原始数据之后,为了进一步的整理与分析,我们有结构有组织的将抓取到的数据存储到excel中,方便进行数据的可视化处理。

这里我用了两个不同的框架,分别是老牌的xlwt.Workbook、以及xlsxwriter。

  1. 1 def save_excel(fin_result, tag_name, file_name):
  2. 2 book = Workbook(encoding='utf-8')
  3. 3 tmp = book.add_sheet('sheet')
  4. 4 times = len(fin_result)+1
  5. 5 for i in range(times): # i代表的是行,i+1代表的是行首信息
  6. 6 if i == 0:
  7. 7 for tag_name_i in tag_name:
  8. 8 tmp.write(i, tag_name.index(tag_name_i), tag_name_i)
  9. 9 else:
  10. 10 for tag_list in range(len(tag_name)):
  11. 11 tmp.write(i, tag_list, str(fin_result[i-1][tag_list]))
  12. 12 book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

首先是xlwt,不知道为什么,xlwt存储到100多条数据之后,会存储不全,而且excel文件也会出现“部分内容有问题,需要进行修复”我检查了很多次,一开始以为是数据抓取的不完全,导致的存储问题。后来断点检查,发现数据是完整的。后来换了本地的数据进行处理,也没有出现问题。我当时的心情是这样的:

到现在我也没弄明白,有知道的大神希望能告诉我ლ(╹ε╹ლ) 

  1. 1 def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中
  2. 2 book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上
  3. 3 tmp = book.add_worksheet()
  4. 4 row_num = len(fin_result)
  5. 5 for i in range(1, row_num):
  6. 6 if i == 1:
  7. 7 tag_pos = 'A%s' % i
  8. 8 tmp.write_row(tag_pos, tag_name)
  9. 9 else:
  10. 10 con_pos = 'A%s' % i
  11. 11 content = fin_result[i-1] # -1是因为被表格的表头所占
  12. 12 tmp.write_row(con_pos, content)
  13. 13 book.close()

这是使用xlsxwriter存储的数据,没有问题,可以正常使用。

到从为止,一个抓取拉勾网招聘信息的小爬虫就诞生了。

附上源码

  1. 1 #! -*-coding:utf-8 -*-
  2. 2
  3. 3 from urllib import request, parse
  4. 4 from bs4 import BeautifulSoup as BS
  5. 5 import json
  6. 6 import datetime
  7. 7 import xlsxwriter
  8. 8
  9. 9 starttime = datetime.datetime.now()
  10. 10
  11. 11 url = r'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC'
  12. 12 # 拉钩网的招聘信息都是动态获取的,所以需要通过post来递交json信息,默认城市为北京
  13. 13
  14. 14 tag = ['companyName', 'companyShortName', 'positionName', 'education', 'salary', 'financeStage', 'companySize',
  15. 15 'industryField', 'companyLabelList'] # 这是需要抓取的标签信息,包括公司名称,学历要求,薪资等等
  16. 16
  17. 17 tag_name = ['公司名称', '公司简称', '职位名称', '所需学历', '工资', '公司资质', '公司规模', '所属类别', '公司介绍']
  18. 18
  19. 19
  20. 20 def read_page(url, page_num, keyword): # 模仿浏览器post需求信息,并读取返回后的页面信息
  21. 21 page_headers = {
  22. 22 'Host': 'www.lagou.com',
  23. 23 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
  24. 24 'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
  25. 25 'Connection': 'keep-alive'
  26. 26 }
  27. 27 if page_num == 1:
  28. 28 boo = 'true'
  29. 29 else:
  30. 30 boo = 'false'
  31. 31 page_data = parse.urlencode([ # 通过页面分析,发现浏览器提交的FormData包括以下参数
  32. 32 ('first', boo),
  33. 33 ('pn', page_num),
  34. 34 ('kd', keyword)
  35. 35 ])
  36. 36 req = request.Request(url, headers=page_headers)
  37. 37 page = request.urlopen(req, data=page_data.encode('utf-8')).read()
  38. 38 page = page.decode('utf-8')
  39. 39 return page
  40. 40
  41. 41
  42. 42 def read_tag(page, tag):
  43. 43 page_json = json.loads(page)
  44. 44 page_json = page_json['content']['result'] # 通过分析获取的json信息可知,招聘信息包含在返回的result当中,其中包含了许多其他参数
  45. 45 page_result = [num for num in range(15)] # 构造一个容量为15的list占位,用以构造接下来的二维数组
  46. 46 for i in range(15):
  47. 47 page_result[i] = [] # 构造二维数组
  48. 48 for page_tag in tag:
  49. 49 page_result[i].append(page_json[i].get(page_tag)) # 遍历参数,将它们放置在同一个list当中
  50. 50 page_result[i][8] = ','.join(page_result[i][8])
  51. 51 return page_result # 返回当前页的招聘信息
  52. 52
  53. 53
  54. 54 def read_max_page(page): # 获取当前招聘关键词的最大页数,大于30的将会被覆盖,所以最多只能抓取30页的招聘信息
  55. 55 page_json = json.loads(page)
  56. 56 max_page_num = page_json['content']['totalPageCount']
  57. 57 if max_page_num > 30:
  58. 58 max_page_num = 30
  59. 59 return max_page_num
  60. 60
  61. 61
  62. 62 def save_excel(fin_result, tag_name, file_name): # 将抓取到的招聘信息存储到excel当中
  63. 63 book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name) # 默认存储在桌面上
  64. 64 tmp = book.add_worksheet()
  65. 65 row_num = len(fin_result)
  66. 66 for i in range(1, row_num):
  67. 67 if i == 1:
  68. 68 tag_pos = 'A%s' % i
  69. 69 tmp.write_row(tag_pos, tag_name)
  70. 70 else:
  71. 71 con_pos = 'A%s' % i
  72. 72 content = fin_result[i-1] # -1是因为被表格的表头所占
  73. 73 tmp.write_row(con_pos, content)
  74. 74 book.close()
  75. 75
  76. 76
  77. 77 if __name__ == '__main__':
  78. 78 print('**********************************即将进行抓取**********************************')
  79. 79 keyword = input('请输入您要搜索的语言类型:')
  80. 80 fin_result = [] # 将每页的招聘信息汇总成一个最终的招聘信息
  81. 81 max_page_num = read_max_page(read_page(url, 1, keyword))
  82. 82 for page_num in range(1, max_page_num):
  83. 83 print('******************************正在下载第%s页内容*********************************' % page_num)
  84. 84 page = read_page(url, page_num, keyword)
  85. 85 page_result = read_tag(page, tag)
  86. 86 fin_result.extend(page_result)
  87. 87 file_name = input('抓取完成,输入文件名保存:')
  88. 88 save_excel(fin_result, tag_name, file_name)
  89. 89 endtime = datetime.datetime.now()
  90. 90 time = (endtime - starttime).seconds
  91. 91 print('总共用时:%s s' % time)


还有许多功能可以添加,比如说通过修改city参数查看不同城市的招聘信息啦等等,大家可以自行开发,这里只做抛砖引玉之用,欢迎交流,转载请注明出处~ (^ _ ^)/~~

(转)python爬取拉勾网信息的更多相关文章

  1. Python爬取招聘信息,并且存储到MySQL数据库中

    前面一篇文章主要讲述,如何通过Python爬取招聘信息,且爬取的日期为前一天的,同时将爬取的内容保存到数据库中:这篇文章主要讲述如何将python文件压缩成exe可执行文件,供后面的操作. 这系列文章 ...

  2. Python爬取网页信息

    Python爬取网页信息的步骤 以爬取英文名字网站(https://nameberry.com/)中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例. 1.确认网址 在浏览器中输入初 ...

  3. python爬取拉勾网数据并进行数据可视化

    爬取拉勾网关于python职位相关的数据信息,并将爬取的数据已csv各式存入文件,然后对csv文件相关字段的数据进行清洗,并对数据可视化展示,包括柱状图展示.直方图展示.词云展示等并根据可视化的数据做 ...

  4. python爬取酒店信息练习

    爬取酒店信息,首先知道要用到那些库.本次使用request库区获取网页,使用bs4来解析网页,使用selenium来进行模拟浏览. 本次要爬取的美团网的蚌埠酒店信息及其评价.爬取的网址为“http:/ ...

  5. Python爬取拉勾网招聘信息并写入Excel

    这个是我想爬取的链接:http://www.lagou.com/zhaopin/Python/?labelWords=label 页面显示如下: 在Chrome浏览器中审查元素,找到对应的链接: 然后 ...

  6. python爬取拉勾网职位数据

    今天写的这篇文章是关于python爬虫简单的一个使用,选取的爬取对象是著名的招聘网站--拉钩网,由于和大家的职业息息相关,所以爬取拉钩的数据进行分析,对于职业规划和求职时的信息提供有很大的帮助. 完成 ...

  7. 爬虫实战(三) 用Python爬取拉勾网

    目录 0.前言 1.初始化 2.爬取数据 3.保存数据 4.数据可视化 5.大功告成 0.前言 最近,博主面临着选方向的困难(唉,选择困难症患者 >﹏<),所以希望了解一下目前不同岗位的就 ...

  8. python爬取拉勾网职位信息-python相关职位

    import requestsimport mathimport pandas as pdimport timefrom lxml import etree url = 'https://www.la ...

  9. python爬取商品信息

    老严要爬某网购网站的商品信息,正好我最近在学python,就一起写了一个简单的爬虫程序. 需求:某网的商品信息,包括商品名,市场价和售价 工具:python2.7.8,urllib2,re #codi ...

随机推荐

  1. Hash(LCP) || 后缀数组 LA 4513 Stammering Aliens

    题目传送门 题意:训练指南P225 分析:二分寻找长度,用hash值来比较长度为L的字串是否相等. #include <bits/stdc++.h> using namespace std ...

  2. 快速搭建Webservice接口测试环境

    一.必备工具: apache-tomcat.Axis2(WebService引擎).实例类 二.部署步骤: 1.到apache官网 http://apache.org/ 下载apache-tomcat ...

  3. ASP.NET Core EF Sample

    Install EF Install-Package Microsoft.EntityFrameworkCore.SqlServer Install-Package Microsoft.EntityF ...

  4. [转]走向视网膜(Retina)的Web时代

    转载出处:http://www.w3cplus.com/css/towards-retina-web.html 维基百科将Retina译为“视网膜”."Retina"一词,原意是“ ...

  5. BestCoder#15 A-LOVE(暴力)

    Love Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total Submis ...

  6. ACM ICPC 2015 Moscow Subregional Russia, Moscow, Dolgoprudny, October, 18, 2015 G. Garden Gathering

    Problem G. Garden Gathering Input file: standard input Output file: standard output Time limit: 3 se ...

  7. H

    很爽的一局,打了70分钟,还刷新了我的最高击杀记录.打完出来一看居然是H局,第一次在H局里打出不错的表现诶.好像找人说一说,可惜并没有谁听,以前的朋友也不在了,还是算了,自己心里慢慢发霉去吧. 这局末 ...

  8. 期待中冷静前行,专家预测2017年VR产业5大发展趋势

    VR在90年代火过一阵后,在2016年迎来了爆发.今年的VR领域,除了Oculus.HTC.索尼等发布的各家硬件,还有许多VR内容争奇斗艳的迸发,但是VR会一直保存热度吗? 事实上,对于科技圈巨头而言 ...

  9. HDU 2852 (树状数组+无序第K小)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=2852 题目大意:操作①:往盒子里放一个数.操作②:从盒子里扔掉一个数.操作③:查询盒子里大于a的第K小 ...

  10. IOS面试题总结

    iOS面试题: 一:网络理论知识的理解 1:Internet物理地址和IP地址转换采用什么协议 ARP(Address Resolution Protocol)地址解析协议 2:Internet采用哪 ...