之前没课的时候写过安居客的爬虫,但那也是小打小闹,那这次呢,

还是小打小闹

哈哈,现在开始正式进行爬虫书写

首先,需要分析一下要爬取的网站的结构:

作为一名河南的学生,那就看看郑州的二手房信息吧!

在上面这个页面中,我们可以看到一条条的房源信息,从中我们发现了什么,发现了连郑州的二手房都是这么的贵,作为即将毕业的学生狗惹不起啊惹不起

还是正文吧!!!

由上可以看到网页一条条的房源信息,点击进去后就会发现:

房源的详细信息。

OK!那么我们要干嘛呢,就是把郑州这个地区的二手房房源信息都能拿到手,可以保存到数据库中,用来干嘛呢,作为一个地理人,还是有点用处的,这次就不说了

好,正式开始,首先我采用python3.6 中的requests,BeautifulSoup模块来进行爬取页面,

首先由requests模块进行请求:

  1. # 网页的请求头
  2. header = {
  3. 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
  4. }
  5. # url链接
  6. url = 'https://zhengzhou.anjuke.com/sale/'
  7. response = requests.get(url, headers=header)
  8. print(response.text)

执行后就会得到这个网站的html代码了

通过分析可以得到每个房源都在class="list-item"的 li 标签中,那么我们就可以根据BeautifulSoup包进行提取

  1. # 通过BeautifulSoup进行解析出每个房源详细列表并进行打印
  2. soup = BeautifulSoup(response.text, 'html.parser')
  3. result_li = soup.find_all('li', {'class': 'list-item'})
  4. for i in result_li:
  5. print(i)

通过打印就能进一步减少了code量,好,继续提取

  1. # 通过BeautifulSoup进行解析出每个房源详细列表并进行打印
  2. soup = BeautifulSoup(response.text, 'html.parser')
  3. result_li = soup.find_all('li', {'class': 'list-item'})
  4. # 进行循环遍历其中的房源详细列表
  5. for i in result_li:
  6. # 由于BeautifulSoup传入的必须为字符串,所以进行转换
  7. page_url = str(i)
  8. soup = BeautifulSoup(page_url, 'html.parser')
  9. # 由于通过class解析的为一个列表,所以只需要第一个参数
  10. result_href = soup.find_all('a', {'class': 'houseListTitle'})[0]
  11. print(result_href.attrs['href'])

这样,我们就能看到一个个的url了,是不是很喜欢

好了,按正常的逻辑就要进入页面开始分析详细页面了,但是爬取完后如何进行下一页的爬取呢

所以,我们就需要先分析该页面是否有下一页

同样的方法就可以发现下一页同样是如此的简单,那么咱们就可以还是按原来的配方原来的味道继续

  1. # 进行下一页的爬取
  2. result_next_page = soup.find_all('a', {'class': 'aNxt'})
  3. if len(result_next_page) != 0:
  4. print(result_next_page[0].attrs['href'])
  5. else:
  6. print('没有下一页了')

因为当存在下一页的时候,网页中就是一个a标签,如果没有的话,就会成为i标签了,所以这样的就行,因此,我们就能完善一下,将以上这些封装为一个函数

  1. import requests
  2. from bs4 import BeautifulSoup
  3.  
  4. # 网页的请求头
  5. header = {
  6. 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
  7. }
  8.  
  9. def get_page(url):
  10. response = requests.get(url, headers=header)
  11.  
  12. # 通过BeautifulSoup进行解析出每个房源详细列表并进行打印
  13. soup = BeautifulSoup(response.text, 'html.parser')
  14. result_li = soup.find_all('li', {'class': 'list-item'})
  15.  
  16. # 进行下一页的爬取
  17. result_next_page = soup.find_all('a', {'class': 'aNxt'})
  18. if len(result_next_page) != 0:
  19. # 函数进行递归
  20. get_page(result_next_page[0].attrs['href'])
  21. else:
  22. print('没有下一页了')
  23.  
  24. # 进行循环遍历其中的房源详细列表
  25. for i in result_li:
  26. # 由于BeautifulSoup传入的必须为字符串,所以进行转换
  27. page_url = str(i)
  28. soup = BeautifulSoup(page_url, 'html.parser')
  29. # 由于通过class解析的为一个列表,所以只需要第一个参数
  30. result_href = soup.find_all('a', {'class': 'houseListTitle'})[0]
  31. # 先不做分析,等一会进行详细页面函数完成后进行调用
  32. print(result_href.attrs['href'])
  33.  
  34. if __name__ == '__main__':
  35. # url链接
  36. url = 'https://zhengzhou.anjuke.com/sale/'
  37. # 页面爬取函数调用
  38. get_page(url)

好了,那么咱们就开始详细页面的爬取了

哎,怎么动不动就要断电了,大学的坑啊,先把结果附上,闲了在补充,

  1. import requests
  2. from bs4 import BeautifulSoup
  3.  
  4. # 网页的请求头
  5. header = {
  6. 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
  7. }
  8.  
  9. def get_page(url):
  10. response = requests.get(url, headers=header)
  11.  
  12. # 通过BeautifulSoup进行解析出每个房源详细列表并进行打印
  13. soup_idex = BeautifulSoup(response.text, 'html.parser')
  14. result_li = soup_idex.find_all('li', {'class': 'list-item'})
  15.  
  16. # 进行循环遍历其中的房源详细列表
  17. for i in result_li:
  18. # 由于BeautifulSoup传入的必须为字符串,所以进行转换
  19. page_url = str(i)
  20. soup = BeautifulSoup(page_url, 'html.parser')
  21. # 由于通过class解析的为一个列表,所以只需要第一个参数
  22. result_href = soup.find_all('a', {'class': 'houseListTitle'})[0]
  23. # 详细页面的函数调用
  24. get_page_detail(result_href.attrs['href'])
  25.  
  26. # 进行下一页的爬取
  27. result_next_page = soup_idex.find_all('a', {'class': 'aNxt'})
  28. if len(result_next_page) != 0:
  29. # 函数进行递归
  30. get_page(result_next_page[0].attrs['href'])
  31. else:
  32. print('没有下一页了')
  33.  
  34. # 进行字符串中空格,换行,tab键的替换及删除字符串两边的空格删除
  35. def my_strip(s):
  36. return str(s).replace(" ", "").replace("\n", "").replace("\t", "").strip()
  37. # 由于频繁进行BeautifulSoup的使用,封装一下,很鸡肋
  38. def my_Beautifulsoup(response):
  39. return BeautifulSoup(str(response), 'html.parser')
  40.  
  41. # 详细页面的爬取
  42. def get_page_detail(url):
  43. response = requests.get(url, headers=header)
  44. if response.status_code == 200:
  45. soup = BeautifulSoup(response.text, 'html.parser')
  46. # 标题什么的一大堆,哈哈
  47. result_title = soup.find_all('h3', {'class': 'long-title'})[0]
  48. result_price = soup.find_all('span', {'class': 'light info-tag'})[0]
  49. result_house_1 = soup.find_all('div', {'class': 'first-col detail-col'})
  50. result_house_2 = soup.find_all('div', {'class': 'second-col detail-col'})
  51. result_house_3 = soup.find_all('div', {'class': 'third-col detail-col'})
  52. soup_1 = my_Beautifulsoup(result_house_1)
  53. soup_2 = my_Beautifulsoup(result_house_2)
  54. soup_3 = my_Beautifulsoup(result_house_3)
  55. result_house_tar_1 = soup_1.find_all('dd')
  56. result_house_tar_2 = soup_2.find_all('dd')
  57. result_house_tar_3 = soup_3.find_all('dd')
  58. '''
  59. 文博公寓,省实验中学,首付只需70万,大三房,诚心卖,价可谈 270万
  60. 宇泰文博公寓 金水-花园路-文博东路4号 2010年 普通住宅
  61. 3室2厅2卫 140平方米 南北 中层(共32层)
  62. 精装修 19285元/m² 81.00万
  63. '''
  64. print(my_strip(result_title.text), my_strip(result_price.text))
  65. print(my_strip(result_house_tar_1[0].text),
  66. my_strip(my_Beautifulsoup(result_house_tar_1[1]).find_all('p')[0].text),
  67. my_strip(result_house_tar_1[2].text), my_strip(result_house_tar_1[3].text))
  68. print(my_strip(result_house_tar_2[0].text), my_strip(result_house_tar_2[1].text),
  69. my_strip(result_house_tar_2[2].text), my_strip(result_house_tar_2[3].text))
  70. print(my_strip(result_house_tar_3[0].text), my_strip(result_house_tar_3[1].text),
  71. my_strip(result_house_tar_3[2].text))
  72.  
  73. if __name__ == '__main__':
  74. # url链接
  75. url = 'https://zhengzhou.anjuke.com/sale/'
  76. # 页面爬取函数调用
  77. get_page(url)

由于自己边写博客,边写的代码,所以get_page函数中进行了一些改变,就是下一页的递归调用需要放在函数后面,以及进行封装了两个函数没有介绍,

而且数据存储到mysql也没有写,所以后期会继续跟进的,thank you!!!

https://www.cnblogs.com/gkf0103/p/7689600.html

python爬取安居客二手房网站数据(转)的更多相关文章

  1. python3 爬虫之爬取安居客二手房资讯(第一版)

    #!/usr/bin/env python3 # -*- coding: utf-8 -*- # Author;Tsukasa import requests from bs4 import Beau ...

  2. Python开发爬虫之BeautifulSoup解析网页篇:爬取安居客网站上北京二手房数据

    目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...

  3. python爬取博客圆首页文章链接+标题

    新人一枚,初来乍到,请多关照 来到博客园,不知道写点啥,那就去瞄一瞄大家都在干什么好了. 使用python 爬取博客园首页文章链接和标题. 首先当然是环境了,爬虫在window10系统下,python ...

  4. 吴裕雄--天生自然PYTHON爬虫:使用Selenium爬取大型电商网站数据

    用python爬取动态网页时,普通的requests,urllib2无法实现.例如有些网站点击下一页时,会加载新的内容,但是网页的URL却没有改变(没有传入页码相关的参数),requests.urll ...

  5. Python爬取房天下二手房信息

    一.相关知识 BeautifulSoup4使用 python将信息写入csv import csv with open("11.csv","w") as csv ...

  6. python 爬取天猫美的评论数据

    笔者最近迷上了数据挖掘和机器学习,要做数据分析首先得有数据才行.对于我等平民来说,最廉价的获取数据的方法,应该是用爬虫在网络上爬取数据了.本文记录一下笔者爬取天猫某商品的全过程,淘宝上面的店铺也是类似 ...

  7. 【scrapy实践】_爬取安居客_广州_新楼盘数据

    需求:爬取[安居客—广州—新楼盘]的数据,具体到每个楼盘的详情页的若干字段. 难点:楼盘类型各式各样:住宅 别墅 商住 商铺 写字楼,不同楼盘字段的名称不一样.然后同一种类型,比如住宅,又分为不同的情 ...

  8. python爬虫爬取安居客并进行简单数据分析

    本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理 爬取过程一.指定爬取数据二.设置请求头防止反爬三.分析页面并且与网页源码进行比对四.分析页面整理数据 ...

  9. PyCharm+Scrapy爬取安居客楼盘信息

    一.说明 1.1 开发环境说明 开发环境--PyCharm 爬虫框架--Scrapy 开发语言--Python 3.6 安装第三方库--Scrapy.pymysql.matplotlib 数据库--M ...

随机推荐

  1. CSS中各种居中的问题

    1.元素水平居中 1.1 在父元素上使用text-align: center; father { text-align: center; } 1.2 margin: 0 auto; 在上一个问题中,我 ...

  2. ADRC-active disturbance rejection control-自抗扰控制器

    ADRC自抗扰控制基本思想要点: 1.标准型与总扰动,扩张状态与扰动整体辨识,微分信号生成与安排过渡过程以及扰动的消减与控制量产生. ADRC主要构成: 1)跟踪微分器(TD)---the track ...

  3. LOJ#2665 树的计数

    题意:给你DFS序和BFS序,求树的期望高度. 解:先分析性质. 考虑到BFS序是分层的,DFS序的子树是一段,那么我们遍历BFS序并在DFS序上标记对应点的话,就会发现BFS序每一层都会把若干棵子树 ...

  4. appache 在windows 中无法启动的测试

    使用phpstudy刚启动就自动停止,排除端口被占用后,总感觉找不到好的调试方法 网上找了一些资料,这个方法不错,所以就记录了下来.最好的办法是找appache的bin目录,打开运行,输入httpd. ...

  5. 第七周博客作业<西北师范大学|李晓婷>

    1.助教博客链接:https://home.cnblogs.com/u/lxt-/ 2.本周应批作业0,实批作业0. 3.本周小结:本周我们助教开始准备团队项目题目,下周三之前将会进行作业提交.

  6. (Python)自动生成代码(方法一)

    在写某个平台的自动化脚本时,笔者把全部的操作都封装到了两个类中,page.py和commonpage.py: page.py部分代码: class BasePage(object): ''' 页面基础 ...

  7. Angular记录(7)

    文档资料 箭头函数--MDN:https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Functions/Arrow_fun ...

  8. jquery 中 this 的范围

    jquery 中的 this button 通常会存在  onclick;// input[type='file'] 会存在 onchange 事件 eg:  onclick = " del ...

  9. 五十九、linux 编程—— I/O 多路复用 fcntl

    59.1 介绍 前面介绍的函数如,recv.send.read 和 write 等函数都是阻塞性函数,若资源没有准备好,则调用该函数的进程将进入阻塞状态.我们可以使用 I/O 多路复用来解决此问题(即 ...

  10. 使用lombok 注解Java类

    环境信息: IDEA  2016.2.4 Maven 3 JDK 1.8 Maven工程配置: <properties> <lombok.version>1.16.16< ...