我用Python爬取了李沧最近一年多的二手房成交数据得出以下结论
前言
去年年底,博主有购房的意愿,本来是打算在青岛市北购房,怎奈工作变动,意向转移到了李沧,坐等了半年以后,最终选择在红岛附近购置了期房。
也许一些知道青岛红岛的小伙伴会问我,为什么会跑到那鸟不拉屎的地方去买房子,目前只能是一个字:"赌、赌、赌",重要的事情说三遍。下面来分析一下,我为什么没有在李沧买。
爬取数据
爬取了2018年1月份到2019年3月底李沧二手房成交记录,数据仅限于链家,不代表李沧地区的全部数据,但是我觉得应该对大家有一定的参考意义。
创建基本的数据库:
CREATE TABLE `house` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',
`url` varchar(50) NOT NULL COMMENT '网络访问地址',
`listed_price` double NOT NULL COMMENT '挂牌价格',
`completion_date` date NOT NULL COMMENT '成交日期',
`transaction_cycle` int(11) NOT NULL COMMENT '成交周期',
`modify_price` int(11) NOT NULL COMMENT '调价次数',
`square_metre` double NOT NULL COMMENT '建筑面积',
`unit_price` double NOT NULL COMMENT '单价',
`total_price` double NOT NULL COMMENT '总价',
`age_completion` int(11) NOT NULL COMMENT '建成年代',
`community_name` varchar(50) NOT NULL COMMENT '所在小区',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8
爬取代码:
__author__ = "小柒"
__blog__ = "https://blog.52itstyle.vip/"
import requests
import time
# 导入文件操作库
import os
import re
import bs4
from bs4 import BeautifulSoup
import sys
from util.mysql_DBUtils import mysql
# 写入数据库
def write_db(param):
try:
sql = "insert into house (url,listed_price,transaction_cycle,modify_price," \
"square_metre,unit_price,total_price,age_completion,community_name,completion_date) "
sql = sql + "VALUES(%(url)s,%(listed_price)s, %(transaction_cycle)s,%(modify_price)s,"
sql = sql + "%(square_metre)s,%(unit_price)s,%(total_price)s," \
"%(age_completion)s,%(community_name)s,%(completion_date)s)"
mysql.insert(sql, param)
except Exception as e:
print(e)
# 主方法
def main():
# 给请求指定一个请求头来模拟chrome浏览器
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'}
page_max = 24
# 爬取地址
for i in range(1, int(page_max) + 1):
print("第几页:" + str(i))
if i == 1:
house = 'https://qd.lianjia.com/chengjiao/licang/'
else:
house = 'https://qd.lianjia.com/chengjiao/licang/pg'+str(i)
res = requests.get(house, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
li_max = soup.find('ul', class_='listContent').find_all('li')
for li in li_max:
try:
house_param = {}
# 所在小区
community = li.find('div', class_='title').text
community_name = community.split(" ")[0]
house_param['community_name'] = community_name
# 成交地址
title_src = li.find('a').attrs['href']
house_param['url'] = title_src
res = requests.get(title_src, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
# --------------------------------------------------------#
# 成交日期
completion_date = soup.find('div', class_='house-title').find('span').text
completion_date = completion_date.split(" ")[0]
completion_date = completion_date.replace(".", "-")
house_param['completion_date'] = completion_date
# 挂牌价格
listed_price = soup.find('div', class_='msg').find_all('span')[0].find('label').text
house_param['listed_price'] = listed_price
# 成交周期
transaction_cycle = soup.find('div', class_='msg').find_all('span')[1].find('label').text
house_param['transaction_cycle'] = transaction_cycle
# 调价次数
modify_price = soup.find('div', class_='msg').find_all('span')[2].find('label').text
house_param['modify_price'] = modify_price
# 建筑面积
square_metre = soup.find('div', class_='content').find("ul").find_all('li')[2].text
square_metre = re.findall(r'-?\d+\.?\d*e?-?\d*?', square_metre)[0]
house_param['square_metre'] = square_metre
# 总价
total_price = soup.find('span', class_='dealTotalPrice').find('i').text
house_param['total_price'] = total_price
# 单价
unit_price = soup.find('b').text
house_param['unit_price'] = unit_price
# 建筑年代
age_completion = soup.find('div', class_='content').find("ul").find_all('li')[7].text
age_completion = re.findall(r'-?\d+\.?\d*e?-?\d*?', age_completion)[0]
house_param['age_completion'] = age_completion
write_db(house_param)
except Exception as e:
print(e)
mysql.end("commit")
mysql.dispose()
if __name__ == '__main__':
main()
通过数据爬取,一共找到了706套二手成交房。
分析数据
直奔主题,数据分析下,大家比较关心的价格问题,以下是2019年1月-3月的二手房成交量以及成交价格:
位置 | 成交量 | 单价 |
---|---|---|
李沧 | 124 | 21100 |
同比去年的二手房成交量以及成交价格:
位置 | 成交量 | 单价 |
---|---|---|
李沧 | 277 | 21306 |
吓的博主赶紧用计算器认认真真,仔仔细细的核算了三遍,才敢写下这几个数字,同比去年,单价整整降了206人民币,此处有掌声。再看一下成交量,相比去年少了足足一半之多,相信那124套房子也是卖家忍痛降了206人民币才卖出去的吧!
好了,再看一下大家比较关心的成交周期,2019年1月-3月的二手房成交量以及成交周期:
位置 | 成交量 | 成交周期(天) |
---|---|---|
李沧 | 124 | 96 |
同比去年的二手房成交量以及成交周期:
位置 | 成交量 | 成交周期(天) |
---|---|---|
李沧 | 277 | 83 |
不得不说,相比去年房子的确是难卖了。
小结
很多同事,同学,13、14年就已经上车了,那时李沧1w不到,再看看现在?不想看,没眼看,不能看。最终没在李沧买房,也不是买不起,只是看不到降的希望,相对压力又大一些,而且,也不想把家庭所有的积蓄都赌在这里。
最后,对于刚需就是一个建议,能买早买,有房和没房看一个城市是不一样的,努力赚钱的最大意义就是提升你的幸福感。活在人间不食人间烟火?真以为自己是神仙?有些东西一说的实际一点真的是会伤到某些人的心,祝你们用键盘战胜一切。
相关代码:https://gitee.com/52itstyle/Python
我用Python爬取了李沧最近一年多的二手房成交数据得出以下结论的更多相关文章
- Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析
爬取过程在这里: Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图 本文基于前文爬取生成的douban.txt,基于SnowNLP做情感分析. 依赖库: 豆瓣镜像比较快: ...
- Python爬取豆瓣电影top
Python爬取豆瓣电影top250 下面以四种方法去解析数据,前面三种以插件库来解析,第四种以正则表达式去解析. xpath pyquery beaufifulsoup re 爬取信息:名称 评分 ...
- python爬取《龙岭迷窟》的数据,看看质量剧情还原度到底怎么样
前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:简单 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行 ...
- Python 爬取所有51VOA网站的Learn a words文本及mp3音频
Python 爬取所有51VOA网站的Learn a words文本及mp3音频 #!/usr/bin/env python # -*- coding: utf-8 -*- #Python 爬取所有5 ...
- python爬取网站数据
开学前接了一个任务,内容是从网上爬取特定属性的数据.正好之前学了python,练练手. 编码问题 因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这个机会算是彻底搞清楚了. 问题要从文字的编码讲 ...
- python爬取某个网页的图片-如百度贴吧
python爬取某个网页的图片-如百度贴吧 作者:vpoet mail:vpoet_sir@163.com 注:随意copy,不用告诉我 #coding:utf-8 import urllib imp ...
- Python:爬取乌云厂商列表,使用BeautifulSoup解析
在SSS论坛看到有人写的Python爬取乌云厂商,想练一下手,就照着重新写了一遍 原帖:http://bbs.sssie.com/thread-965-1-1.html #coding:utf- im ...
- 使用python爬取MedSci上的期刊信息
使用python爬取medsci上的期刊信息,通过设定条件,然后获取相应的期刊的的影响因子排名,期刊名称,英文全称和影响因子.主要过程如下: 首先,通过分析网站http://www.medsci.cn ...
- python爬取免费优质IP归属地查询接口
python爬取免费优质IP归属地查询接口 具体不表,我今天要做的工作就是: 需要将数据库中大量ip查询出起归属地 刚开始感觉好简单啊,毕竟只需要从百度找个免费接口然后来个python脚本跑一晚上就o ...
随机推荐
- ReactiveSwift源码解析(二) Bag容器的代码实现
今天博客我接着上篇博客的内容来,上篇博客我们详细的看了ReactiveSwift中的Observer已经Event的代码实现.接下来我们来看一下ReactiveSwift中的结构体Bag的实现.Bag ...
- 9. VIM 系列 - YouCompleteMe 实现代码补全
目录 环境准备 插件安装 环境准备 $ sudo apt install build-essential cmake python3-dev python-dev $ sudo apt install ...
- 由浅入深讲述MVVM
相信首次听说MVVM的人,内心都是充满疑惑的!这是个嘛???能干嘛??? MVVM是Model-View-ViewModel的简写.它本质上就是MVC (Model-View- Controller) ...
- 强化学习(八)价值函数的近似表示与Deep Q-Learning
在强化学习系列的前七篇里,我们主要讨论的都是规模比较小的强化学习问题求解算法.今天开始我们步入深度强化学习.这一篇关注于价值函数的近似表示和Deep Q-Learning算法. Deep Q-Lear ...
- [开源]WinForm 控件使用总结
背景 都2019年了,还在用WinForm吗?哈哈,其实我也没在用,都是很多年前一些项目积累,所以代码写的有些屎,之所以开源出来,希望能给大家有所帮助,喜欢的话给 一个Star以资鼓励~: 具体代码: ...
- 要搞刷机!从它的尸体上踏过去!钢板云路由!WPR003N复活!成功启动OPENWRT
这是一个很鼓舞人心的标题,自从上一篇Aria2序之导言 00,成功的贴出两张开场图片,本来计划写它的开场引言 01,正好cp一个合格的导引(引导读起来有些奇怪),连续懒惰了好几天,突然想起了WPR00 ...
- C# 提前异步加载数据
前言 在我们应用程序中,如果有较大的数据需要从数据库或者本地读取,且是一次性的话,可以提前获取数据并缓存在内存中. 一般处理方法:利用应用程序启动到用户使用功能这一段时间,提前加载数据. 问题来了,因 ...
- Office组件无法正常使用的解决方法
问题与现象 开发时调用Office组件,代码编译是通过的,但在运行时当ApplicationClass对象初始化后程序出现异常. 异常信息如下: 无法将类型为“Microsof ...
- :only-child和:only-of-type选择器的比较
:only-child 当元素是唯一的子元素,被选择. HTML代码: <body> <div class="x"> <div>第一个DIV&l ...
- css3修改浏览器scroll默认样式
最近公司的新项目.前端样式采用的蚂蚁金服的antDesign. 比较喜欢antDesign.BootStrap一类简约大方的前端样式库. 但是在页面布局上.包括一些选择框.默认的scroll样式简直丑 ...