程序员的选房神技,GitHub上的房源爬虫
买房,在中国是任何一个年轻人都绕不开都话题。特别是在当下限购摇号等多重政策打压的情况,要选到一个自己心仪的房子可谓难度不小。
而且,伴随着房价上涨的还有房租。买不起房的,想要租个合适的小窝也不容易啊!
正在看房路上的我,只能用下图表达此时心情!
万万没想到的是,在选房这个难题上,程序员小哥哥却自有神技。利用爬虫技术轻松获取所有房源,搭配数据分析轻松就搞定了自己的小窝。
此时的你,是不是流下了“不懂技术”的眼泪。不哭不哭站起来撸,来看看 Github 上的房源爬虫,直接拿来就用岂不更妙!
1.自如实时房源提醒
房源监控脚本,自动检测符合条件的高性价比房源,1个小时更新一次。一旦出现符合条件的房源就打印出来。代码量不大,却十分好用。
项目地址:facert/ziroom_realtime_spider
2.链家二手房租房在线数据
一个链家网全国房源爬虫工具,轻松获取存量房交易数据以及现存房源。还搭配了数据分析的教程,提供可视化。
项目地址:XuefengHuang/lianjia-scrawler
数据分析教程:https://www.ershoufangdata.com/
3.贝壳网爬虫API:
直接通过pip install ke
安装即可使用,一行代码将指定筛选条件的全量数据保存为JSON/csv。
项目地址:rangduju/Ke
使用命令:
from Ke.ke import Ke
%%time
df = Ke(username='17810375258', password='abcd1234').ke_scraper_rent(url='https://bj.zu.ke.com/zufang/sanlitun/l0', keyword='北京三里屯', export='csv')
df
4.链家网和贝壳网房价爬虫
采集北京上海广州深圳等21个中国主要城市的房价数据(小区,二手房,出租房,新房),稳定可靠快速!支持csv,MySQL, MongoDB,Excel, json存储,并且同时支持Python2和3。具有图表展示数据功能,并且拥有详细注释,可进行功能扩展。
项目地址:jumper2014/lianjia-beike-spider
5.北京地区链家房屋成交
爬下了北京所有的小区信息及北京的所有历史成交记录,很简单的一个爬虫,可供北京地区的购房者进行价格比较。
6.号称宇宙最快的链家爬虫
直接使用链家API抓取数据的技术爬虫,作者自嗨号称宇宙最快,具体快不快,还等你亲自试试呢。
项目地址:CaoZ/Fast-LianJia-Crawler
7.地图搜租房
爬虫全天不间断获取公开租房信息,汇总处理分析后落地到数据库中。整合房源众多,包括豆瓣租房小组】、【豆瓣租房小程序】、【Zuber合租】、【蘑菇租房】、【CCB建融家园】、【58同城品牌公寓】、【Hi住租房】、【房多多】、【贝壳租房】、【v2ex租房帖子】、【上海互助租房】。并且支持房价筛选、个人房源。可以直接利用高的地图展示房源。现在都拥有自己的官网产品了。
官网地址:地图搜租房
实验楼曾经有一个实习生,把自己毕业时利用高德 API 和 Python 找到房子的租房经历。写成了一个课程,感兴趣的同学也可以关注学习一下!《高德API + Python 解决租房问题》
知乎专栏同步:https://zhuanlan.zhihu.com/p/86133918
程序员的选房神技,GitHub上的房源爬虫的更多相关文章
- 为什么说程序员都应该玩一玩GitHub
既熟悉又陌生的GitHub 关于GitHub,相信每一个程序员都再熟悉不过了.它为开发者提供Git仓库的托管服务,是全世界最大的代码集中地,被戏称为“全球最大同性交友网站”. 但是对于很大一部分程序员 ...
- 为什么找程序员一定要看他的 GitHub
听说 最开始听到这句话是某知名互联网公司大牛告诉我的,我很不以为然,不过迫于他是"leader"我也注册了一个 highsea (广告 0.0):当然我可懒得 push 更别提 c ...
- 程序员们,还在挣扎着上不了github吗
前言 无兄弟,不篮球:无github,不代码.github和stackoverflow是程序员们的最爱,哪怕是github总是在抽疯,虐了程序员们千百遍,但他们还是想各种办法艰难地在github分享他 ...
- 【同行说技术】Python程序员小白变大神必读资料汇总( 三)
在文章<Python开发.调试.爬虫类工具大全>里面向大家总结了各种实用工具和爬虫技术,今天小编收集了5篇带有实例干货的资料,赶紧来看看吧!另外,喜欢写博客的博主可以申请加工程师博主交流群 ...
- 开源字体不香吗?五款 GitHub 上的爆红字体任君选
作者:HelloGitHub-ChungZH 在编程时,用一个你喜欢的字体可以大大提高效率,越看越舒服.这篇文章就推荐 5 个在 GitHub 上优秀的字体供大家选择吧! 1. Iosevka 网站: ...
- 大神为你分析 Go、Java、C 等主流编程语言(Go可以替代Java,而且最小化程序员的工作量,学习比较容易)
本文主要分析 C.C++98.C++11.Java 与 Go,主要论述语言的关键能力.在论述的过程中会结合华为各语言编程专家和华为电信软件内部的骨干开发人员的交流,摒弃语言偏好或者语言教派之争,尽量以 ...
- 程序员的情人节「GitHub 热点速览 v.22.07」
又是一年情人日,刚好还是发文的今天.也没什么好送的,送点程序员的浪漫--代码和开源项目吧.记得在本周特推查收这份来自程序员的独有浪漫. 本周 GitHub 霸榜的项目基本上都是老项目,从老项目中挖点新 ...
- [Mac A]为什么国外程序员爱用 Mac?
from http://www.vpsee.com/2009/06/why-programmers-love-mac/ Mac 在国外很受欢迎,尤其是在 设计/web开发/IT 人员圈子里.普通用户喜 ...
- 苦B程序员的数据验证之路
发生了什么事 在一次苦B程序员和苦C程序员的结对编程中发生的一段对话 代码是这样的: public void deleteAllExtendAclsFromContent(String content ...
随机推荐
- 设置ESXi宿主机开机自动启动虚拟机
转载于 https://blog.csdn.net/Form_/article/details/71170813 在百度上面找了一圈都是讲ESXi6.0之前的版本,在VMware vSphere Cl ...
- SVM – 核函数
核函数的起源是对于线性不可分的分类情况,其实可以通过p次方多项式,及非线性模型进行分类:然后对于这类非线性多次方的,其实可以按照广义线性模型来进行升维变形,使之成为线性模型,这样就可以放到SVM中来进 ...
- 【ARM-Linux开发】Makefile 使用总结
Makefile 使用总结 1. Makefile 简介 Makefile 是和 make 命令一起配合使用的. 很多大型项目的编译都是通过 Makefile 来组织的, 如果没有 Makefile, ...
- Linux 就该这么学 CH02新手必须掌握的Linux命令
0 概述 本章内容如下 强大的shell. 帮助文档命令(1) 系统工作命令(10) 系统状态监测命令(8) 工作目录切换命令(3) 文本文件编辑命令(9) 文件目录管理命令(7) 打包压缩或搜索命令 ...
- 阿里云 安装docker
转 https://www.jianshu.com/p/f02d63ee98e0
- Django框架第七篇(模型层)--多表操作:一对多/多对多增删改,跨表查询(基于对象、基于双下划线跨表查询),聚合查询,分组查询,F查询与Q查询
一.多表操作 一对多字段的增删改(book表和publish表是一对多关系,publish_id字段) 增 create publish_id 传数字 (publish_id是数据库显示的字段名 ...
- Java调用Http/Https接口(6)--RestTemplate调用Http/Https接口
RestTemplate是Spring提供的用于访问Http接口的客户端,提供同步的API:在将来的Spring版本中可能会过时,将逐渐被WebClient替代.文中所使用到的软件版本:Java 1. ...
- IDEA和Eclipse启动优化
昨天对比了下IDEA和Eclipse的启动速度,发现IDEA启动真的是好慢啊!!! 电脑配置:8G win7 IDEA启动配置 -Xms1024m -Xmx1024m -Xmn500m -XX:Met ...
- elasticsearch原理学习笔记
https://mp.weixin.qq.com/s/dn1n2FGwG9BNQuJUMVmo7w 感谢,透彻的讲解 整理笔记 请说出 唐诗中 包含 前 的诗句 ...... 其实你都会,只是想不起 ...
- python预习day1
计算机基础 cpu 大脑 内存 临时记忆 硬盘 永久记忆 输入设备 眼睛 耳朵 输出设备 嘴巴 操作系统 控制计算机硬件工作流程的 应用程序 安装在操作系统之上的软件 python简介 python是 ...