python爬虫(房天下)
房天下
import requests
res = requests.get('http://esf.sz.fang.com/')
#res.text
from bs4 import BeautifulSoup
soup = BeautifulSoup(res.text,'html.parser')
domain = 'http://esf.sz.fang.com'
for house in soup.select('.houseList dl'):
if len(house.select('.title')) > 0:
#print(house.select('.title'))
#print(house.select('.title')[0].text.strip('\n'))
#title = house.select('.title')[0].text.strip('\n')
link = house.select('.title a')[0]['href']
url = domain + link
#print(title)
print(url)
print("=====================================")
http://esf.sz.fang.com/chushou/3_195350255.htm
=====================================
http://esf.sz.fang.com/chushou/3_195673873.htm
=====================================
http://esf.sz.fang.com/chushou/3_194871298.htm
=====================================
http://esf.sz.fang.com/chushou/3_195440493.htm
=====================================
http://esf.sz.fang.com/chushou/3_194941076.htm
=====================================
http://esf.sz.fang.com/chushou/3_195229169.htm
=====================================
http://esf.sz.fang.com/chushou/3_195408601.htm
=====================================
http://esf.sz.fang.com/chushou/3_195686255.htm
=====================================
http://esf.sz.fang.com/chushou/3_195652264.htm
=====================================
http://esf.sz.fang.com/chushou/3_195602160.htm
=====================================
http://esf.sz.fang.com/chushou/3_195499064.htm
=====================================
http://esf.sz.fang.com/chushou/3_195655132.htm
=====================================
http://esf.sz.fang.com/chushou/3_195018784.htm
=====================================
http://esf.sz.fang.com/chushou/3_193837152.htm
=====================================
http://esf.sz.fang.com/chushou/3_195680364.htm
=====================================
http://esf.sz.fang.com/chushou/3_195585056.htm
=====================================
http://esf.sz.fang.com/chushou/3_195346885.htm
=====================================
http://esf.sz.fang.com/chushou/3_195500516.htm
=====================================
http://esf.sz.fang.com/chushou/3_194325860.htm
=====================================
http://esf.sz.fang.com/chushou/3_195556602.htm
=====================================
http://esf.sz.fang.com/chushou/3_195555259.htm
=====================================
http://esf.sz.fang.com/chushou/3_195692033.htm
=====================================
http://esf.sz.fang.com/chushou/3_195202600.htm
=====================================
http://esf.sz.fang.com/chushou/3_195521932.htm
=====================================
http://esf.sz.fang.com/chushou/3_195392858.htm
=====================================
http://esf.sz.fang.com/chushou/3_194891027.htm
=====================================
http://esf.sz.fang.com/chushou/3_192915787.htm
=====================================
http://esf.sz.fang.com/chushou/3_195538851.htm
=====================================
http://esf.sz.fang.com/chushou/3_195737629.htm
=====================================
http://esf.sz.fang.com/chushou/3_195587205.htm
=====================================
'''
[0] 出错
IndexError: list index out of range
第1种可能情况
list[index]index超出范围
第2种可能情况
list是一个空的 没有一个元素
进行list[0]就会出现该错误
'''
import requests
res = requests.get('http://esf.sz.fang.com/chushou/10_195724712.htm')
from bs4 import BeautifulSoup
soup = BeautifulSoup(res.text,'html.parser')
soup.select('.title h1')[0].text.strip()
'碧桂园翡翠山坡地别墅 配套设施齐全 环境优美 价格实惠 交通便利'
info = {}
info['标题'] = soup.select('.title h1')[0].text.strip()
info
{'标题': '碧桂园翡翠山坡地别墅 配套设施齐全 环境优美 价格实惠 交通便利'}
soup.select('.zongjia1 .red20b')[0].text
'398'
info['总价'] = soup.select('.zongjia1 .red20b')[0].text
info
{'总价': '398', '标题': '碧桂园翡翠山坡地别墅 配套设施齐全 环境优美 价格实惠 交通便利'}
for dd in soup.select('dd'):
if ':' in dd.text.strip():
#print(dd.text.strip().split(':'))
key,value = dd.text.strip().split(':')
info[key] = value
info
{'专业度': '2.3',
'二 手 房': '32套',
'使用面积': '216�O',
'厅 结 构': '平层',
'参考月供': '',
'参考首付': '119.4万',
'同比去年': '↓2.1%',
'地上层数': '3层',
'地下室面积': '200平米(全明)',
'好评率': '33%',
'建筑年代': '2016年',
'建筑形式': '独栋',
'建筑面积': '216�O',
'开 发 商': '东莞市黄江碧桂园房地产开发有限公司',
'总价': '398',
'户型': '5室2厅1厨4卫',
'标题': '碧桂园翡翠山坡地别墅 配套设施齐全 环境优美 价格实惠 交通便利',
'满意度': '2.3',
'物 业 费': '暂无资料',
'物业公司': '暂无资料',
'物业类型': '别墅',
'环比上月': '↓1.39%',
'真实度': '2.3',
'租 房': '0套',
'绿 化 率': '0.00%',
'花园面积': '100平米',
'装修程度': '精装修',
'车位数量': '2个',
'车库数量': '1个',
'进门朝向': '南'}
def getHouseDetil(url):
info = {}
import requests
res = requests.get(url)
from bs4 import BeautifulSoup
soup = BeautifulSoup(res.text,'html.parser')
info['标题'] = soup.select('.title h1')[0].text.strip()
info['总价'] = soup.select('.zongjia1 .red20b')[0].text
for dd in soup.select('dd'):
if ':' in dd.text.strip():
#print(dd.text.strip().split(':'))
key,value = dd.text.strip().split(':')
info[key] = value
return info
url = 'http://esf.sz.fang.com/chushou/3_195684731.html'
getHouseDetil(url)
{'专业度': '5',
'二 手 房': '264套',
'产权性质': '商品房',
'住宅类别': '普通住宅',
'使用面积': '76�O',
'参考月供': '',
'参考首付': '114万',
'同比去年': '↑1.11%',
'好评率': '100%',
'年代': '2013年',
'建筑类别': '板楼',
'建筑面积': '89�O',
'开 发 商': '和记黄埔地产(深圳)有限公司',
'总价': '380',
'户型': '3室2厅1厨2卫',
'朝向': '南',
'标题': '刚刚放盘 和黄懿花园顶楼湖景房 带20万装修 诚心出售380万!',
'楼层': '高层(共10层)',
'满意度': '5',
'物 业 费': '3.8元/平米・月',
'物业公司': '暂无资料',
'物业类型': '住宅',
'环比上月': '↑0.01%',
'真实度': '5',
'租 房': '66套',
'结构': '平层',
'绿 化 率': '30.00%',
'装修': '精装修'}
综合案例
import requests
from bs4 import BeautifulSoup
res = requests.get('http://esf.sz.fang.com/')
soup = BeautifulSoup(res.text,'html.parser')
domain = 'http://esf.sz.fang.com'
houslist = []
for house in soup.select('.houseList dl'):
if len(house.select('.title')) > 0:
link = house.select('.title a')[0]['href']
url = domain + link
houslist.append(getHouseDetil(url))
len(houslist)
30
houslist[21]
{'专业度': '5.0',
'二 手 房': '993套',
'产权性质': '商品房',
'住宅类别': '普通住宅',
'使用面积': '126�O',
'参考月供': '',
'参考首付': '47.4万',
'同比去年': '暂无资料',
'好评率': '100%',
'年代': '2016年',
'建筑类别': '板楼',
'建筑面积': '128�O',
'开 发 商': '20160527162320,2016051',
'总价': '158',
'户型': '4室2厅1厨2卫',
'朝向': '南北',
'标题': '碧桂园公园上城、全智能社区、精装四房、南站万达、带',
'满意度': '5.0',
'物 业 费': '2.6元/�O・月',
'物业公司': '广东碧桂园物业服务有限公司',
'物业类型': '住宅',
'环比上月': '↑0.14%',
'真实度': '5.0',
'租 房': '0套',
'结构': '平层',
'绿 化 率': '30.00%',
'装修': '精装修'}
import pandas
df = pandas.DataFrame(houslist)
#df
df.to_excel('/mnt/z/house.xlsx')
url1 = 'http://esf.sz.fang.com/house/i3'
for i in range(1,3):
print (url1 + str(i))
http://esf.sz.fang.com/house/i31
http://esf.sz.fang.com/house/i32
import requests
import pandas
from bs4 import BeautifulSoup
domain = 'http://esf.sz.fang.com'
url1 = 'http://esf.sz.fang.com/house/i3'
houslist = []
for i in range(1,21):
res = requests.get(url1 + str(i))
soup = BeautifulSoup(res.text,'html.parser')
for house in soup.select('.houseList dl'):
if len(house.select('.title')) > 0:
link = house.select('.title a')[0]['href']
url = domain + link
houslist.append(getHouseDetil(url))
df = pandas.DataFrame(houslist)
df.to_excel('/mnt/z/house4.xlsx')
python爬虫(房天下)的更多相关文章
- python爬虫-房天下-登录
房天下-登录 本次爬取的网址为:https://passport.fang.com 一.分析请求 输入用户名和密码,点击登录按钮 请求的参数为: uid: 123456789 pwd: 64ccd42 ...
- python分布式爬虫--房天下
第一步安装redis redis在windows系统中的安装与启动: 下载:redis官方是不支持windows操作系统的.但是微软的开源部门将redis移植到了windows上.因此下载地址不是在r ...
- python爬虫项目(scrapy-redis分布式爬取房天下租房信息)
python爬虫scrapy项目(二) 爬取目标:房天下全国租房信息网站(起始url:http://zu.fang.com/cities.aspx) 爬取内容:城市:名字:出租方式:价格:户型:面积: ...
- 爬虫Scrapy框架运用----房天下二手房数据采集
在许多电商和互联网金融的公司为了更好地服务用户,他们需要爬虫工程师对用户的行为数据进行搜集.分析和整合,为人们的行为选择提供更多的参考依据,去服务于人们的行为方式,甚至影响人们的生活方式.我们的scr ...
- Python爬取房天下二手房信息
一.相关知识 BeautifulSoup4使用 python将信息写入csv import csv with open("11.csv","w") as csv ...
- from appium import webdriver 使用python爬虫,批量爬取抖音app视频(requests+Fiddler+appium)
使用python爬虫,批量爬取抖音app视频(requests+Fiddler+appium) - 北平吴彦祖 - 博客园 https://www.cnblogs.com/stevenshushu/p ...
- Python爬虫利器六之PyQuery的用法
前言 你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有 ...
- 月薪45K的Python爬虫工程师告诉你爬虫应该怎么学,太详细了!
想用Python做爬虫,而你却还不会Python的话,那么这些入门基础知识必不可少.很多小伙伴,特别是在学校的学生,接触到爬虫之后就感觉这个好厉害的样子,我要学.但是却完全不知道从何开始,很迷茫,学的 ...
- Python爬虫实战三之实现山东大学无线网络掉线自动重连
综述 最近山大软件园校区QLSC_STU无线网掉线掉的厉害,连上之后平均十分钟左右掉线一次,很是让人心烦,还能不能愉快地上自习了?能忍吗?反正我是不能忍了,嗯,自己动手,丰衣足食!写个程序解决掉它! ...
随机推荐
- iOS自己定义返回button(不影响返回手势)
此方法能够自己定义返回button,且不影响返回手势. 新方法: self.navigationItem.leftBarButtonItem = [[UIBarButtonItem alloc] in ...
- FFmpeg的HEVC解码器源码简单分析:概述
===================================================== HEVC源码分析文章列表: [解码 -libavcodec HEVC 解码器] FFmpeg ...
- WPF自学入门(十一)WPF MVVM模式Command命令 WPF自学入门(十)WPF MVVM简单介绍
WPF自学入门(十一)WPF MVVM模式Command命令 在WPF自学入门(十)WPF MVVM简单介绍中的示例似乎运行起来没有什么问题,也可以进行更新.但是这并不是我们使用MVVM的正确方式 ...
- cnn,rnn,dnn
CNN(卷积神经网络).RNN(循环神经网络).DNN(深度神经网络)的内部网络结构有什么区别? https://www.zhihu.com/question/34681168 CNN(卷积神经网络) ...
- bug统计分析续(一)基于SQL的Bug统计方法
本文由 @lonelyrains 出品.转载请注明出处. 文章链接: http://blog.csdn.net/lonelyrains/article/details/44225533 上一篇为 bu ...
- TCP/IP具体解释学习笔记——数据链路层(2)
五 Wireless LANs(Wi-Fi) 现在很流行的一种接入互联网的方式就是Wi-Fi了.我们用的ipad.手机.笔记本电脑等等都能够用这样的方式接入互联网,很方便灵活.一个典型的Wi-Fi网络 ...
- android开发真机调试 相关东东
android开发真机调试 相关东东 我们做android开发的时候,可以用模拟器,也可以真机调试,但是电脑配置不高的话,模拟器,真的是慢的有的一说,所以我一直倾向于用真机调试,但是问题也就来了,模拟 ...
- iOS开发——常见BUG——window决定程序的状态栏管理问题
Xcode7升级之后遇到的问题 问题一: 老项目在Xcode6上运行没有任何问题,但在Xcode7上运行直接崩了! 经过一波分析: 发现是因为我顶部状态栏处添加了topWindow,用于处理Tab ...
- srcset
<div id="pg-334-2" class="panel-grid panel-has-style"> <div style=" ...
- Keepalived+lvs 搭建高可用负载均衡
本站点停止更新,请访问:blog.coocap.com 不了解负载均衡高可用的童鞋,强烈建议先看keepalived+nginx高可用负载均衡: 传送门(求粉):http://www.cnblogs. ...