本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理

爬取过程
一、指定爬取数据
二、设置请求头防止反爬
三、分析页面并且与网页源码进行比对
四、分析页面整理数据
五、保存到excel表中
六、使用jupyternotebook进行简单的数据分析

一、指定爬取数据

需求:
提取价格、面积、详细标题、名称、具体位置、房屋结构、装修情况

二、设置请求头

这里设置请求头依然使用最常见的 user-agent和cookie值作为反爬头，但是在实际操作中，由于爬取数据太快可能会导致ip被禁,一开始我也被封过一次。。。。。奇迹的是后来隔了一天打开之后就可以畅通无阻的爬取,但是最保险的方式还是设置一个代理ip防止被封免费的代理大家可以去快代理去尝试,土豪就除外了。

三、分析页面与源码比对

通过对源码的分析,发现页面对数字进行了一个加密。如图

接下来就要对字体进行一个解密
通过查看网页得知,网页上所有的数字都进行了加密,因此提取价格以及房屋结构首先都要对数字进行解密

第一步 分析

字体加密一般都涉及到字体文件,字体文件后面一般为 woff和ttf，字体文件可以在网页源码中找到
在这里我们看到了base64说明这些字符串都是通过base64编码过,这些字符串就是字体映射的内容

第二步 创建、打开文件,查找映射关系
1.创建文件代码

fontdata = re.findall("charset=utf-8;base64,(.*?)'\) format",html,re.S)[0]

fontent = base64.b64decode(fontdata)

f = open("t5.woff", 'wb')

f.write(fontent)

f.close()`

fontdata为bs64编码过后的字符串

2.用TTFont打开文件并保存为xml格式

 fonts = TTFont('t5.woff')

 fonts.saveXML('test8.xml')

3.查看文件并找到索引关系

<cmap>

    <tableVersion version="0"/>

    <cmap_format_4 platformID="0" platEncID="3" language="0">

      <map code="0x9476" name="glyph00008"/><!-- CJK UNIFIED IDEOGRAPH-9476 -->

      <map code="0x958f" name="glyph00003"/><!-- CJK UNIFIED IDEOGRAPH-958F -->

      <map code="0x993c" name="glyph00002"/><!-- CJK UNIFIED IDEOGRAPH-993C -->

      <map code="0x9a4b" name="glyph00006"/><!-- CJK UNIFIED IDEOGRAPH-9A4B -->

      <map code="0x9e3a" name="glyph00009"/><!-- CJK UNIFIED IDEOGRAPH-9E3A -->

      <map code="0x9ea3" name="glyph00005"/><!-- CJK UNIFIED IDEOGRAPH-9EA3 -->

      <map code="0x9f64" name="glyph00010"/><!-- CJK UNIFIED IDEOGRAPH-9F64 -->

      <map code="0x9f92" name="glyph00001"/><!-- CJK UNIFIED IDEOGRAPH-9F92 -->

      <map code="0x9fa4" name="glyph00004"/><!-- CJK UNIFIED IDEOGRAPH-9FA4 -->

      <map code="0x9fa5" name="glyph00007"/><!-- CJK UNIFIED IDEOGRAPH-9FA5 -->

       <GlyphID id="0" name="glyph00000"/>

    <GlyphID id="1" name="glyph00001"/>

    <GlyphID id="2" name="glyph00002"/>

    <GlyphID id="3" name="glyph00003"/>

    <GlyphID id="4" name="glyph00004"/>

    <GlyphID id="5" name="glyph00005"/>

    <GlyphID id="6" name="glyph00006"/>

    <GlyphID id="7" name="glyph00007"/>

    <GlyphID id="8" name="glyph00008"/>

    <GlyphID id="9" name="glyph00009"/>

    <GlyphID id="10" name="glyph00010"/>

列如
&#x9fa4；
&#对应code码的0 code码为x9fa4的name为glyph00004，匹配name为glyph00004的id值为4，在去匹配网页对应的数字发现需要将id值减去1,因此在写代码时提取出name最后一个数字减去1就可以匹配到数字

字体反爬代码

fontdata = re.findall("charset=utf-8;base64,(.*?)'\) format",html,re.S)[0]

    fontent = base64.b64decode(fontdata)

    f = open("t5.woff", 'wb')

    f.write(fontent)

    f.close()

    fonts = TTFont('t5.woff')

    fonts.saveXML('test8.xml')

    root = et.parse('test8.xml').getroot()

    con = root.find('cmap').find('cmap_format_4').findall('map')

    for i in con:

        names = i.attrib['name']

        code = i.attrib['code'].replace('0x', '&#x') + ';'

        c1 = re.findall(r'\d+', names)

        c2 = str(int(c1[0]) - 1)

        content = content.replace(code, c2)

    return content

四、分析页面整理数据

将字体解密后通过分析页面就可以提取出价格、房屋结构和面积的数据,通过xpath定位的方式定位到每一个爬取数据的位置

def lxmldata(data):

    datas =etree.HTML(data)

    list1 = []

    date=datas.xpath("//div[@class='list-content']//div[@class='zu-itemmod']")

    for i,dates in enumerate (date):

        dict = {}

        #价格

        price1 = re.findall('<p><strong><b class="strongbox">(.*?)</b></strong> 元/月</p>', data, re.S)

        price = re.findall('<p><strong><b class="strongbox">(.*?)</b></strong> 元/月</p>', data, re.S)[i]

        #面积

        size = re.findall('<b class="strongbox" style="font-weight: normal;">(.*?)</b>', data, re.S)[2:len(price1)*3:3][i]

        #房屋结构

        fangjian1 = re.findall('<b class="strongbox" style="font-weight: normal;">(.*?)</b>', data, re.S)[0:len(price1)*3:3][i]

        fangjian2 = re.findall('<b class="strongbox" style="font-weight: normal;">(.*?)</b>', data, re.S)[1:len(price1)*3:3][i]

        #详细标题

        title=dates.xpath(".//div[@class='zu-info']//b/text()")

        #名称

        map = dates.xpath(".//address[@class='details-item']/a/text()")

        #具体位置

        local = dates.xpath(".//address[@class='details-item']/text()")

        local = [x.strip() for x in local]

        #装修情况

        zhuangxiu = dates.xpath(".//p[@class='details-item bot-tag']//span[@class='cls-1']/text()")+dates.xpath(".//p[@class='details-item bot-tag']/span[@class='cls-2']/text()")+dates.xpath(".//p[@class='details-item bot-tag']/span[@class='cls-3']/text()")

        dict['价格']=str(fanpa1(price,data))+'元/月'

        dict['面积']=str(fanpa1(size,data))+'平方米'

        dict["详细标题"]=title[0]

        dict['名称']=map[0]

        dict["具体位置"]=local[1]

        dict['房间结构']=fanpa1(fangjian1,data)+'室'+fanpa1(fangjian2,data)+'厅'

        if len(zhuangxiu)==3:

            dict["装修情况"]=zhuangxiu[0]+','+zhuangxiu[1]+','+zhuangxiu[2]

        elif len(zhuangxiu)==2:

            dict["装修情况"]=zhuangxiu[0]+','+zhuangxiu[1]

        else:

            dict["装修情况"] = zhuangxiu[0]

        list1.append(dict)

    return list1

第五步 保存到excel表
设置7个字段分别为[‘价格’,‘面积’,‘详细标题’,‘名称’,‘具体位置’,‘房间结构’,‘装修情况’]
代码如下

def save(list):

    filename = "C:/Users/xxx/Desktop/安居客二十页.xls"

    book = xlwt.Workbook()

    sheet1=book.add_sheet("sheet1")

    header = ['价格','面积','详细标题','名称','具体位置','房间大小','装修情况']

    for i in range(len(header)):

        sheet1.write(0,i,header[i])

    j = 1

    for i in list:

        sheet1.write(j,0,i['价格'])

        sheet1.write(j,1,i['面积'])

        sheet1.write(j,2,i['详细标题'])

        sheet1.write(j,3,i['名称'])

        sheet1.write(j,4,i['具体位置'])

        sheet1.write(j,5,i['房间大小'])

        sheet1.write(j,6,i['装修情况'])

        j = j+1

    book.save(filename)

    print("写入成功")

list是传入的数据，list=lxmldata

总代码

import requests

from lxml import etree

import random

import time

from selenium import webdriver

import base64

import base64

import re

import xml.etree.ElementTree as et

from fontTools.ttLib import TTFont

from fontTools.ttLib import TTFont

import xlwt

#字体反扒

def fanpa1(content,html):

    fontdata = re.findall("charset=utf-8;base64,(.*?)'\) format",html,re.S)[0]

    fontent = base64.b64decode(fontdata)

    f = open("t5.woff", 'wb')

    f.write(fontent)

    f.close()

    fonts = TTFont('t5.woff')

    fonts.saveXML('test8.xml')

    root = et.parse('test8.xml').getroot()

    con = root.find('cmap').find('cmap_format_4').findall('map')

    for i in con:

        names = i.attrib['name']

        code = i.attrib['code'].replace('0x', '&#x') + ';'

        c1 = re.findall(r'\d+', names)

        c2 = str(int(c1[0]) - 1)

        content = content.replace(code, c2)

    return content

#分析页面

def lxmldata(data):

    datas =etree.HTML(data)

    list1 = []

    date=datas.xpath("//div[@class='list-content']//div[@class='zu-itemmod']")

    for i,dates in enumerate (date):

        dict = {}

        #价格

        price1 = re.findall('<p><strong><b class="strongbox">(.*?)</b></strong> 元/月</p>', data, re.S)

        price = re.findall('<p><strong><b class="strongbox">(.*?)</b></strong> 元/月</p>', data, re.S)[i]

        #面积

        size = re.findall('<b class="strongbox" style="font-weight: normal;">(.*?)</b>', data, re.S)[2:len(price1)*3:3][i]

        #房屋结构

        fangjian1 = re.findall('<b class="strongbox" style="font-weight: normal;">(.*?)</b>', data, re.S)[0:len(price1)*3:3][i]

        fangjian2 = re.findall('<b class="strongbox" style="font-weight: normal;">(.*?)</b>', data, re.S)[1:len(price1)*3:3][i]

        #详细标题

        title=dates.xpath(".//div[@class='zu-info']//b/text()")

        #名称

        map = dates.xpath(".//address[@class='details-item']/a/text()")

        #具体位置

        local = dates.xpath(".//address[@class='details-item']/text()")

        local = [x.strip() for x in local]

        #装修情况

        zhuangxiu = dates.xpath(".//p[@class='details-item bot-tag']//span[@class='cls-1']/text()")+dates.xpath(".//p[@class='details-item bot-tag']/span[@class='cls-2']/text()")+dates.xpath(".//p[@class='details-item bot-tag']/span[@class='cls-3']/text()")

        dict['价格']=str(fanpa1(price,data))+'元/月'

        dict['面积']=str(fanpa1(size,data))+'平方米'

        dict["详细标题"]=title[0]

        dict['名称']=map[0]

        dict["具体位置"]=local[1]

        dict['房间结构']=fanpa1(fangjian1,data)+'室'+fanpa1(fangjian2,data)+'厅'

        if len(zhuangxiu)==3:

            dict["装修情况"]=zhuangxiu[0]+','+zhuangxiu[1]+','+zhuangxiu[2]

        elif len(zhuangxiu)==2:

            dict["装修情况"]=zhuangxiu[0]+','+zhuangxiu[1]

        else:

            dict["装修情况"] = zhuangxiu[0]

        list1.append(dict)

    return list1

def save(list):

    filename = "C:/Users/孟尚宇/Desktop/安居客二十页.xls"

    book = xlwt.Workbook()

    sheet1=book.add_sheet("sheet1")

    header = ['价格','面积','详细标题','名称','具体位置','房间大小','装修情况']

    for i in range(len(header)):

        sheet1.write(0,i,header[i])

    j = 1

    for i in list:

        sheet1.write(j,0,i['价格'])

        sheet1.write(j,1,i['面积'])

        sheet1.write(j,2,i['详细标题'])

        sheet1.write(j,3,i['名称'])

        sheet1.write(j,4,i['具体位置'])

        sheet1.write(j,5,i['房间大小'])

        sheet1.write(j,6,i['装修情况'])

        j = j+1

    book.save(filename)

    print("写入成功")

if __name__ == '__main__':

    headers = {

        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36",

        "cookie":"aQQ_ajkguid=C1CC68B8-4D19-287F-3644-2D367108DEC0; id58=e87rkF/LkOJmpXJnEm4JAg==; 58tj_uuid=a6d935e2-5506-4369-9370-d4081b424818; ctid=49; _ga=GA1.2.1998955085.1607386984; _gid=GA1.2.1925540573.1607386984; new_uv=2; als=0; cmctid=2053; wmda_new_uuid=1; wmda_uuid=aa760fc62c405eecb84c273b7206beed; wmda_visited_projects=%3B6289197098934; xxzl_cid=090b7011f13f44c8b3d9271ce16587b3; xzuid=ad62da25-6302-4e3e-992e-eea22f2d9d02; lps=https%3A%2F%2Fhai.zu.anjuke.com%2Ffangyuan%2Fp2%2F%3Ffrom_price%3D0%26to_price%3D2500an%7Chttps%3A%2F%2Fcallback.58.com%2F; wmda_session_id_6289197098934=1607426591062-bdd0135e-4c1f-a60c; xzfzqtoken=lbhfULbvUI2tmDmR%2By8o2XgL%2FoD%2Fi8pTDHftNbKQZZ3J9dDc2%2BiE91mVlKbcur5Hin35brBb%2F%2FeSODvMgkQULA%3D%3D",

        "path":"/fangyuan/p2/?from_price=0&to_price=2500an"

    }

    dict2 = []

    dict1 = []

    for i in range(20):

        url = "https://hai.zu.anjuke.com/fangyuan/p{}/".format(i+1)

        resopnse=requests.get(url=url,headers=headers).content.decode('utf-8')

        list=lxmldata(resopnse)

        dict1.append(list)

        print("第"+str(i)+"页数据完成")

    for j in dict1:

        for k in j:

            dict2.append(k)

    save(dict2)

第六步进行简单的数据分析

分析目标：挑选出安居客2000-4000的并且面积大于100平米的房子

第一步导入数据

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

data2=pd.read_excel(r"C:\Users\xxx\Desktop\安居客二十页.xls")

第二步 找出详细标题重复值并删掉

data2.drop_duplicates(subset=['详细标题'],inplace=True)

第三步删除存在缺失值的某行

data2.dropna(how='any',axis=0)

第四步 挑选出有电梯的房子
定义一个函数如果有电梯在’房屋结构’这一字段数据中，则返回True
之后用布尔索引挑选出数据

def home(s):

    if '有电梯' in s:

        return True

    else:

        return False

data2['房屋结构']=data2['房屋结构'].map(home)

data2=data2[data2['房屋结构']==1]

第五步 找出 三室一厅 三室二厅的房子

data2=data2[(data2['房间大小']=='3室2厅') | (data2['房间大小']=='3室1厅')]

第六步对价格进行分类
对价格分类 500-1000 1000-2000 2000-3000 3000 -4000 4000+

#把字符串后的汉字去掉

data2['价格']=data2['价格'].str.split("元",expand=True).iloc[:,0]

data2['价格']=data2['价格'].astype(int)

grooups=pd.cut(data2['价格'],bins=[500,1000,2000,3000,4000,10000],labels = ['500-1000','1000-2000','2000-3000','3000-4000','4000+'])

data2['价格范围']=grooups

第七步 找出价格为2000-4000的并且面积大于100平米的房子

data2= data2[(data2['价格范围']=='2000-3000')| (data2['价格范围']=='3000-4000')]

data2['面积']=data2['面积'].str.split("平",expand=True).iloc[:,0]

data2['面积']=data2['面积'].astype(float)

groups=pd.cut(data2['面积'],bins = [0,100,100000000000000],labels=['0-100','100-'])

data2['面积范围']=groups

第八步 根据序号找出对应的数据

s=data2[data2['面积范围']=='100-'].index

data=pd.read_excel(r"C:\Users\xxx\Desktop\安居客二十页.xls")

a=list(s)

a = tuple(a)

data3=data.loc[a,:]

想要获取更多Python学习资料可以加
QQ:2955637827私聊
或加Q群630390733
大家一起来学习讨论吧！

python爬虫爬取安居客并进行简单数据分析的更多相关文章

  1. Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据

    目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...

  2. 用Python爬虫爬取广州大学教务系统的成绩（内网访问）

    用Python爬虫爬取广州大学教务系统的成绩(内网访问) 在进行爬取前,首先要了解: 1.什么是CSS选择器? 每一条css样式定义由两部分组成,形式如下: [code] 选择器{样式} [/code ...

  3. python爬虫爬取内容中，-xa0，-u3000的含义

    python爬虫爬取内容中,-xa0,-u3000的含义 - CSDN博客 https://blog.csdn.net/aiwuzhi12/article/details/54866310

  4. python爬虫—爬取英文名以及正则表达式的介绍

    python爬虫—爬取英文名以及正则表达式的介绍 爬取英文名: 一.  爬虫模块详细设计 (1)整体思路 对于本次爬取英文名数据的爬虫实现,我的思路是先将A-Z所有英文名的连接爬取出来,保存在一个cs ...

  5. Python爬虫 - 爬取百度html代码前200行

    Python爬虫 - 爬取百度html代码前200行 - 改进版,  增加了对字符串的.strip()处理 源代码如下: # 改进版, 增加了 .strip()方法的使用 # coding=utf-8 ...

  6. 使用Python爬虫爬取网络美女图片

    代码地址如下:http://www.demodashi.com/demo/13500.html 准备工作 安装python3.6 略 安装requests库(用于请求静态页面) pip install ...

  7. Python爬虫|爬取喜马拉雅音频

    "GOOD Python爬虫|爬取喜马拉雅音频 喜马拉雅是知名的专业的音频分享平台,用户规模突破4.8亿,汇集了有声小说,有声读物,儿童睡前故事,相声小品等数亿条音频,成为国内发展最快.规模 ...

  8. Python爬虫爬取全书网小说，程序源码+程序详细分析

    Python爬虫爬取全书网小说教程 第一步:打开谷歌浏览器,搜索全书网,然后再点击你想下载的小说,进入图一页面后点击F12选择Network,如果没有内容按F5刷新一下 点击Network之后出现如下 ...

  9. 一个简单的python爬虫,爬取知乎

    一个简单的python爬虫,爬取知乎 主要实现 爬取一个收藏夹 里 所有问题答案下的 图片 文字信息暂未收录,可自行实现,比图片更简单 具体代码里有详细注释,请自行阅读 项目源码: # -*- cod ...

随机推荐

  1. 牛客练习赛67 D牛妹爱数列 题解(dp)

    题目链接 题目大意 给你一个长为n的01串,要你进行最少的操作使得这01串变成全为0,求最少操作次数 有两种不同类型的操作 1:翻转一个前缀 2:单调翻转一个元素 题目思路 居然是一个dp,标程讲的很 ...

  2. Mybatis学习-初步认知与使用

    Mybatis是一款优秀的持久层框架.且支持定制化SQL,存储过程以及高级映射 Mybatis几乎免除了所有的JDBC代码以及设置参数和获取结果集的工作,它使用简单的XML或注解来配置原始类型.接口和 ...

  3. 交换机Access、Trunk和Hybrid 接口类型及区别

    交换机接口的类型可以是 Access.Trunk和Hybrid. Access类型的接口仅属于一个VLAN,只能接收.转发相应VLAN的帧: Trunk类型接口则默认属于所有VLAN,任何 Tagge ...

  4. linux下定时任务的简单示例

    1.方式一:用sleep实现定时任务: 1.1 编辑shell脚本,如下sleep_aa.sh: #!/bin/bash t1=`date "+%Y-%m-%d %H:%M:%S" ...

  5. harbor私有仓库部署

    Harbor 简介     Harbor是构建企业级私有docker镜像的仓库的开源解决方案,它是Docker Registry的更高级封装,它除了提供友好的Web UI界面,角色和用户权限管理,用户 ...

  6. 第9.3节 Python的文件行读取：readline

    一. 语法 readline(size=-1) readline函数顾名思义就是从文件内读取一行,用来处理文本文件读取的典型方法之一,但readline可不只是读取文本文件,也能读取二进制文件,只是在 ...

  7. 第15.2节 PyCharm支持Python解释器的配置调整

    上节介绍了PyCharm的安装与简单使用,本节介绍PyCharm相关的配置调整,以支持在PyCharm环境下集成Python解释器进行程序的编译. 一. 工程配置调整 在执行文件前,可能需要对PyCh ...

  8. pytorch SubsetRandomSampler 用法和说明

    官网:https://pytorch.org/docs/stable/data.html?highlight=subsetrandomsampler#torch.utils.data.SubsetRa ...

  9. 第三篇 Scrum 冲刺博客

    一.站立式会议 1. 会议照片 2. 工作汇报 团队成员名称 昨日(24日)完成的工作 今天(25日)计划完成的工作 工作中遇到的困难 陈锐基 - 个人信息编辑后与组件关联- 表白墙数据用 Vuex  ...

  10. 团队作业part3--需求改进&系统设计

    一.需求&原型改进 1. 需求的修改 借鉴其他开发游戏的组的经验以及老师的建议,针对之前的需求分析,作出如下修改: 问题1:这款游戏对玩家的吸引力与驱动性有所不足. 修改1:增加成就系统与排行 ...