python 让挑选家具更方便
家中想置办些家具,听朋友介绍说苏州蠡(li第二声)口的家具比较出名,因为工作在苏州,也去那边看过,简直...,走断双腿都逛不完,更何况还疲于逛街的。
也浏览过家具城的官网,本着在一定的预算范围之类挑选最合适的,作为一个程序猿,一颗不安分的心,决定自己爬虫下网站,列出个excel表格,也方便给父母辈们查看,顺带再练习下爬虫的。
同样后期实地再去购买时,也可以带上这份表格进行参考。
关于爬虫的文章还有另外两篇实战的:
excel表格:
词频统计:
爬虫分析
打开官网 http://www.likoujiaju.com/ ,可以看到分类,这里以「沙发」来举例。
总共8页的数据,第一页的网址里 sell/list-66.html,第二页的sell/list-66-2.html,所以sell/list-66-1.html也就是第一页数据了,这样就更方便遍历网址来获取数据了。
同时这里使用BeautifulSoup
解析数据,F12查找标题、价格、图片对应的标签。
def get_data():
# 定义一个列表存储数据
furniture = []
# 用于存放家具名,后续用于生成词频
title_all = ""
# 分页数据获取
for num in range(1, 9):
url = "http://www.likoujiaju.com/sell/list-66-%d.html" % num
response = requests.get(url)
content = BeautifulSoup(response.content, "lxml")
# 找到数据所在的div块
sm_offer = content.find("div", class_="sm-offer")
lis = sm_offer.ul.find_all("li")
# 遍历每一条数据
for li in lis:
# 价格
price_span = li.find("span", class_="sm-offer-priceNum")
price = price_span.get_text()
# 名称
title_div = li.find("div", class_="sm-offer-title")
title = title_div.a.get_text()
title_all = title_all + title + " "
# 图片
photo_div = li.find("div", class_="sm-offer-photo")
photo = photo_div.a.img.get("src")
# 详情链接
href = photo_div.a.get("href")
# 数组里每一项是元祖
furniture.append((price, title, photo, href))
# 排序
furniture.sort(key=take_price, reverse=True)
# 生成excel
create_excel(furniture, title_all)
爬取到的价格是string类型的,且有些价格并不明确的,所以这里需要对价格进行处理并排序,用到的list的sort(key=take_price)
方法,其中key=take_price
指定的方法,使用指定的方法去进行比较排序。
# 传参是列表的每一个元素,这里即元祖
def take_price(enum):
# 取元祖的第一个参数--价格,处理价格得到数值类型进行比较
price = enum[0]
if "面议" in price: # 面议的话就设为0
return 0
start = price.index("¥")
end = price.index("/")
new_price = price[start + 1:end]
return float(new_price)
再对列表进行排序操作,reverse=True
降序排列
furniture.sort(key=take_price, reverse=True)
生成表格
这里采用的xlsxwriter
库,便于图片的插入,安装pip install xlsxwriter
主要用到的方法:
xlsxwriter.Workbook("")
创建excel表格。
add_worksheet("")
创建工作表。
write(row, col, *args)
根据行、列坐标将数据写入单元格。
set_row(row, height)
设置行高。
set_column(first_col, last_col, width)
设置列宽,first_col
指定开始列位置,last_col
指定结束列位置。
insert_image(row, col, image[, options])
用于插入图片到指定的单元格
创建两个表,一个用于存放爬取的数据,一个用于存放词频。
# 创建excel
def create_excel(furniture, title_all):
# 创建excel表格
file = xlsxwriter.Workbook("furniture.xlsx")
# 创建工作表1
sheet1 = file.add_worksheet("sheet1")
# 定义表头
headers = ["价格", "标题", "图片", "详情链接"]
# 写表头
for i, header in enumerate(headers):
# 第一行为表头
sheet1.write(0, i, header)
# 设置列宽
sheet1.set_column(0, 0, 24)
sheet1.set_column(1, 1, 54)
sheet1.set_column(2, 2, 34)
sheet1.set_column(3, 3, 40)
for row in range(len(furniture)): # 行
# 设置行高
sheet1.set_row(row + 1, 180)
for col in range(len(headers)): # 列
# col=2是当前列为图片,通过url去读取图片展示
if col == 2:
url = furniture[row][col]
image_data = BytesIO(urlopen(url).read())
sheet1.insert_image(row + 1, 2, url, {"image_data": image_data})
else:
sheet1.write(row + 1, col, furniture[row][col])
# 创建工作表2,用于存放词频
sheet2 = file.add_worksheet("sheet2")
# 生成词频
word_count(title_all, sheet2)
# 关闭表格
file.close()
目录下会生成 furniture.xlsx 表格
生成词频
利用jieba分词对家具名进行分词处理,用字典保存各个名词的数量,写入到excel。
# 生成词频
def word_count(title_all, sheet):
word_dict = {}
# 结巴分词
word = jieba.cut(title_all)
word_str = ",".join(word)
# 处理掉特殊的字符
new_word = re.sub("[ 【】-]", "", word_str)
# 对字符串进行分割出列表
word_list = new_word.split(",")
for item in word_list:
if item not in word_dict:
word_dict[item] = 1
else:
word_dict[item] += 1
# 对字典进行排序,按照数目排序
val = sorted(word_dict.items(), key=lambda x: x[1], reverse=True)
# 写入excel
for row in range(len(val)):
for col in range(0, 2):
sheet.write(row, col, val[row][col])
词频统计,实地去购买的时候,也可以根据相应的词汇去咨询卖家~
这篇文章用到的爬虫方面的知识还是比较基础的,excel表格的生成也是xlsxwriter
库的使用,制作成表格也方便父母辈查看。当然,爬虫的数据还可以用在许多地方。
详细代码见
github地址:https://github.com/taixiang/furniture
欢迎关注我的博客:https://blog.manjiexiang.cn/
更多精彩欢迎关注微信号:春风十里不如认识你
有个「佛系码农圈」,欢迎大家加入畅聊,开心就好!
过期了,可加我微信 tx467220125 拉你入群。
python 让挑选家具更方便的更多相关文章
- 【转】python:让源码更安全之将py编译成so
python:让源码更安全之将py编译成so 应用场景 Python是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库,使用其开发产品快速高效. python的解释特性是将py编译为独有的二 ...
- Python的regex模块——更强大的正则表达式引擎
Python自带了正则表达式引擎(内置的re模块),但是不支持一些高级特性,比如下面这几个: 固化分组 Atomic grouping 占有优先量词 Possessive quantifi ...
- Python代码这样写更优雅(转)
1.变量交换 大部分编程语言中交换两个变量的值时,不得不引入一个临时变量: >>> a = 1>>> b = 2>>> tmp = a>&g ...
- 2020 倒计时 1 天,Python 工程师找工作更难了?
Python 是最神奇的编程语言. 无意引战,我说的是"神奇",不是"最好",并不想去"撼动" PHP 的地位. ...
- python和java哪个更值得学?Python会超越Java吗?
Java快死了吗?当然不是.但是Python的普及率每年都在增长.每个都有自己的优点和缺点,并且两者都是值得了解的. 根据IT编程趋势,就工作数量,现有Java开发人员的数量以及IT中的总体使用情况而 ...
- python:让源码更安全之将py编译成so
应用场景 Python是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库,使用其开发产品快速高效. python的解释特性是将py编译为独有的二进制编码pyc文件,然后对pyc中的指令进行解 ...
- Ubuntu1404安装eclipse(目的是为了运行python,当然java更可以)
原创文章,不得转载 我是彩印网(www.caiyin.com) 的技术开发人员,在这里首先请允许我做下业务的介绍 彩印网是由北京出彩电子商务有限公司运营的专业印刷电商,集线上购物.支付.设计.制作.配 ...
- python面试,日更
l1 = [11, 2, 3, 22, 2, 4, 11, 3] 去重并保持原来顺序 # 集合方法 l2 = list(set(l1)) l2.sort(key=l1.index) # 按照l1索引排 ...
- Python中比元组更好用的namedtuple
一.思考 1.什么是元组? 不可变的序列类型 "不能修改的列表" 2.元组支持哪些操作? 元组是序列类型,支持序列类型的所有操作 通过索引取值 one_tuple = (" ...
随机推荐
- Ubuntu 16.04安装Notepadqq编辑器替代Notepad++
Notepad++只有Windows平台产品,对于Linux下有其替代的产品Notepadqq. 安装: sudo add-apt-repository ppa:notepadqq-team/note ...
- Tools - 速查表与备忘单(Cheat Sheet)
Cheat Sheets Rico's cheatsheets Cheat-Sheets.org Python Python Cheat sheet Python Programming Cheat ...
- CentOS7.0小随笔——运行级别
一.Linux运行级别(通用) 0:关机(halt) 1:单用户模式(无需用户名和密码的登录,用于紧急维护系统时用,类似于Windows中的安全模式) 2:不启用网络功能的多用户模式 3:启用网络功能 ...
- MFC控件编程进度条编写
MFC控件编程进度条编写 一丶进度条编程需要用到的方法 进度条MFC已经帮我们封装好类了. 叫做 CProgressCtrl 进度条编程也很简单. 封装的方法也就那个那几个. GetPos() 获 ...
- 【原创】USART异步模式配置
特性: (1)USART只能一位一位地发送和接受数据,在起始位期间,TX端处于低电平:当闲置时,TX端为高. (2)发送和接受由一共用的波特率发生器驱动,当发送器和接收器的使能位分别置位时,分 ...
- CNN 模型压缩与加速算法综述
本文由云+社区发表 导语:卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战,CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一. 前言 自从AlexNet一举夺得 ...
- 项目实战4—HAProxy实现高级负载均衡实战和ACL控制
haproxy实现高级负载均衡实战 环境:随着公司业务的发展,公司负载均衡服务已经实现四层负载均衡,但业务的复杂程度提升,公司要求把mobile手机站点作为单独的服务提供,不在和pc站点一起提供服务 ...
- springboot情操陶冶-@Conditional和@AutoConfigureAfter注解解析
承接前文springboot情操陶冶-@Configuration注解解析,本文将在前文的基础上阐述@AutoConfigureAfter和@Conditional注解的作用与解析 1.@Condit ...
- FineUI开源版(ASP.Net)开发实践-目录
点我订阅 目前所有博客的截图,方便离线观看,点图片 FineUI初学手册 下载,实例项目搭建 FineUI初学手册-部分JS整理 部分JS整理 ASP.NET-FineUI开发实践-1 实际开发环境是 ...
- springBoot系列-->springBoot注解大全
一.注解(annotations)列表 @SpringBootApplication:包含了@ComponentScan.@Configuration和@EnableAutoConfiguration ...