闲鱼上哪些商品抢手?Python 分析后告诉你
1目 标 场 景
经常看到有朋友在闲鱼卖些小东西又或是自己擅长的一些技能,都能为他们带来不错的 睡后收入。
闲鱼上大量的商品,很难精准判断哪些受欢迎,哪些好卖;一个个录入数据去做数据分析,浪费时间的同时,效率也极其的低效。
本篇文章的目的是利用 Python 自动化 来获取某类商品中最好卖的商品以供参考。
ps:本文仅限用于技术交流,请勿用于其他用途。
2准 备 工 作
在编写代码之前,需要做如下准备工作:
1、配置好 Android ADB 开发环境
2、Python 虚拟环境内安装 pocoui 依赖库
3、安装数据可视化依赖库 pyecharts
# pocoui
pip3 install pocoui # 数据可视化图表
pip3 install pyecharts -U
3编 写 代 码
我们分 7 个步骤来实现这个功能,分别是:打开目标应用客户端、检索关键字到商品列表界面、计算最佳滑动距离、筛选商品、获取商品链接地址、写入文件排序并统计商品、配置参数。
第 1 步,使用 pocoui 自动化打开目标应用。
def __pre(self):
"""
准备工作
:return:
"""
home()
stop_app(package_name)
start_my_app(package_name, activity) # 等待到达桌面
self.poco(text=‘闲鱼‘).wait_for_appearance()
self.poco(text=‘鱼塘‘).wait_for_appearance()
self.poco(text=‘消息‘).wait_for_appearance()
self.poco(text=‘我的‘).wait_for_appearance() print(‘进入闲鱼主界面‘)
进入到闲鱼首页之后,应用端会拿到剪切板的数据,当存在特定规律的口令的时,会立马弹出一个对话框,因此需要模拟关闭对话框的操作。
# 如果指定时间内内有淘口令,就关闭
for i in range(10, -1, -1):
close_element = self.poco(‘com.taobao.idlefish:id/ivClose‘)
if close_element.exists():
close_element.click()
break
time.sleep(1)
打开应用之后,就可以进行第 2 步操作了。
通过要检索的关键字,模拟输入到输入框内,然后点击搜索按钮,一直等待搜过列表出现为止。
另外,为了更加方便地处理数据,商品列表切换到列表模式,即一行只显示一个商品。
def __input_key_word(self):
"""
输入关键字
:return:
"""
# 进入搜索界面
perform_click(self.poco(‘com.taobao.idlefish:id/bar_tx‘)) # 搜索框内输入文本
self.poco(‘com.taobao.idlefish:id/search_term‘).set_text(self.good_msg) # 点击搜索按钮
while True:
# 等待检索结果列表出现
if not self.poco(‘com.taobao.idlefish:id/list_recyclerview‘).exists():
perform_click(self.poco(‘com.taobao.idlefish:id/search_button‘, text=‘搜索‘))
else:
break # 等待商品列表完全出现
self.poco(‘com.taobao.idlefish:id/list_recyclerview‘).wait_for_appearance() # 切换到列表
perform_click(self.poco(‘com.taobao.idlefish:id/switch_search‘))
第 3 步,计算最佳滑动距离。
为了保证爬取数据的高效性,获取计算出每次滑动的最佳距离。
首先先拿到当前界面的 UI 控件树,然后通过控件的属性 ID 拿到商品的坐标,进而得到每一项商品的高度。
最后,通过观察屏幕中出现商品的数目得到最佳滑动距离。
def __get_good_swipe_distance(self):
"""
获取每次滑动,最合适的距离
:return:
"""
element = Element()
# 保存当前的UI树到本地
element.get_current_ui_tree() # 第一个商品Item的坐标
position_item = element.find_elment_position_by_id_and_index("com.taobao.idlefish:id/card_root",
"1")
# 商品的高度
item_height = position_item[1][1] - position_item[0][1] # 通过观察,当前屏幕有3件商品
return item_height * 3
第 4 步,筛选商品。
上面的步骤拿到最佳的滑动距离,不停的滑动页面遍历列表元素的子 Item。
需要注意的是,为了避免滑动惯性导致的误差,每一次的滑动时长最好设置为 2s 以上。
通过商品 Item 筛选出想要数目大于预设数字的商品。
# 多少人想要
want_element_parent = item.offspring(‘com.taobao.idlefish:id/search_item_flowlayout‘) if want_element_parent.exists():
# 想要数/已付款数目
want_element = want_element_parent.children()[0] want_content = want_element.get_text() # 过滤掉【已付款】等其他商品,只保留个人发布商品
if ‘人想要‘ not in want_content:
continue # 拿到商品想要的具体数目,代表商品热度
want_num = get_num(want_content) if int(want_num) < self.num_assign:
# print(‘不达标,过滤掉‘)
pass
else:
# 商品想要数达标,加入统计
第 5 步,获取商品链接地址。
对于上一步满足条件的商品,点击商品 Item 进入到商品详情页面。
接着点击右上角的分享按钮,会立即弹出分享对话框。
然后点击口令控件,会提示口令复制到系统剪切板成功。
# 点击更多
while True:
if self.poco(‘com.taobao.idlefish:id/ftShareName‘).exists():
break
print(‘点击更多~‘)
perform_click(self.poco(text=‘更多‘)) # 点击复制淘口令
perform_click(self.poco(‘com.taobao.idlefish:id/ftShareName‘, text=‘淘口令‘)) # 拿到口令码
taobao_code_element = self.poco(‘com.taobao.idlefish:id/tvWarnDetail‘) taobao_code = taobao_code_element.get_text()
第 6 步,写入商品、排序并统计数据。
将上面获取到的商品标题、想要数、分享地址写入到 CSV 文件中。
然后读取数据文件,通过对表格中的第二列进行反向排序,使商品按照想要数进行降序排列。
def __sort_result(self):
"""
对爬取的结果进行排序
:return:
"""
reader = csv.reader(open(self.file_path), delimiter=",") # 头部标题
head_title = next(reader) # 按照第二列进行逆序排列
sortedlist = sorted(reader, key=lambda x: (int(x[1])), reverse=True) # 写入头部数据
write_to_csv(self.file_path, [(head_title[0], head_title[1], head_title[2])], False) for value in sortedlist:
write_to_csv(self.file_path, [(value[0], value[1], value[2])], False) return sortedlist
最后拿到前 10 项数据,利用 pyecharts 生成统计图表。
def draw_image(self, sortedlist):
"""
画图
:param sortedlist:
:return:
""" # 标题列表
titles = [] # 销量
sales_num = [] # 拿到爬取结果的标题、销量两个列表
with open(self.file_path, ‘r‘) as csvfile:
# 读取文件
reader = csv.DictReader(csvfile) # 加入列表中
for row in reader:
titles.append(row[‘title‘])
sales_num.append(row[‘num‘]) # 数目限制
if len(titles) > self.num:
titles = titles[:self.num]
sales_num = sales_num[:self.num] # 画图
bar = (
Bar()
.add_xaxis(titles)
.add_yaxis("哪些好卖", sales_num)
.set_global_opts(title_opts=opts.TitleOpts(title="我要卖货"))
)
bar.render(‘%s.html‘ % self.good_msg)
第 7 步,配置参数。
编写 yaml 文件,指定要爬取商品的关键字、爬取时间、想要数考核指标数、筛选商品数目。
goods:
# 搜索商品1,包含搜索关键字、爬取时间
good1:
key_word: ‘资料‘ # 搜索关键字
key_num: 100 # 筛选【想要数】的临界点
num: 10 # 只筛选爆款
time: 600 # 爬取时间(秒)
4结 果 结 论
提前配置好商品关键字、爬取时间等参数,即可以爬取到符合要求的、最好卖的商品数据,最终以图表的方式展示出来。
原文地址:https://blog.51cto.com/15023272/2558869
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理
想要获取更多Python学习资料可以加QQ:2955637827私聊或加Q群630390733大家一起来学习讨论吧!
闲鱼上哪些商品抢手?Python 分析后告诉你的更多相关文章
- Python 分析后告诉你闲鱼上哪些商品抢手?
前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:[Airpython] PS:如有需要Python学习资料的小伙伴可以 ...
- 走近科学,探究阿里闲鱼团队通过数据提升Flutter体验的真相
背景 闲鱼客户端的flutter页面已经服务上亿级用户,这个时候Flutter页面的用户体验尤其重要,完善Flutter性能稳定性监控体系,可以及早发现线上性能问题,也可以作为用户体验提升的衡量标准. ...
- GMTC2019|闲鱼-基于Flutter的架构演进与创新
2012年应届毕业加入阿里巴巴,主导了闲鱼基于Flutter的新混合架构,同时推进了Flutter在闲鱼各业务线的落地.未来将持续关注终端技术的演变及趋势 Flutter的优势与挑战 Flutter是 ...
- 闲鱼hu超赞,有赞必回,24小时在线!咸鱼互赞超赞留言评
有没有在闲鱼上卖东西没有浏览量的人! 我们来一起互赞互相提高彼此宝贝的浏览量,从而更快的促进交易! 我打算建个群,我们可以一起交流下哈! 需要的进入QQ群 : 530980712
- 开源项目在闲鱼、b 站上被倒卖?这是什么骚操作?
起因 - 又是一封邮件 2020 年 3 月 2 日,收到了一封邮件,对,这次故事的起因又是一封邮件,和上次写个bug被国家信息安全漏洞共享平台抓到了一样. 这是一条评论通知邮件,一开始我以为只是正常 ...
- PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二手急速响应捡垃圾平台_3(附源码持续更新)
说明 文章首发于HURUWO的博客小站,本平台做同步备份发布. 如有浏览或访问异常图片加载失败或者相关疑问可前往原博客下评论浏览. 原文链接 PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二 ...
- 五月天的线上演唱会你看了吗?用Python分析网友对这场线上演唱会的看法
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:CDA数据分析师 豆瓣9.4分!这场线上演唱会到底多好看? 首先让我 ...
- Python分析离散心率信号(上)
Python分析离散心率信号(上) 一些理论和背景 心率包含许多有关信息.如果拥有心率传感器和一些数据,那么当然可以购买分析包或尝试一些可用的开源产品,但是并非所有产品都可以满足需求.也是这种情况.那 ...
- GIAC2019 演讲精选 | 面向未来的黑科技——UI2CODE闲鱼基于图片生成跨端代码
一直以来, 如何从‘视觉稿’精确的还原出 对应的UI侧代码 一直是端侧开发同学工作里消耗比较大的部分,一方面这部分的工作 比较确定缺少技术深度,另一方面视觉设计师也需要投入大量的走查时间,有大量无谓的 ...
随机推荐
- DNS系列—DNS简介
DNS是什么? 如果了解互联网主机之间是用IP地址来进行通信的话,有了这个认识的前提,我们来聊一下什么是DNS.一个IP地址有十几个字符那么长,和手机号码长度差不多,我们怎么记住这些我们想要访问的主机 ...
- Java设计模式——观察者模式的灵活应用
灵感来源于一个猪队友给我的题目 看到这个,我抓住的关键字是:任何子任务失败,要通知所有子任务执行取消逻辑. 这不就是消息广播吗?观察者模式! 干活 首先是收听者 package com.example ...
- python搭建本地共享文件服务器
1.安装python 去官网下载python最新版,然后安装配置好环境 2.运行命令 在终端上输入以下命令 python3 -m http.server 当你执行完这个命令的时候,你的电脑会监听 80 ...
- JSX中写 switch case 进行判断
场景:根据后端返回的数据进行多条件渲染,三元表达式已不能满足条件. 代码: <span> {(() => { switch (record.generalRuleInfos[0]?. ...
- 【P1588】丢失的牛——区间dp/bfs
(题面来自Luogu) 题目描述 FJ丢失了他的一头牛,他决定追回他的牛.已知FJ和牛在一条直线上,初始位置分别为x和y,假定牛在原地不动.FJ的行走方式很特别:他每一次可以前进一步.后退一步或者直接 ...
- c++11-17 模板核心知识(九)—— 理解decltype与decltype(auto)
decltype介绍 为什么需要decltype decltype(auto) 注意(entity) 与模板参数推导和auto推导一样,decltype的结果大多数情况下是正常的,但是也有少部分情况是 ...
- Beta冲刺随笔——Day_Ten
这个作业属于哪个课程 软件工程 (福州大学至诚学院 - 计算机工程系) 这个作业要求在哪里 Beta 冲刺 这个作业的目标 团队进行Beta冲刺 作业正文 正文 其他参考文献 无 今日事今日毕 林涛: ...
- 在 CentOS 7 安装 Tomcat
一. 安装 JDK 8 1.1 下载 JDK 8 cd /opt/ wget --no-cookies --no-check-certificate --header "Cookie: gp ...
- 20200428_在centos7.2上挂载ntfs和备份文件到移动硬盘
[root@localhost ~]# fdisk -l 磁盘 /dev/sda:2000.4 GB, 2000398934016 字节,3907029168 个扇区 - 设备 Boot Start ...
- jupyter notebook 安装记录
conda install jupyterconda install jupyter_nbextensions_configuratorconda install jupyter_contrib_nb ...