目录

1.背景介绍

2.技术路线

3.数据结果

4.数据分析

5.总结

6.后记

1.背景介绍

某周末闲来无事,顺手打开了CSDN,看到了一个人发布的收费GIS资源,售价是¥19.9,POI数据也有人买吗?这些都是免费的啊,打开了博主的主页。看到她上传的资源数量,被吓到了:

这个博主,一共上传了8900个文件?我随意点开了她的一个资源,发现都是几个浏览,0下载:



这位博士师姐不是白费劲吗?

不对!

天下熙熙,皆为利来;天下攘攘,皆为利往。

如果不赚钱,也不至于上传这么多啊?何况她是一位博士,不至于浪费自己的时间。

我想弄明白,她能从这里面到底获利多少?付出的时间是否和收益成正比?

因此我写了几个python脚本,用以回答上诉两个问题。

2.技术路线

在这个爬虫中,使用到的环境与工具有:Python3.6、notepad++、BeautifulSoup模块包。唯一需要用到的外部模块包是BeautifulSoup,这是一个网页分析工具,可以准确提取网页标签。其他的都是Python内置的函数。

整体的技术路线图如下所示:



在进行编程中,需要注意的三个技术难点:

1.CSDN的个人主页资源介绍是一个瀑布流网页,最多加载100个list,因此需要找到该瀑布流网页的规律;

2.CSDN网页有反爬机制,因此需要频繁更换浏览器标识,;

3.几千个网线,使用多线程函数,比如700个线程同时爬;

上面是大致的思路,详细的技术流程与代码,我会分享在下一篇博客中。

3.数据结果

通过爬虫,我最后得到了所有网页。我选取的时间段是2020/11/24-2021/7/12,累计是7700个资源详细信息。整理得到的资源由:数据名称、资源类型、数据大小、数据浏览量、数据下载量、单价、总价、浏览下载比

4.数据分析

待数据清洗完毕后,我迫不及待的计算了一下7700个文件,

一共赚了多少:17670.99元。

好像也不是很多吧?这可是7700个资源啊,多费时间,看起来不值得。待我继续往下分析,就觉得很值。

(1)上传文件名称云图

一共是两个云图,

第一个是名称没有数据清洗的云图:



第二个是名称经过数据清洗的云图:



主观看上去,都是地信、交通类的资源,免费获取大部分都可以做到。

(2)上传文件定价

根据7700个资源进行单价分析,制作了定价频率图,如下所示:



可以看到,大部分定价都是14.9,是比较亲民的价格,对于不擅长找资源的顾客,花这点钱,真的很经济。

(3)浏览量与下载量



博主一共上传了7700个文件,其中,有下载的只占7.4%,可转化率是比较低的。

(4)上传时间分析

我们来看看这位博主,喜欢什么时候上传文件:



都是工作日的下午,正是上班的时候。除了学生,应该也没人会有空余时间。下面是上传天数分析,就很有意思了。为什么,请往下看:

从2020年11月24日开始上传文件,到2021年7月12日,总共只花费了15天时间。相当于每一天净赚1000元,而且这个是被动收入。以后即使不做任何事,每年都有2w左右的收入。

5.总结

结论:

1.花费了共计15天,每天下午上传资源,获得了每年不少于2W的被动收入(往后即使不做任何事情),这个很值!

2.你所知道的免费资源,别人不一定知道,即使是收智商税,也是方便了大家。

3.作为学地信的学生,之前没有想到这么轻松的赚钱方式,汗颜。

讨论:

1.我统计的博主投入时间,只是上传时间,实际上找资源的时间可能更多。

2.这个博主也不是普通人,即使发布的资源大部分是网上可以找到的免费资源,但是能上传到快1W个资源了,这份耐心让人敬佩。这一份恒心,不管去哪都能赚到钱。

6.后记

我和这个博主加上微信了,她给我说:





1.她不是学生(我猜应该是国企或者事业单位吧,工作日上传资源,普通的996没有这么闲);

2.做资源上传,很累人;

3.网站会抽成,而且还得交税,到手大概是50%左右。

不管怎么说,她始终方便了别人,也方便了自己。希望大家都能找到合法合理的生财之道。

欢迎关注公众号:锐多宝的地理空间;

我爬取交通学博士付费的GIS资源,每年被动收入2w很简单?的更多相关文章

  1. python爬虫实践(二)——爬取张艺谋导演的电影《影》的豆瓣影评并进行简单分析

    学了爬虫之后,都只是爬取一些简单的小页面,觉得没意思,所以我现在准备爬取一下豆瓣上张艺谋导演的“影”的短评,存入数据库,并进行简单的分析和数据可视化,因为用到的只是比较多,所以写一篇博客当做笔记. 第 ...

  2. 手把手教你爬取B站弹幕!

    效果 输入要爬取的视频的BV号即可爬取该视频的弹幕. 过程 基本思路 基本的思路很简单,还是老步骤: 1.构造爬取的url 2.解析返回的数据 3.使用json或Xpath或正则表达式提取数据 4.保 ...

  3. Scrapy-redis分布式爬虫爬取豆瓣电影详情页

    平时爬虫一般都使用Scrapy框架,通常都是在一台机器上跑,爬取速度也不能达到预期效果,数据量小,而且很容易就会被封禁IP或者账号,这时候可以使用代理IP或者登录方式爬,然而代理IP很多时候都很鸡肋, ...

  4. 教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

    本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scr ...

  5. 【转载】教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

    原文:教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http:/ ...

  6. 爬虫系列(1)-----python爬取猫眼电影top100榜

    对于Python初学者来说,爬虫技能是应该是最好入门,也是最能够有让自己有成就感的,今天在整理代码时,整理了一下之前自己学习爬虫的一些代码,今天先上一个简单的例子,手把手教你入门Python爬虫,爬取 ...

  7. Python爬虫-爬取科比职业生涯高清图集

    前面学习了Python爬取豆瓣电影Top250的数据,爬取的信息是电影信息的文本信息,但是在互联网上流行的图片才有更大的吸引力,本篇我们来使用python爬取网页上的图片并保存在本地硬盘上,很兴奋吧, ...

  8. 利用Python爬取电影网站

    #!/usr/bin/env python #coding = utf-8 ''' 本爬虫是用来爬取6V电影网站上的电影资源的一个小脚本程序,爬取到的电影链接会通过网页的形式显示出来 ''' impo ...

  9. Scrapy爬取女神照片

    使用Scrapy趴一趴美女图 Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自 ...

随机推荐

  1. Notes of Cygwin in Windows7

    Installation download setup.exe from its official website; run setup.exe, select "download with ...

  2. erlang学习笔记

    安装 Ubuntu Server上: sudo apt-get install erlang 如果安装时下载 太慢,可手工下载deb包( esl-erlang_16.a-rc1_ubuntu_prec ...

  3. 《微服务架构设计模式》读书笔记 | 第4章 使用Saga管理事务

    目录 前言 1. 微服务架构下的事务管理 1.1 分布式事务的挑战 1.2 一个Saga的示例 1.3 Saga使用补偿事务来回滚所作出的改变 2. Saga的协调模式 2.1 两种Saga协调模式 ...

  4. 模拟退火 Simulated annealing

    模拟退火 Simulated annealing 看看有空把图片完善一下好了 模拟退火算法的一些背景 既然要说模拟退火算法,就应该说一下模拟退火算法的背景,模拟退火算法是局部搜索算法的一种扩展,该算法 ...

  5. 基于RT1052 Aworks 内存扩容记录(一)

    本文主要是通过迁移的思维,记录本人初次使用周立功的Aworks框架进行BSP开发 1. 首先阅读原理图 内存容量由32M扩容至64M. 2. 再则比较两颗芯片的参数 通过比较32M和64M SDRAM ...

  6. ASP.NET Core导入导出Excel文件

    ASP.NET Core导入导出Excel文件 希望在ASP.NET Core中导入导出Excel文件,在网上搜了一遍,基本都是使用EPPlus插件,EPPlus挺好用,但商用需要授权,各位码友若有好 ...

  7. SQL 练习35

    查询选修「张三」老师所授课程的学生中,成绩最高的学生信息及其成绩 方式1: SELECT Student.sid,Student.sname,t.score from Student , (SELEC ...

  8. NOIP 模拟 $16\; \rm God Knows$

    题解 \(by\;zj\varphi\) 对于这道题,不难想到可以用 \(dp\),就是求一个最小权极长上升子序列 设 \(dp_i\) 表示最后一个选 \(i\) 时,覆盖前 \(i\) 条边的最小 ...

  9. MySQL临时表与内存表

    在MySQL中有三种虚拟表:临时表.内存表.视图.下面简单介绍一下临时表和内存表的使用. 1.临时表 MySQL临时表在我们需要保存一些临时数据时是非常有用的.临时表在MySQL 3.23版本中添加. ...

  10. IP掩码的作用

    IP地址&IP掩码==网段,即,与上掩码后相同的IP属于同一网段.