我下载了python所有包,用以备份,有需要的自提
1.背景
我最近准备把1985年-2019年的全国30m分辨率土地利用数据按照地级市进行裁剪与归纳,这需要用到Geopandas对shp数据进行批量操作。在安装Geopandas的python包时,遇到一系列模块包版本在加利福尼亚大学尔湾分校python库中下架的情况(这个网站几乎囊括了python所有whl文件,网址为:https://www.lfd.uci.edu/~gohlke/pythonlibs/ ) 。
加利福尼亚大学尔湾分校python库示意图
由此,我便产生了一个想法,下载所有的模块包并做一个备份。
2.下载方法
2.1 找到模块包的下载链接
首先这个网站不需要注册,也不需要fq,因此不用考虑反爬机制和网络连接设置。
当你要在这个网站下载python包时,只需要点击就可以下载。我猜想每个模块包的下载链接藏在html文档中的"li"标签中,F12检查要素。
可以看到li标签中没有下载链接,那下载链接应该是通过点击动作,服务器才会返回下载链接进行下载。理论上使用爬虫模拟点击获取链接,也是可行的。
但,不采用爬虫,还有更简单的。
由此,我们获取了一个下载链接,链接为:
https://download.lfd.uci.edu/pythonlibs/y2rycu7g/GDAL-3.3.1-pp37-pypy37_pp73-win_amd64.whl, 将此链接放入浏览器访问,可以下载模块包。
2.2 确定下载思路
观察到下载链接在最后一个斜杠后的为模块包的名字,比如:GDAL-3.3.1-pp37-pypy37_pp73-win_amd64.whl。
那我们是不是可以用模块包的名字,直接复制到“https://download.lfd.uci.edu/pythonlibs/y2rycu7g/”之后。于是我又试了几个包,该方案是可行的。
因此,所有python包的下载链接为:固定的格式+模块名。
2.2 实操
(1)ctrl+A、ctrl+V、ctrl+C,复制网页,粘贴到notepad++:
(2)数据清洗,只保存python包的名字。这里面数据清洗,可以使用notepad++自带的正则表达式筛选、标记行、删除行,最后文档只包含python包名字:
(3)添加链接,就完成了。其中python27、python33、python34、python35、python36需要额外添加一个斜杆内容,代表python版本:
2.2 下载
我刚开始打算用python,开多线程下载。后面一想,有下载链接了,用迅雷不好吗?数据链接通过迅雷下。
3.下载结果
以下是结果,共计8000个模块包,24G内存大小。
并且按照python版本进行了归类:
4.总结
1.全文思路:通过下载链接,获取链接生成方式;然后利用notepad++进行数据清洗,制作链接;最后通过迅雷下载。
2.对python包进行了备份,以后需要老版本的包,可以在百度云中下载。
我下载了python所有包,用以备份,有需要的自提的更多相关文章
- (转载)Linux平台下安装 python 模块包
https://blog.csdn.net/aiwangtingyun/article/details/79121145 一.安装Python Windows平台下: 进入Python官网下载页面下载 ...
- 离线下载第三方Python包
1.进入Python第三方包下载地(https://pypi.org/)搜索自己需要的包 2.下载需要的包的版本 3.将.whl格式的文件更改为.zip文件,并且解压 4.将解压的2个文件放到Pyth ...
- python下载指定的版本包
首先我们很多时候在执行pip的时候是不行的 有时候很难成功,这个时候我们就要想其他的版本了 一.是不是这个包需要指定版本, 比如python2的和mysql链接的是,而python3则是mysqlc ...
- linux和windows下安装python拓展包及requirement.txt安装类库
python拓展包安装 直接安装拓展包默认路径: Unix(Linux)默认路径:/usr/local/lib/pythonX.Y/site-packagesWindows默认路径:C:\Python ...
- python库包大全(转)
python 库资源大全 转自: Python 资源大全中文版 环境管理 管理 Python 版本和环境的工具 p:非常简单的交互式 python 版本管理工具.官网 pyenv:简单的 Python ...
- 机器学习常用Python扩展包
在Ubuntu下安装Python模块通常有3种方法:1)使用apt-get:2)使用pip命令(推荐);3)easy_instal 可安装方法参考:[转]linux和windows下安装python集 ...
- 简易安装python统计包
PythonCharm简易安装python统计包及 本文介绍使用pythonCharm IDE 来安装Python统计包或一些packages的简单过程,基本无任何技术难度,顺便提一提笔者在安装过程中 ...
- Python的包管理工具--PIP安装使用
最新安装方式 # wget https://bootstrap.pypa.io/get-pip.py # python get-pip.py // 使用该方式安装已经不再要求提前安装setuptoo ...
- Windows命令行下pip安装python whl包
因为做网页爬虫,需要用到一个爬新闻的BeautifulSoup 的包,然后再关网上下的是whl包,第一次装,虽然花了点时间,最后还是装上去了,记录一下,方便下次. 先发一下官方文档地址.http:// ...
随机推荐
- 解析java源文件
尝试从java源文件中解析出类.方法.属性等信息,但下面的代码没有完全实现. Sub parseJava() Dim package_name as String 'read a file Docum ...
- Golang语言系列-04-运算符
运算符 Go语言内置的运算符有 算术运算符 关系运算符 逻辑运算符 位运算符 赋值运算符 算术运算符 package main import "fmt" func main() { ...
- 🏆【Java技术专区】「开发实战专题」Lombok插件开发实践必知必会操作!
前言 在目前众多编程语言中,Java 语言的表现还是抢眼,不论是企业级服务端开发,还是 Andorid 客户端开发,都是作为开发语言的首选,甚至在大数据开发领域,Java 语言也能占有一席之地,如Ha ...
- Windows内核开发-6-内核机制 Kernel Mechanisms
Windows内核开发-6-内核机制 Kernel Mechanisms 一部分Windows的内核机制对于驱动开发很有帮助,还有一部分对于内核理解和调试也很有帮助. Interrupt Reques ...
- Mysql生成UUID的SQL语句
大写的UUID: SELECT UPPER(UUID()); 小写的UUID: SELECT LOWER(UUID()); SELECT UUID(); 去掉横杠的UUID: SELECT REPLA ...
- SpringSession(redis)
pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="htt ...
- CentOS7 安装Oracle19c数据库RPM包安装
我前两天发了安装oracle12c的方法,但是我虽然在虚拟机试验成功了,正式服务器安装的时候发现还是不行,安装页面卡空白,也没有解决办法,所以我就放弃了界面安装找命令行安装的办法,找了一些之后发现都比 ...
- 【spring 注解驱动开发】spring自动装配
尚学堂spring 注解驱动开发学习笔记之 - 自动装配 自动装配 1.自动装配-@Autowired&@Qualifier&@Primary 2.自动装配-@Resource& ...
- 【springcloud】Zuul 超时、重试、并发参数设置
转自:https://blog.csdn.net/xx326664162/article/details/83625104 一. Zuul 服务网关 服务网关 = 路由转发 + 过滤器 1.路由转发: ...
- T-SQL——关于跨库连接查询
目录 0. 同一台服务器不同数据库 1. 使用跨库查询函数--OpenDataSource() 2. 使用链接服务器(Linking Server) 3. 使用OpenDataSource()函数和链 ...