小白:Mr.林,快救救我,我被那些数据压得喘不过气了. Mr.林:小白,表方,怎么了? !   小白:Mr.林,我从公司数据平台上下了一堆数据,如果选择时间范围广的话,平台就卡的动不了,动不动还奔溃,所以只好分一段时间一段时间的查询下载.数据下下来又20多个表呢,每张表的数据量有几十万,如何合并起来,EXCEL肯定是放不下的,更别说进行处理.分析了.如果一个个导入数据库的话,也够呛的. 有什么办法可以批量合并这些数据文件呀?这样我可以一次性的导入到数据库中. Mr.林听了后:原来是这么回事呀!这…

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 本篇内容较长,各位同学可以先收藏后再看~~ 在开始讲爬虫之前,还是先把环境搞搞好,工欲善其事必先利其器嘛~~~ 本篇文章主要介绍 Python 爬虫所使用到的请求库和解析库,请求库用来请求目标内容,解析库用来解析请求回来的内容. 开发环境 首先介绍小编本地的开发环境: Python3.7.4 win10 差不多就这些,最基础的环境,其他环境需要我们一个一个安装,现在开始. 请求库 虽然 Python 为我们内置了…

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学 Python 爬虫(4):前置准备(三)Docker基础入门 小白学 Python 爬虫(5):前置准备(四)数据库基础 小编,你还有完没完!!!前置准备都准备这么多了,还不开始正文!!! 别急别急,前置准备的最后一篇了,我们这几篇总共介绍了基本类库的安装. Linux 基础…

人生苦短,我用 Python 前文传送门: 小白学 Python 数据分析(1):数据分析基础 小白学 Python 数据分析(2):Pandas (一)概述 小白学 Python 数据分析(3):Pandas (二)数据结构 Series 小白学 Python 数据分析(4):Pandas (三)数据结构 DataFrame 小白学 Python 数据分析(5):Pandas (四)基础操作(1)查看数据 小白学 Python 数据分析(6):Pandas (五)基础操作(2)数据选择 小白学…

人生苦短,我选Python 前文传送门 小白学 Python(1):开篇 小白学 Python(2):基础数据类型(上) 小白学 Python(3):基础数据类型(下) 小白学 Python(4):变量基础操作 前言 前面我们讲了变量的基础操作,本文我们接着讲运算符. 运算符根据用途可以分为以下这么几类: 算术运算符 比较运算符 赋值运算符 逻辑运算符 成员运算符 身份运算符 本篇我们先介绍前两个,算术运算符和比较运算符. 算数运算符 算术运算符顾名思义就是我们做数字计算的时候用到的运算符,当然…

人生苦短,我选Python 前文传送门 小白学 Python(1):开篇 小白学 Python(2):基础数据类型(上) 小白学 Python(3):基础数据类型(下) 小白学 Python(4):变量基础操作 小白学 Python(5):基础运算符(上) 小白学 Python(6):基础运算符(下) 小白学 Python(7):基础流程控制(上) 小白学 Python(8):基础流程控制(下) 小白学 Python(9):基础数据结构(列表)(上) 小白学 Python(10):基础数据结构(…

人生苦短,我选Python 前文传送门 小白学 Python(1):开篇 小白学 Python(2):基础数据类型(上) 小白学 Python(3):基础数据类型(下) 小白学 Python(4):变量基础操作 小白学 Python(5):基础运算符(上) 小白学 Python(6):基础运算符(下) 小白学 Python(7):基础流程控制(上) 小白学 Python(8):基础流程控制(下) 小白学 Python(9):基础数据结构(列表)(上) 小白学 Python(10):基础数据结构(…

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 Linux 基础 CentOS 官网: https://www.centos.org/ . CentOS 官方下载链接: https://www.centos.org/download/ . Linux 目前在企业中广泛的应用于服务器系统,无论是写好的代码,还是使用的第三方的开源的产品,绝大多数都是部署在 Linux 上面运行的. 可能很多同学一提到…

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 Docker 基础 首先说一件事情,就在本文写作前一天,Mirantis 这家公司宣布收购了 Docker 的企业业务和团队.并且在官网上也挂出了相关的文字. 没别的意思,相关的新闻通告一下. Docker 官网地址:https://www.docker.com/ 什么是 Docke…

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学 Python 爬虫(4):前置准备(三)Docker基础入门 本篇文章,我们接着介绍基础内容,数据库. 爬虫将数据爬取完成后,总要有地方存放吧,这个数据存在哪里呢? 当然是数据库中,那个说放在 Excel 里的,你给我站住! 当然 Excel 也是可以使用的,并且第三方也对…