一.缺失值 sklearn中的preprocessing下有imputer,可进官方文档参考.这里主讲pandas. 拿到数据,一般先检查是否有缺失值,用isnul()或notnull(). 再决定dropna(),还是fillna(). 1.1 检查是否有缺失值 isnull().notnull() import pandas as pd import numpy as np df = pd.DataFrame({"col_1":[1, 2, 3, 666, 1480], "…

pandas学习(常用数学统计方法总结.读取或保存数据.缺省值和异常值处理) 目录 常用数学统计方法总结 读取或保存数据 缺省值和异常值处理 常用数学统计方法总结 count 计算非NA值的数量 describe 针对Series或DataFrame列计算统计 min/max/sum 计算最小值 最大值 总和 argmin argmax 计算能够获取到最小值和最大值的索引位置(整数) idxmin idxmax 计算能够获取到最小值和最大值的索引值 quantile 计算样本的分位数(0到1)…

pandas模块常用函数解析之DataFrame 关注公众号"轻松学编程"了解更多. 以下命令都是在浏览器中输入. cmd命令窗口输入:jupyter notebook 打开浏览器输入网址http://localhost:8888/ 一.导入模块 import numpy as np import pandas as pd from pandas import Series,DataFrame 二.DataFrame DataFrame是一个[表格型]的数据结构.DataFrame由按…

pandas模块常用函数解析之Series 关注公众号"轻松学编程"了解更多. 以下命令都是在浏览器中输入. cmd命令窗口输入:jupyter notebook 打开浏览器输入网址http://localhost:8888/ 一.导入模块 import numpy as np import pandas as pd from pandas import Series,DataFrame 二.Series Series是一种类似于一维数组的对象,由下面两个部分组成: values:一组…

pandas中常用的功能: 1.显示所有的列的信息,999表示显示最大的列为999 pd.options.display.max_columns=999 2.读取excel时设置使用到列的名称,和列的数据类型 pd.read_excel(路径,sheet_name='业务员',usecols=['条形码','业务员自定义'],dtype={'外部平台单号':str}) 3.去重(删除重复项) excelData.drop_duplicates(keep='first') #去重保留第一个 4.表…

Pandas常用的数据清洗5大策略如下: 1.删除 DataFrame 中的不必要 columns 2.改变 DataFrame 的 index 3.使用 .str() 方法来清洗 columns 4.DataFrame.applymap() 函数按元素的清洗整个数据集 5.重命名 columns 为一组更易识别的标签滤除 CSV文件中不必要的 rows…

pandas是用于数据清洗的库,安装配置pandas需要配置许多依赖的库,而且安装十分麻烦. 解决方法:可以用Anaconda为开发环境,Anaconda内置了许多有关数据清洗和算法的库. 1.安装pandas首先需要安装Numpy和python-dateutil(可以直接在控制控制台pip安装),然后再配置pandas.2.安装好Anaconda后,启用命令行窗口输入 jupyter notebook.3.在默认浏览器新建jupyter,配置jupyter界面右侧new下拉列表,选择pytho…

1.DataFrame的常用函数: (1)np.abs(frame) 绝对值, (2)apply function, lambda f= lambda x: x.max()-x.min(),frame.apply(f); frame.apply(f,axis = 1) f(x), def f(x): return Series([x.min(),x.max()], index=['min','max']),frame.apply(f)(3) applymap format f= lambda x…

1. DataFrame 处理缺失值  dropna() df2.dropna(axis=0, how='any', subset=[u'ToC'], inplace=True) 把在ToC列有缺失值的行去掉 补充:还可以用df.fillna()来把缺失值替换为某个特殊标记 df = df.fillna("missing") # 用字符串替代 df = df.fillna(df.mean()) # 用均值或者其它描述性统计值替代 2. 根据某维度计算重复的行   duplicated(…

目录 1. 序言 2. 命令介绍 3. 公式输入 3.1 无编号公式 3.2 有编号公式 更新时间:2019.10.02 1. 序言   当我们首次在文档中输入公式的时候,我们首先想到的是word,毕竟这是我们极为常用的三件套之一.事实上,使用word的墨迹公式(磨叽???)写一个简单的数学公式也还是比较方便的.然而,当我们需要大量输入复杂的数学公式时,用word就十分崩溃了.这一天,我终于想起一度被word所支配的恐怖和手输了一晚上数学公式的屈辱???.   为了不让噩梦重现,下面来总结一下l…

import pandas as pdimport numpy as np pandas 有两个主要的数据结构:Series 和 DataFrame:Series 是一个一维数组对象 ,它包含一组索引和一组数据,可以把它理解为一组带索引的数组.DataFrame 是一个表格型的数据结构.它提供有序的列和不同类型的列值. df:Pandas DataFrame对象s: Pandas Series对象 数据导入: pd.read_csv(filename):从csv文件中导入数据; pd.read_…

准备数据 2016年北京PM2.5数据集 数据源说明:美国驻华使馆的空气质量检测数据 数据清洗 1. 导入包 import numpy as np import matplotlib.pyplot as plt import matplotlib import pandas as pd from datetime import datetime 2. 导入数据 用Pandas库的read_csv()导入csv文件 # 导入2016年北京PM2.5数据集 df = pd.read_csv("Bei…

目录 1  pandas基本概念 1.1  pandas数据结构剖析 1.1.1  Series 1.1.2  DataFrame 1.1.3  索引 1.1.4  pandas基本操作 1.1.4.1  重索引 1.1.4.2  丢弃一行或者一列 1.1.4.3  数据选取 1.1.4.4  数据对齐 1.1.5  pandas函数简单介绍 1.1.5.1  apply和applymap函数 1.1.5.2  排序函数 1.1.5.3  汇总计算函数 1.1.6  缺失值的处理 1.1.7  …

一.文件和目录 1. cd命令 它用于切换当前目录,它的参数是要切换到的目录的路径,可以是绝对路径,也可以是相对路径. 指令 说明 cd /home 进入‘home’目录 cd .. 返回上一级目录 cd ../.. 返回上两级目录 cd ~user1 进入个人的主目录 cd ~ 返回上次所在的目录 2. pwd命令 指令 说明 pwd 显示工作路径 3. ls命令 查看文件与目录的命令,list的意思. 指令 说明 ls 查看目录中的文件 ls -l 显示文件和目录的详细资料 ls -a 列出…

Numpy [数组切片] In [115]: a = np.arange(12).reshape((3,4)) In [116]: a Out[116]: array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) In [117]: a[1:,1:3] Out[117]: array([[ 5, 6], [ 9, 10]]) In [118]: [布尔值索引]找出数据中大于5的元素 In [134]: a = [ random.randint(…

对爬虫数据进行自然语言清洗时用到的一些正则表达式 标签中的所有属性匹配(排除src,href等指定参数) 参考链接 # \b(?!src|href)\w+=[\'\"].*?[\'\"](?=[\s\>]) # 匹配特征 id="..." # \b(?!...)排除属性名中的指定参数,零宽断言前向界定判断属性结束 # tips: 带\b的python正则匹配一定要加r转义 str1 = ''' <div class="concent"…

首先,我们先要读入数据: 然后检查数据出现的问题: 1.没有表头,增加表头 2.去除重复值: df.duplicate()使用布尔数据查看数据表中是否有重复值,df.drop_duplicates(),删去重复的值 这里有两点需要说明:第一,数据表中两个条目间所有列的内容都相等时duplicated才会判断为重复值.(Duplicated也可以单独对某一列进行重复值判断).第二,duplicated支持从前向后(first), 和从后向前(last)两种重复值查找模式.默认是从前向后进行重复值的…

numpy中有一些常用的用来产生随机数的函数,randn()和rand()就属于这其中. numpy.random.randn(d0, d1, …, dn)是从标准正态分布中返回一个或多个样本值.  numpy.random.rand(d0, d1, …, dn)的随机样本位于[0, 1)中. 代码: import numpy as np arr1 = np.random.randn(2,4) print(arr1) print('********************************…

前言:本博文摘抄自中国慕课大学上的课程<Python数据分析与展示>,推荐刚入门的同学去学习,这是非常好的入门视频. 继续一个新的库,Pandas库.Pandas库围绕Series类型和DataFrame类型这两种数据结构,提供了一种高效便捷的数据处理方式. - Series 类型创建 Series类型是一组数据及与之相关的数据索引组成 自动索引: a = pd.Series([9, 8, 7, 6]) 构造一个Series对象a 自定义索引: a = pd.Series([9, 8, 7,…

目录 1. 序言 2. 上下标 3. 分式 4. 根式 5. 求和和连乘 6. 极限 7. 积分 8. 常用的希腊字母 9. 补充项 更新时间:2019.10.27 增加补充项中的内容 1. 序言   之前总结了一下latex的公式输入.但是俗话说得好,巧妇难为无米之炊.如果想要输入复杂的数学公式,光知道公式输入的方式是远远不够的,我们还需要了解公式中常用的组成部分. 2. 上下标   数学公式中的字母经常是带上标(幂/转置/导数等)和下标(矩阵元素位置/参数个数等)的,而用latex解决这个问…

基本绘图:绘图 Series和DataFrame上的这个功能只是使用matplotlib库的plot()方法的简单包装实现. import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(10,4),index=pd.date_range('2018/12/18', periods=10), columns=list('ABCD')) print(df) df.plot() 输出结果: A B C D2018-1…

目录 一.时间序列是什么 二.时间序列的选取 三.时间序列的生成 四.时间序列的偏移量 五.时间前移或后移 五.时区处理 六.时期及算术运算 七.频率转换 一.时间序列是什么 时间序列在多个时间点观察或测量到的任何事物,很多都是固定频率出现 的,比如每15秒.每5分钟.每月. padnas提供了一组标准的时间序列处理工具和数据算法,基本的时间序列类型是以时间戳为索引的Series. 当创建一个带有DatetimeIndex的Series时,pandas就会知道对象是一个时间序列,用Numpy的d…

1.我已安装好Anavonda3.5.所以我只用打开"jupyter notebook",然后打开浏览器 然后点击右侧的“new",然后打开python3…

目录 1. 序言 2. 矩阵 2.1 复杂写法 2.2 简化写法 2.3 复杂矩阵 3. 表格 4. 对齐 更新时间:2019.10.02 1. 序言   矩阵是一个强大的工具,许多东西都能够用矩阵来表示,下面来谈谈在latex中怎么输入一个矩阵 2. 矩阵 2.1 复杂写法   在latex中,我们可以使用array参数来输入一个矩阵. \begin{array}{ccc} 1 & 0 & 0\\\\ 0 & 1 & 0\\\\ 0 & 0 & 1\\\\…

本文涉及pandas最常用的36个函数,通过这些函数介绍如何完成数据生成和导入.数据清洗.预处理,以及最常见的数据分类,数据筛选,分类汇总,透视等最常见的操作. 生成数据表 常见的生成数据表的方法有两种,第一种是导入外部数据,第二 种是直接写入数据.Excel中的"文件"菜单中提供了获取外部数据的功能,支持数据库和文本文件和页面的多种数据源导入. Python支持从多种类型的数据导入.在开始使用Python进行数据 导入前需要先导入pandas库,为了方便起见,我们也同时导入numpy…

目录 数据清洗的常用工具--Pandas 数据清洗的常用工具 Pandas常用数据结构series和方法 Pandas常用数据结构dataframe和方法 常用方法 数据清洗的常用工具--Pandas 现实中,数据并非完美的,需要进行清洗才能进行后面的数据分析 数据清洗是整个数据分析项目中最消耗时间的一步 数据的质量最终决定了数据分析的准确性 数据清洗是唯一可以提高数据质量的方法,使得数据分析结果也变得更可靠 数据清洗的常用工具 目前在Python中,numpy和pandas是最主流的工具 Nu…

本文始发于个人公众号:TechFlow,原创不易,求个关注 今天是pandas数据处理专题的第二篇文章,我们一起来聊聊pandas当中最重要的数据结构--DataFrame. 上一篇文章当中我们介绍了Series的用法,也提到了Series相当于一个一维的数组,只是pandas为我们封装了许多方便好用的api.而DataFrame可以简单了理解成Series构成的dict,这样就将数据拼接成了二维的表格.并且为我们提供了许多表级别数据处理以及批量数据处理的接口,大大降低了数据处理的难度. 创建D…

pandas数据清洗:http://www.it165.net/pro/html/201405/14269.html data=pd.Series([1,2,3,4]) data.replace([1,3], np.nan)#一次替换多个,可以传入一个由待替换值组成的列表以及一个替换值: #传入的参数也可以是字典: data.replace({4: np.nan, 2: 111}) 贴吧爬取得数据,vehicle字段需要处理一下,即把vehicle字段的某些值做下替换: import panda…

本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 在日常开展数据分析的过程中,我们经常需要对字符串类型数据进行处理,此类过程往往都比较繁琐,而pandas作为表格数据分析利器,其内置的基于Series.str访问器的诸多针对字符串进行处理的方法,以及一些top-level级的内置函数,则可以帮助我们大大提升字符串型数据处理的效率. 本文我就将带大家学习pandas中常用的一些高效字符串处理…

条件过滤 我们需要看第一季度的数据是怎样的,就需要使用条件过滤 体感的舒适适湿度是40-70,我们试着过滤出体感舒适湿度的数据 最后整合上面两种条件,在一季度体感湿度比较舒适的数据 列排序 数据按照某列进行排序 “by”参数可以使用字符串,也可以是列表,ascending 的参数也可以是单个值或者列表 ascending 默认值是 True 列中的每行上的 apply 函数 在前一篇的增加列的部分,根据风速计算人体感觉是否舒适,为了功能的演示,在这里使用 DataFrame 的 apply 方法…