原文链接:https://blog.csdn.net/yanwucao/article/details/80211984 DataFrame.insert(loc, column, value, allow_duplicates=False) Insert column into DataFrame at specified location. Raises a ValueError if column is already contained in the DataFrame,unless a…

mongodb的save和insert函数都可以向collection里插入数据,但两者是有两个区别: 一.使用save函数里,如果原来的对象不存在,那他们都可以向collection里插入数据,如果已经存在,save会调用update更新里面的记录,而insert则会忽略操作 二.insert可以一次性插入一个列表,而不用遍历,效率高, save则需要遍历列表,一个个插入.…

p分位函数(四分位数)概念与pandas中的quantile函数 函数原型 DataFrame.quantile(q=0.5, axis=0, numeric_only=True, interpolation=’linear’) 参数 - q : float or array-like, default 0.5 (50% quantile 即中位数-第2四分位数) 0 <= q <= 1, the quantile(s) to compute - axis : {0, 1, ‘index’,…

import numpy as np import pandas as pd 聚合函数 Aggregations refer to any data transformation that produces scalar values from arrays(输入是数组, 输出是标量值). The preceding examples have used several of them, including mean, count, min, and sum You may wonder wha…

四分位数与pandas中的quantile函数 1.分位数概念 统计学上的有分位数这个概念,一般用p来表示.原则上p是可以取0到1之间的任意值的.但是有一个四分位数是p分位数中较为有名的. 所谓四分位数:即把数值由小到大排列并分成四等份,处于三个分割点位置的数值就是四分位数. 为了更一般化,在计算的过程中,我们考虑p分位.当p=0.25 0.5 0.75 时,就是在计算四分位数. 第1四分位数 (Q1),又称"较小四分位数",等于该样本中所有数值由小到大排列后第25%的数字. 第2四分…

二.常用库 1.NumPy NumPy是高性能科学计算和数据分析的基础包.部分功能如下: ndarray, 具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组. 用于对整组数据进行快速运算的标准数学函数(无需编写循环). 用于读写磁盘数据的工具以及用于操作内存映射文件的工具. 线性代数.随机数生成以及傅里叶变换功能. 用于集成C.C++.Fortran等语言编写的代码的工具. 首先要导入numpy库:import numpy as np A NumPy函数和属性: 类型 类型代码 说明 i…

二.常用库 1.NumPy NumPy是高性能科学计算和数据分析的基础包.部分功能如下: ndarray, 具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组. 用于对整组数据进行快速运算的标准数学函数(无需编写循环). 用于读写磁盘数据的工具以及用于操作内存映射文件的工具. 线性代数.随机数生成以及傅里叶变换功能. 用于集成C.C++.Fortran等语言编写的代码的工具. 首先要导入numpy库:import numpy as np A NumPy函数和属性: 类型 类型代码 说明 i…

1.数据迭代 1.1 迭代行 (1)df.iterrows() for index, row in df[0:5].iterrows(): #需要两个变量承接数据 print(row) print("\n") for index, row in df[0:5].iterrows(): print(row.team) #通过对象属性方式 print(row['name']) #通过字典方式读取具体列 print("\n") (2)df.iertuples() #生成一…

在用pandas进行数据重排时,经常用到stack和unstack两个函数.stack的意思是堆叠,堆积,unstack即"不要堆叠",我对两个函数是这样理解和区分的. 常见的数据的层次化结构有两种,一种是表格,一种是"花括号",即下面这样的l两种形式: store1 store2 store3 street1 1 2 3 street2 4 5 6 表格在行列方向上均有索引(类似于DataFrame),花括号结构只有"列方向"上的索引(类似于层…

NumPy的ufuncs也可以操作pandas对象 >>> frame one two three four a 0 1 2 3 b 4 5 6 7 c 8 9 10 11 d 12 13 14 15 >>> np.square(frame)#求平方 one two three four a 0 1 4 9 b 16 25 36 49 c 64 81 100 121 d 144 169 196 225 >>> 用DataFrame的apply方法,可以…

import pandas as pd; 1. 数据处理函数 pd.isnull()/pd.notnull():用于检测缺失数据: 2. 辅助函数 pd.to_datetime() 3. Series 与 DataFrame 的成员函数 drop(labels, axis=0, level=None, inplace=False, errors='raise') 注意第一个参数(labels)与第二个参数(axis)的关系,要删除的 labels 必须在 axis 上: 也即默认情况下,axis…

1. python自带的apply.filter.map函数.reduce函数,很多情况下可以代替for循环: map(func,list),对list的每个元素分别执行func函数操作,显然func函数的参数就是单个元素. reduce(func,list),对list的每个元素都执行func函数操作,最后汇总成一个结果.此处map不一样. 详细介绍参考: https://blog.csdn.net/pipisorry/article/details/38687763 2. pandas也有m…

<?php function into($constr) { $con = mysql_connect("localhost","root","root"); if (!$con) { die('Could not connect: ' . mysql_error()); } mysql_select_db("sa", $con); mysql_query($constr); mysql_close($con); } /…

用Python做数据分析,涉及到的函数实在是太多了,容易忘记,去网上查中文基本上差不到,英文有时候描述不清楚问题. 这里搞个针对个人习惯的函数汇总速查手册,下次需要用一个什么功能,就在这里面查到对应的函数名字,然后取搜索具体用法.随时更新. Numpy 创建: 创建一个随机数组x*y: np.empty(x,y) 产生随机数组,产生指定大小随机数组,指定范围随机数组,均匀分布,数组元素在0到1之间 np.random.uniform(0,100,size=5) -----------Pandas…

方法一: 直接给column赋值 df.columns=["a", "b"], 所有的column全部重命名 example: import pandas as pd >>> df = pd.DataFrame({"aa":[1,2,3], "bb": [4,5,6]}) >>> df aa bb 0 1 4 1 2 5 2 3 6 >>> df.columns=[&quo…

参考链接:https://www.makcyun.top/web_scraping_withpython2.html #!/usr/bin/env python # -*- coding: utf-8 -*- from multiprocessing.pool import Pool import pandas as pd import requests from sqlalchemy import create_engine # 数据库相关信息 HOSTNAME = '127.0.0.1' P…

string (1) string& insert (size_t pos, const string& str); substring (2) string& insert (size_t pos, const string& str, size_t subpos, size_t sublen); c-string (3) string& insert (size_t pos, const char* s); buffer (4) string& inse…

(掌握这个,基本就完美无缺的任意按照自己的想法,更改列了.) 背景: 最近有个excel 数据需要转化的过程. 数据量还挺大的,大概有30多万. 需要把某些行变成列,有些列又变成行. 这个操作本身就比较烦躁. 更何况数据量达到了几十万的情况下, excel 基本就卡死了. 1 把城市合为一列 2 将空气类型type 分开为成为列 先贴样本: 转化后的结果: 苦恼了很久. 实践: melt 函数讲解, frame, -- 需要处理的数据集id_vars=None, -- 不需要改变的列value_…

string& insert (size_t pos, const string& str); string& insert (size_t pos, const string& str, size_t subpos, size_t sublen); string& insert (size_t pos, const char* s); string& insert (size_t pos, const char* s, size_t n); string&…

string &insert(int p0, const char *s);--在p0位置插入字符串s string &insert(int p0, const char *s, int n);--在p0位置插入字符串s的前n个字符 string &insert(int p0,const string &s);--在p0位置插入字符串s string &insert(int p0,const string &s, int pos, int n);--在p0位…

https://blog.csdn.net/weixin_38617311/article/details/87893168 data.price.quantile([0.25,0.5,0.75]) //输出 0.25 42812.25 0.50 57473.00 0.75 76099.75 quantile 英文意思 分位数…

之前已经写过pandas DataFrame applymap()函数 还有pandas数组(pandas Series)-(5)apply方法自定义函数 pandas DataFrame 的 applymap() 函数和pandas Series 的 apply() 方法,都是对整个对象上个各个值进行单独处理,返回一个新的对象. 而pandas DataFrame 的  apply() 函数,虽然也是作用于DataFrame的每个值,但是接受的参数不是各个值本身,而是DataFrame里各行(…

pandas DataFrame的 applymap() 函数可以对DataFrame里的每个值进行处理,然后返回一个新的DataFrame: import pandas as pd df = pd.DataFrame({ 'a': [1, 2, 3], 'b': [10, 20, 30], 'c': [5, 10, 15] }) def add_one(x): return x + 1 print df.applymap(add_one) a b c 0 2 11 6 1 3 21 11 2…

对字符串及数组的操作,是每个程序员必须要掌握的.熟练的使用这些函数,在编程时能更加得心应手. 1.Copy 功能说明:该函数用于从字符串中复制指定范围中的字符.该函数有3个参数.第一个参数是数据源(即被复制的字符串),第二个参数是从字符串某一处开始复制,第三个参数是要复制字符串的长度(即个数).最后函数返回一个新的字符串(即是我们指定要复制的字符串内容). 参考实例: var S: String; MyStr: String; // 保存新的字符串 begin S := 'I Love Chin…

lag和lead VS shift 该函数的格式如下: 第一个参数为列名, 第二个参数为往上第n行(可选,默认为1), 第三个参数为默认值(当往上第n行为NULL时候,取默认值,如不指定,则为NULL) lag lag(字段名,N,默认值) over(partition by 分组字段 order by 排序字段 排序方式) lead lead(字段名,N,默认值) over(partition by 分组字段 order by 排序字段 排序方式) 案例: select cookieid, c…

pandas模块常用函数解析之DataFrame 关注公众号"轻松学编程"了解更多. 以下命令都是在浏览器中输入. cmd命令窗口输入:jupyter notebook 打开浏览器输入网址http://localhost:8888/ 一.导入模块 import numpy as np import pandas as pd from pandas import Series,DataFrame 二.DataFrame DataFrame是一个[表格型]的数据结构.DataFrame由按…

一.处理丢失数据 有两种丢失数据: None np.nan(NaN) 1. None None是Python自带的,其类型为python object.因此,None不能参与到任何计算中. #查看None的数据类型 None + 1 2. np.nan(NaN) np.nan是浮点类型,能参与到计算中.但计算的结果总是NaN. #查看np.nan的数据类型 np.nan + 1 nan 3. pandas中的None与NaN 1) pandas中None与np.nan都视作np.nan 创建Da…

insert()函数与substr()函数 insert()函数: insert ( pos, str2);--将字符串str2插入到原字符串下标为pos的字符前 insert (pos, n, c);--在将n个字符c插入到原字符串下标为pos的字符前 insert (pos, str2, pos1, n);--将st2r从下标为pos1开始数的n个字符插在原串下标为pos的字符前 语法:str1.insert(pos , str2); 等等 代码参考: #include<iostream>…

pandas目录 "去重"通过字面意思不难理解,就是删除重复的数据.在一个数据集中,找出重复的数据删并将其删除,最终只保存一个唯一存在的数据项,这就是数据去重的整个过程.删除重复数据是数据分析中经常会遇到的一个问题.通过数据去重,不仅可以节省内存空间,提高写入性能,还可以提升数据集的精确度,使得数据集不受重复数据的影响. Panda DataFrame 对象提供了一个数据去重的函数 drop_duplicates(),本节对该函数的用法做详细介绍. 函数格式 drop_duplicat…

我正以Python作为突破口,入门机器学习相关知识.出于机器学习实践过程中的需要,我快速了解了一下提供了类似关系型或标签型数据结构的Pandas的使用方法.下面记录相关学习笔记. 数据结构 Pandas最主要的知识点是两个数据结构,分别是Series和DataFrame.你可以分别把它们简单地理解为带标签的一维数组和二维数组. 以下实践假设已经运行了必要的import语句,如: import pandas as pd Series 先在命令行里面看一下Series的样子:   可以看到Serie…