#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/7/13 11:10 # @Author : baoshan # @Site : # @File : pandans_pymongo.py # @Software: PyCharm Community Edition import pymongo import pandas as pd def _connect_mongo(host, port, username, pass

# -*- coding: utf-8 -*- ''' Python Mongo操作Demo Done: ''' from pymongo import MongoClient conn = None topics = None users=None def process(): connection=MongoClient('localhost', 27017) global conn conn = connection; #列出server_info信息 #print conn.server

python. pandas(series,dataframe,index,reindex,csv file read and write) method test import pandas as pdimport numpy as np def testpandas(): p = pd.Series([1,2,3,4,5],index =('a','b','c','d','e')) print(p) cities = {'bejing':5500,'shanghai':5999,'shezh

背景介绍 使用python操作mongo进行的一些操作记录,为了方便日后可以快速的解决类似问题. 准备工作 为了尽可能简单的说明,我将插入几条简单的数据. from pymongo import MongoClient client = MongoClient('mongodb://your-mongo-username:your-mongo-password@localhost:27017/your-db') db = client.your-db collection = db.your_c

array,list,dataframe索引切片操作 2016年07月19日——智浪文档 list,一维,二维array,datafrme,loc.iloc.ix的简单探讨 Numpy数组的索引和切片介绍: 从最基础的list索引开始讲起,我们先上一段代码和结果: a = [0,1,2,3,4,5,6,7,8,9] a[:5:-1] #step < 0,所以start = 9 a[0:5:-1] #指定了start = 0 a[1::-1] #step < 0,所以stop = 0 输出: [

python中的axis究竟是如何定义的呢?他们究竟代表是DataFrame的行还是列? 直接上代码people=DataFrame(np.random.randn(5,5), columns=['a','b','c','d','e'], index=['Joe','Steve','Wes','Jim','Travis'])               a         b         c         d         eJoe     0.814300 -0.495764  0.3

# 识别python中DataFrame中的nanfor i in pfsj.index: if type(pfsj.loc[i]['WZML']) == float: print('float value is ${}'.format(pfsj.loc[i]['WZML'])) elif type(pfsj.loc[i]['WZML']) == str: print('str value is ${}'.format(pfsj.loc[i]['WZML'])) 结果: # 根据结果可知在Dat

参考CookBook :http://pandas.pydata.org/pandas-docs/stable/cookbook.html Pandas set_index&reset_index Pandas模块是Python用于数据导入及整理的模块,对数据挖掘前期数据的处理工作十分有用,因此这些基础的东西还是要好好的学学.Pandas模块的数据结构主要有两:1.Series :2.DataFrame 先了解一下Series结构. a.创建 a.1.pd.Series([list],index

python中的axis究竟是如何定义的呢?他们究竟代表是DataFrame的行还是列? 直接上代码people=DataFrame(np.random.randn(5,5), columns=['a','b','c','d','e'], index=['Joe','Steve','Wes','Jim','Travis'])                a         b         c         d         eJoe     0.814300 -0.495764  0.

之前在知乎上看到有网友提问,如何将DataFrame转换为dict,专门研究了一下,pandas在0.21.0版本中是提供了这个方法的.下面一起学习一下,通过调用help方法,该方法只需传入一个参数,并根据参数的内容返回不同的结果,下面是pandas的官方文档说明:Parameters---------- 举例如下: 如果你处于想学Python或者正在学习Python,Python的教程不少了吧,但是是最新的吗? 说不定你学了可能是两年前人家就学过的内容,在这小编分享一波2020最新的Pytho

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.from_dict.html Examples By default the keys of the dict become the DataFrame columns: >>> data = {'col_1': [3, 2, 1, 0], 'col_2': ['a', 'b', 'c', 'd']} >>> pd.DataFra

用法:DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False) 参数说明:labels 就是要删除的行列的名字,用列表给定axis 默认为0,指删除行,因此删除columns时要指定axis=1:index 直接指定要删除的行columns 直接指定要删除的列inplace=False,默认该删除操作不改变原数据,而是返回一个执行删除操作后的新dataframe:inplace=True,则会直接在原数

# 创建空DataFrame df = pd.DataFrame(columns = ['YJML','EJML','SJML','WZLB','GGXHPZ','CGMS']) # 插入数据(忽略索引) df = df.append(kjcgml.loc[i].append(bzwzcgml.loc[j]), ignore_index=True) # 按索引添加 df.loc[i] = kjcgml.loc[i].append(bzwzcgml.loc[j])

pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包 pandas 也是围绕着 Series 和 DataFrame 两个核心数据结构展开的, 导入如下: from pandas import Series,DataFrame import pandas as pd import numpy as np Series可以理解为一个一维的数组,只是index可以自己改动.类似于定长的有序字典,有Index和value.传入一个list[]/tuple(),就会自动生成一个S

简单操作 Python-层次聚类-Hierarchical clustering >>> data = pd.Series(np.random.randn(10),index=[['a','a','a','b','b','c','c','d','d','d'],[1,2,3,1,2,1,2,3,1,2]]) >>> data a 1 -0.168871 2 0.828841 3 0.786215 b 1 0.506081 2 -2.304898 c 1 0.864875

1.Series  Series是一个一维数组 pandas会默认从0开始作为Series的index >>> test = pd.Series(['num0','num1','num2','num3']) >>> test 0 num0 1 num1 2 num2 3 num3 dtype: object 也可以自己指定index >>> test = pd.Series(['num0','num1','num2','num3'],index=['A

更多大数据分析.建模等内容请关注公众号<bigdatamodeling> ################################### 排序 ######################################## from pandas import DataFrame, Series ##### Series按索引排序 sort_index方法 返回新对象 obj = Series([1, 3, 2, 5, 6], index=list('dabce')) obj.sor

今天详细做下关于DataFrame的使用,以便以后自己可以翻阅查看 DataFrame的基本特征: 1.是一个表格型数据结构 2.含有一组有序的列 3.大致可看成共享同一个index的Series集合 import pandas as pd >>> data={'name':['Wangdachui','Linling','Niuyun'],'pay':[4000,5000,6000]} >>> frame=pd.DataFrame(data) >>>

python爬虫的任务数据操作的小技巧 好久没写公众号了,最近太忙了,这里就不多说了.直接根据需求上代码,我想这个应该是大家比较喜欢的, 需求 爬取某网站的项目列表页,获取其url,标题等信息,作为后续爬取详情页的任务url. 先上代码 代码 # -*- coding: utf-8 -*- # @Time : 2019-11-08 14:04 # @Author : cxa # @File : motor_helper.py # @Software: PyCharm import asyncio

见http://pandas.pydata.org/pandas-docs/stable/merging.html

安装mongodb 1.下载,解压mongodb(下载解压目录为/opt) 在/opt目录下执行命令 wget fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.4.tgz tar xzvf mongodb-linux-x86_64-2.6.4.tgz 2.创建mongodb的数据文件和日志文件存放路径 mkdir -p /data/mongodb_data/{mongodb_log,mongodb_db} 创建数据文件路径 /data/mong