# * _*_ coding:utf-8 _*___author__:'denny 20170730'from functools import reduceimport functoolsimport pandas as pd #create dataframe#df method#partial#dir,hasattr,setattr,getarrt def createdf(): df = pd.DataFrame( {'a':[1,2,3], 'b':[4,5,6], 'c':[7,8,…
Python Dataframe 分组排序和 Modin 1.按照其中一列进行排序 在dataframe中,按照其中的一列排序:比如q值倒排 (1)rank方法 data['new_rank'] = data.groupby('house_code')['q_score_new'].rank(ascending=False, method='dense') (2)sort_values方法 data.sort_values(['q_score_new'], ascending=False).gr…
如何在命令行模式下查看Python帮助文档---dir.help.__doc__ 1.dir函数式可以查看对象的属性,使用方法很简单,举str类型为例,在Python命令窗口输入 dir(str) 即可查看str的属性,如下图所示: 2.如何查看对象某个属性的帮助文档 ?如要查看str的split属性,可以用__doc__, 使用方法为print(str.split.__doc__),如下图所示: 3.查看对象的某个属性还可以用help函数,使用方法为help(str.split),如下图所示:…
怎样解决python dataframe loc,iloc循环处理速度很慢的问题 1.问题说明 最近用DataFrame做大数据 处理,发现处理速度特别慢,追究原因,发现是循环处理时,loc,iloc速度都特别慢,当数据量特别大得时候真的是超级慢.查很多资料,发现没有详细说明,以下为解决办法 2.问题解决 使用 Pandas.Series.apply 方法,可以对一列数据快速进行处理 Series.apply(*func*, *convert_dtype=True*, *args=()*, **…
[Spark][Python][DataFrame][RDD]DataFrame中抽取RDD例子 sqlContext = HiveContext(sc) peopleDF = sqlContext.read.json("people.json") peopleRDD = peopleDF.map(lambda row: (row.pcode,row.name)) peopleRDD.take(5) Out[5]: [(u'94304', u'Alice'),(u'94304', u'…
[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子 $ hdfs dfs -cat people.json {"name":"Alice","pcode":"94304"}{"name":"Brayden","age":30,"pcode":"94304"}{"name&…
[Spark][Python][DataFrame][Write]DataFrame写入的例子 $ hdfs dfs -cat people.json {"name":"Alice","pcode":"94304"}{"name":"Brayden","age":30,"pcode":"94304"}{"name&qu…
[Spark][Python][DataFrame][SQL]Spark对DataFrame直接执行SQL处理的例子 $cat people.json {"name":"Alice","pcode":"94304"}{"name":"Brayden","age":30,"pcode":"94304"}{"name&qu…
[Spark][Python]DataFrame的左右连接例子 $ hdfs dfs -cat people.json {"name":"Alice","pcode":"94304"}{"name":"Brayden","age":30,"pcode":"94304"}{"name":"Carla&…
[Spark][Python]DataFrame中取出有限个记录的例子 的 继续 [15]: myDF=peopleDF.where("age>21") In [16]: myDF.limit(2).show() +---+-------+-----+----+|age| name|pcode|pcoe|+---+-------+-----+----+| 30|Brayden|94304|null|| 46| Diana| null|null|+---+-------+-----…
[Spark][Python]DataFrame中取出有限个记录的   继续 In [4]: peopleDF.select("age","name") In [11]: myDF=peopleDF.select("age","name") In [14]: myDF.limit(2).show() +----+-------+| age| name|+----+-------+|null| Alice|| 30|Brayde…
[Spark][Python]DataFrame中取出有限个记录的例子 的 继续 In [4]: peopleDF.select("age")Out[4]: DataFrame[age: bigint] In [5]: myDF=people.select("age")---------------------------------------------------------------------------NameError Traceback (most…
[Spark][Python]DataFrame中取出有限个记录的例子: sqlContext = HiveContext(sc) peopleDF = sqlContext.read.json("people.json") peopleDF.limit(3).show() === [training@localhost ~]$ hdfs dfs -cat people.json{"name":"Alice","pcode":…
在python中__dict__与dir()都可以返回一个对象的属性,区别在于: __dict__是对象的一个属性,而dir()是一个built-in的方法: __dict__返回一个对象的属性名和值,即dict类型,而dir()返回一个属性名的list: __dict__不是每一个对象都有,而dir()对各种类型对象都起作用,如module, type, class, object: _dict__只返回对象的可写属性(writable attributes),而dir()返回各种相关(rel…
1.__name__属性 一个模块被另一个程序第一次引入时,其主程序将运行.如果我们想在模块被引入时,模块中的某一程序块不执行,我们可以用__name__属性来使该程序块仅在该模块自身运行时执行.示例: #!/usr/bin/python# Filename: using_name.py if __name__ == '__main__': print '程序自身在运行'else: print '我来自另一模块' 运行输出如下: $ python using_name.py程序自身在运行$ py…
如图:busy=0 or 1,求出busy=1时los的平均,同样对busy=0时也求出los的平均 Python dataframe中如何使y列按x列进行统计? >> python这个答案描述的挺清楚的:http://www.goodpm.net/postreply/python/1010000008981394/Pythondataframe中如何使y列按x列进行统计.html…
怎样解决python dataframe loc,iloc循环处理速度很慢的问题 1.问题说明 最近用DataFrame做大数据 处理,发现处理速度特别慢,追究原因,发现是循环处理时,loc,iloc速度都特别慢,当数据量特别大得时候真的是超级慢.查很多资料,发现没有详细说明,以下为解决办法 2.问题解决 使用 Pandas.Series.apply 方法,可以对一列数据快速进行处理 Series.apply(*func*, *convert_dtype=True*, *args=()*, **…
在命令行模式下查看Python帮助文档---dir.help.__doc__   1.dir函数式可以查看对象的属性,使用方法很简单,举str类型为例,在Python命令窗口输入 dir(str) 即可查看str的属性,如下图所示: 2.如何查看对象某个属性的帮助文档 ?如要查看str的split属性,可以用__doc__, 使用方法为print(str.split.__doc__),如下图所示: 3.查看对象的某个属性还可以用help函数,使用方法为help(str.split),如下图所示:…
一.异常处理 python异常: python的运行时错误称作异常 (1)语法错误:软件的结构上有错误而导致不能被解释器解释或不能被编译器编译 (2)逻辑错误:由于不完整或不合法的输入所致,也可能是逻辑无法生成.计算或者输出结果需要的过程无法执行等 python异常是一个对象,表示错误或意外情况 (1)在python检测到一个错误时,将触发一个异常 python可以通常异常传导机制传递一个异常对象,发出一个异常情况出现的信号 程序员也可以在代码中手动触发异常 (2)python异常也可以理解为:…
原文:http://www.cnblogs.com/xiaozhiqi/p/5778856.html https://blog.csdn.net/zong596568821xp/article/details/78180229------Python异常捕获与处理 一.异常处理 python异常: python的运行时错误称作异常 (1)语法错误:软件的结构上有错误而导致不能被解释器解释或不能被编译器编译 (2)逻辑错误:由于不完整或不合法的输入所致,也可能是逻辑无法生成.计算或者输出结果需要的…
Lesson0402_GetatrrWebsite.py #!/usr/bin/env/python #-*-coding:utf-8-*- #Author:LingChongShi #查看源码Ctrl+左键 def index(): print('欢迎访问XX网站') def login(): print('登录成功') def logout(): print('退出登录') class People(object): country='China' def __init__(self): p…
主要是指程序可以访问.检测和修改它本身状态或行为的一种能力(自省),有四个可以实现自省函数. hasattr(object,name) 判断object中是否有name字符串对应的属性或方法,返回True或False getattr(object,name[,defaultreturn])获取object中name字符串对应属性的值,没有这个属性的话会报错,defaultreturn表示如果没有对应的属性返回默认的设定值而不会报错 setattr(object,key,value)表示修改obj…
直奔主题 使用中文注释需要使用 #-*-coding:utf-8-*- property property在python中有2中使用property方法:1.@property @属性名称.setter @属性名称.deleter2.使用property(fget, fset, fdel, doc)指定 1.使用装饰器@property 要求:(1)所用的类为新式类,在python3版本以上默认为新式类,或者是是直接或间接继承object的类 (2)定义的函数名称必须要是名称名(如属性名是nam…
Python下一切皆对象,每个对象都有多个属性(attribute),Python对属性有一套统一的管理方案. __dict__与dir()的区别: dir()是一个函数,返回的是list: __dict__是一个字典,键为属性名,值为属性值: dir()用来寻找一个对象的所有属性,包括__dict__中的属性,__dict__是dir()的子集: ​ 并不是所有对象都拥有__dict__属性.许多内建类型就没有__dict__属性,如list,此时就需要用dir()来列出对象的所有属性. __…
类反射的四个基本函数 hasattr getattr setattr delattr #反射 class BlackMedium: feature = 'Ugly' def __init__(self,name, addr): self.name = name self.addr = addr def sell_house(self): print('[%s]正在卖房子,xx才买呢'%self.name) def rent_house(self): print('[%s]正在卖房子,xx才租呢'…
转自:http://www.cnblogs.com/ifantastic/p/3768415.html 首先需要知道的是,dir() 是 Python 提供的一个 API 函数,dir() 函数会自动寻找一个对象的所有属性,包括搜索 __dict__ 中列出的属性. 不是所有的对象都有 __dict__ 属性.例如,如果你在一个类中添加了 __slots__ 属性,那么这个类的实例将不会拥有 __dict__ 属性,但是 dir() 仍然可以找到并列出它的实例所有有效属性. >>> cl…
关于__dict__和dir()的区别和作用请参考这篇文章:http://blog.csdn.net/lis_12/article/details/53521554 说下我当时遇到的问题: class Demo: def __init__(self, name, age): self.name = name self.age = age def func(self): print('Hello {0}'.format(self.name)) >>> d1 = Demo('Pythoner…
一般情况下我们从一堆数据中选择我们获取想要的数据会通过一下方式: (1)创建链表或数组: (2)用for 循环遍历所有数据,将想要的存入链表或数组. 但是python中我们不需要这么做,我们可以用Pandas库帮我们解决这个问题:具体使用看实例: import numpy as np import pandas as pd from time import time from IPython.display import display # 允许为DataFrame使用display() imp…
反射 用字符串来对应其同名的属性或者方法,通过某种方法调用这个字符串来执行方法或者获取属性 网络编程的时候非常好用,是很重要的内容 先看个示例吧: class Teather: dic = { "查看学生信息":"show_student", "查看讲师信息":"show_teacher" } def show_student(self): print("学生:羊驼") def show_teacher(s…
print df.columns.size#列数 2 print df.iloc[:,0].size#行数 3 print df.ix[[0]].index.values[0]#索引值 0 print df.ix[[0]].values[0][0]#第一行第一列的值 11 print df.ix[[1]].values[0][1]#第二行第二列的值 121 df=DataFrame([{‘A’:’11’,’B’:’12’},{‘A’:’111’,’B’:’121’},{‘A’:’1111’,’B…