python原生的None和pandas, numpy中的numpy.NaN尽管在功能上都是用来标示空缺数据.但它们的行为在很多场景下确有一些相当大的差异.由于不熟悉这些差异,曾经给我的工作带来过不少麻烦. 特此整理了一份详细的实验,比较None和NaN在不同场景下的差异. 实验的结果有些在意料之内,有些则让我大跌眼镜.希望读者看过此文后会None和NaN这对“小妖精”有更深的理解. 为了理解本文的内容,希望本文的读者需要对pandas的Series使用有一定的经验. 首先,导入所需的库 In[…

今天在用写一段求和的代码时候,发现最后返回的是nan的结果,这段循环求和代码依次调用了三个函数,于是依次打印这三个函数的返回值,发现其中一个函数的返回值为nan,原来是因为这段函数里面没有相似的用户,所有返回结果为nan,于是我就想加一个判断条件,当结果为空时,跳过本次循环: if res==nan: continue 本以为加上这一句话就可以了,于是重新运行了一下,oh,shit!!!!结果没有任何变化,以前是nan的还是一样没有跳过.于是我想到了我用到了Python的numpy库,会不会是n…

想创建或测试正无穷.负无穷或NaN(非数字) 的浮点数 Python 并没有特殊的语法来表示这些特殊的浮点值,但是可以使用float() 来创建它们.比如: >>> a = float('inf') >>> b = float('-inf') >>> c = float('nan') >>> a inf >>> b -inf >>> c nan >>> 为了测试这些值的存在,使用m…

参考:http://blog.sina.com.cn/s/blog_13050351e0102xfis.html https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy-bS_O7xQYLPIOogrOFmc02ueKW9M67CaVLpMY1k7wxTCB1NmnNSzM-t5pUc3zy0dg.. https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy6YnbQPc3cuKWH5w_8iuvJ…

一.Python 数据框就是典型的关系型数据库的数据存储形式,每一行是一条记录,每一列是一个属性,最终构成表格的形式,这是数据科学家必须熟悉的最典型的数据结构. 1.构建数据框 import pandas as pd data = {'year':[2010, 2011, 2012, 2010, 2011, 2012, 2010, 2011, 2012], 'team':['FCBarcelona', 'FCBarcelona', 'FCBarcelona', 'RMadrid', 'RMadr…

本周的PyCoder's Weekly 上分享了一篇小文章,它里面提到的冷知识很有意思,我稍作补充,分享给大家. 它提到的部分问题,读者们可以先思考下: 若两个元组相等,即 a==b 且 a is b,那么相同索引的元素(如 a[0] .b[0])是否必然相等呢? 若两个对象的 hash 结果相等,即 hash(a) == hash(b),那么它们是否必然相等呢? 答案当然都为否(不然就不叫冷知识了),大家可以先尝试回答一下,然后再往下看. -----思考分割线----- 好了,先来看看第一个问…

DoesNotExist at /account/ User has no account. Request Method: GET Request URL: http://127.0.0.1:8000/account/ Django Version: 1.6.1 Exception Type: DoesNotExist Exception Value: User has no account. Exception Location: /usr/local/lib/python2.7/dist-…

DoesNotExist at /admin/ User has no account. Request Method: GET Request URL: http://127.0.0.1:8000/admin/ Django Version: 1.6.1 Exception Type: DoesNotExist Exception Value: User has no account. Exception Location: /usr/local/lib/python2.7/dist-pack…

有两种丢失数据 ——None ——np.nan(NaN) None是python自带的,其类型为python object.因此,None不能参与到任何计算中 Object类型的运算比int类型的运算慢的多 计算不同数据类型求和时间 %timeit np.arange(1e5,dtype=xxx).sum() %timeit是指python表达式或语句的执行时间 Pandas中的none与np.nan都视作np.nan 数据清洗 df.loc[index,column] ------>元素索引,…

Abstract During the course fo doing data analysis and modeling, a significant amount of time is spend on data preparation: loading, cleaning, transforming, and rearrangin. 在整个数据分析建模过程中, 大量的时间(80%)的时间是用在了数据的预处理中, 如数据清洗, 加载, 标准化, 重塑等. Such tasks are of…