利用pandas自带的函数notnull可以很容易判断某一列是否为null类型,但是如果这一列中某一格为空字符串"",此时notnull函数会返回True,而一般我们选择非空行并不包括这一点,所以需要把这一类也去掉. # df为需要筛选的数据框,col为选择非空依赖的列 df = df[(df[col].notnull) & (df[col] != "")] 如果数据来源是MySQL数据库,用sql函数调用的时候也要注意相同的问题. SELECT col F

--表名,表占用空间大小(MB),行数select table_name, round(num_rows * avg_row_len /1024/1024, 8) as total_len, num_rows from user_tables where table_name = '表名' order by table_name; --表名,列名,列占用空间大小(MB),非空行数 select c.table_name, c.column_name, round((t.num_rows - c.

网上方法参差不齐,无注释解释不好秒懂,没有自己想要的,故自己试验一番~ 1. 筛选列表中,当b列中为’1’时,所有c的值,然后转为list 2 .筛选列表中,当a列中为'one',b列为'1'时,所有c的值,然后转为list 3 .将a列整列的值,转为list(两种) 4. 筛选列表,当a=‘one’时,取整行所有值,然后转为list 具体看下面代码: import pandas as pd from pandas import DataFrame df = DataFrame([[', '一'

一.数组方案 Sub CustomFilter() Dim Rng As Range, Arr As Variant Dim EndRow As Long, EndCol As Long Dim i As Long, j As Long Dim n As Long Dim StartDate, EndDate Dim BeginTime, EndTime Dim Brr() As String Dim StartTime As Variant Dim UsedTime As Variant St

  Pandas Spark 工作方式 单机single machine tool,没有并行机制parallelism不支持Hadoop,处理大量数据有瓶颈 分布式并行计算框架,内建并行机制parallelism,所有的数据和操作自动并行分布在各个集群结点上.以处理in-memory数据的方式处理distributed数据.支持Hadoop,能处理大量数据 延迟机制 not lazy-evaluated lazy-evaluated 内存缓存 单机缓存 persist() or cache()将

  Pandas Spark 工作方式 单机single machine tool,没有并行机制parallelism不支持Hadoop,处理大量数据有瓶颈 分布式并行计算框架,内建并行机制parallelism,所有的数据和操作自动并行分布在各个集群结点上.以处理in-memory数据的方式处理distributed数据.支持Hadoop,能处理大量数据 延迟机制 not lazy-evaluated lazy-evaluated 内存缓存 单机缓存 persist() or cache()将

请原谅没有一次写完,本文是自己学习过程中的记录,完善pandas的学习知识,对于现有网上资料的缺少和利用python进行数据分析这本书部分知识的过时,只好以记录的形势来写这篇文章.最如果后续工作定下来有时间一定完善pandas库的学习,请见谅!                     by LQJ 2015-10-25 前言: 首先推荐一个比较好的Python pandas DataFrame学习网址 网址: http://www.cnblogs.com/chaosimple/p/4153083

1.删除字符串中空格 (1)删除行首空格 (2)删除行尾空格 (3)删除前.后空格,不删除中间空格 (4) 删除字符串中所有空格 echo " 123 567 " | sed 's/[[:space:]]//g' #输出12345 echo " 123 567 " | tr -d '[ \t]' #输出12345 2.删除文件中的空行 grep -v '^$' filename #打印非空行 sed '/^$/d' filename #打印非空行 sed -i '/

1.解决问题思路一:申明判断是否空行变量用于判断是否空行,声明变量数组用于临时非空行数据,最后存于datatable中. /// <summary>读取excel, /// 默认第一行为表头 /// </summary> /// <param name="strFileName">excel文档绝对路径</param> /// <param name="rowIndex">内容行偏移量,第一行为表头,内容行

python数据分析工具pandas中DataFrame和Series作为主要的数据结构. 本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数. 1)查看DataFrame数据及属性 df_obj = DataFrame() #创建DataFrame对象 df_obj.dtypes #查看各行的数据格式 df_obj['列名'].astype(int)#转换某列的数据类型 df_obj.head() #查看前几行的数据,默认前5行 df_obj.tail() #查看后几

整理一些工作中,本人经常用到的一些Excel操作 1.自动生成序列 [注]选择 第一格 和 第二格 之后,在右下角出现十字的时候,在往下拉 2.删除空行 方式一,先找出所有空行,在删 [缺点]数据多的话,会很慢 方式二,直接筛选出空行,然后不显示,速度快

[优化]COUNT(1).COUNT(*).COUNT(常量).COUNT(主键).COUNT(ROWID).COUNT(非空列).COUNT(允许为空列).COUNT(DISTINCT 列名) 1.1  BLOG文档结构图 1.2  前言部分 1.2.1  导读和注意事项 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① COUNT(1)和COUNT(*)的区别(重点) ② 10046和10053的使用 ③ “SELECT COUN

来吧!带你玩转 Excel VBA 从错失良机到艰辛的DOS征程,从坎坷购机自学路到转机起程,从爱好到事业,他从一个完全不懂电脑的人到VBA高级应用者,一切全是自学…… 我是罗刚君,来自四川的一个小县城——资中县. 我是个地道的三无人员——无高等学历(初中毕业).无突出特长.无显赫背景,所以1996年1月,当时才19岁的我就踏上了打工之路. 错失机遇 在打工生涯的前几年,一直在东莞市裕元鞋厂流水线上工作,无缘接触电脑,甚至曾有一段时间在心理上抵触电脑. 记得大概是1998 埗 年时,东莞市高 镇

”函数柯里化”是指将多变量函数拆解为单变量的多个函数的依次调用, 可以从高元函数动态地生成批量的低元的函数.可以看成一个强大的函数工厂,结合函数式编程,可以叠加出很BT的能力.下面给出了两个示例,说明如何使用 Currying 用一行代码计算任意指数的多项式的和: 以及使用 Currying 实现一个简单的文件处理框架. 举例一: 计算任意指数的多项式的和 sum(n, m) = 1^m + 2^m + ... + n^m 定义如下多变量的函数就可以解决 def polynomialSum2(m

grep -io "http:/=[A-Z0-9]\{16\}" ./wsxf.txt >wsxf_urls.txt Linux正则表达式grep与egrep 正则表达式:它是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串.在很多文本编辑器或其他工具里,正则表达式通常被用来检索或替换那些符合某个模式的文本内容.其实正则表达式,只是一种思想,一种表示方法.只要我们使用的工具支持表示这种思想那么这个工具就可以处理正则表达式的字符串.常用的工具有grep, sed,

OCP 051课堂笔记 目录 OCP 051课堂笔记... 1 第一章.Oracle命令类别:... 4 第二章.SQL的基本函数... 4 2.1 单行函数与多行函数... 4 2.2 单行函数的几种类型... 4 第三章.SQL的数据类型... 10 3.1 四种基本的常用数据类型... 10 3.2 数据类型的转换... 12 第四章.WHERE子句中数据的比较和运算... 15 4.1 隐式比较与显式比较:... 15 4.2 运算符优先级:... 15 4.3 用BETWEEN AND

本文中的提到GNU扩展时,表示该功能是GNU为sed提供的(即GNU版本的sed才有该功能),一般此时都会说明:如果要写具有可移植性的脚本,应尽量避免在脚本中使用该选项. 本文中的正则表达式几乎和grep中支持的一样.但还是有少数几个是sed自身才能解析的表达式.因此本译文中只对这些sed自身才支持的正则表达式做翻译,其余sed支持的通用性正则表达式见grep命令中文手册. 此外,除了正则表达式部分,还有些地方没有进行翻译,因为个人觉得几乎用不上,没必要翻译.但为了保持文章的完整性,仍给出了原文

1.Github项目地址 https://github.com/ShadowEvan/homework 基本功能 -c 统计文件字符数(实现) -w 统计文件词数(实现) -l  统计文件行数(实现) 扩展功能 -s 递归处理目录下符合条件的文件(实现) -a 返回文件代码行/空行/注释行(实现) 简单处理一般通配符(*, ?)(实现) 高级功能 -x 支持图形界面(未实现) 2.PSP表格 PSP2.1 Personal Software Process Stages 预估耗时 (分钟) 实际

sed系列文章: sed修炼系列(一):花拳绣腿之入门篇sed修炼系列(二):武功心法(info sed翻译+注解)sed修炼系列(三):sed高级应用之实现窗口滑动技术sed修炼系列(四):sed中的疑难杂症 本文中提到GNU扩展时,表示该功能是GNU为sed提供的(即GNU版本的sed才有该功能),一般此时都会说明:如果要写具有可移植性的脚本,应尽量避免在脚本中使用该选项. 本文中的正则表达式几乎和grep中支持的一样.但还是有少数几个是sed自身才能解析的表达式.因此本译文中只对这些sed

perl一行式程序系列文章:Perl一行式 所有行的行号 $ perl -pe '$_ = "$. $_"' file.log $ perl -ne 'print "$. $n"' file.log 这里涉及了一个特殊变量$.. 这个特殊变量代表的是当前处理行的行号.对于Perl的一行式来说,通过<>隐式打开的文件句柄默认不会关闭,所以如果参数中有多个文件,进入下一个文件时行号不会重置. 例如: $ cat a.txt aaa bbb $ cat b.t