Pandas字符串和文本数据
在本章中,我们将使用基本系列/索引来讨论字符串操作。在随后的章节中,将学习如何将这些字符串函数应用于数据帧(DataFrame)。
Pandas提供了一组字符串函数,可以方便地对字符串数据进行操作。 最重要的是,这些函数忽略(或排除)丢失/NaN值。
几乎这些方法都使用Python字符串函数(请参阅: http://docs.python.org/3/library/stdtypes.html#string-methods )。 因此,将Series对象转换为String对象,然后执行该操作。
下面来看看每个操作的执行和说明。
编号 | 函数 | 描述 |
---|---|---|
1 | lower() |
将Series/Index 中的字符串转换为小写。 |
2 | upper() |
将Series/Index 中的字符串转换为大写。 |
3 | len() |
计算字符串长度。 |
4 | strip() |
帮助从两侧的系列/索引中的每个字符串中删除空格(包括换行符)。 |
5 | split(' ') |
用给定的模式拆分每个字符串。 |
6 | cat(sep=' ') |
使用给定的分隔符连接系列/索引元素。 |
7 | get_dummies() |
返回具有单热编码值的数据帧(DataFrame)。 |
8 | contains(pattern) |
如果元素中包含子字符串,则返回每个元素的布尔值True ,否则为False 。 |
9 | replace(a,b) |
将值a 替换为值b 。 |
10 | repeat(value) |
重复每个元素指定的次数。 |
11 | count(pattern) |
返回模式中每个元素的出现总数。 |
12 | startswith(pattern) |
如果系列/索引中的元素以模式开始,则返回true 。 |
13 | endswith(pattern) |
如果系列/索引中的元素以模式结束,则返回true 。 |
14 | find(pattern) |
返回模式第一次出现的位置。 |
15 | findall(pattern) |
返回模式的所有出现的列表。 |
16 | swapcase |
变换字母大小写。 |
17 | islower() |
检查系列/索引中每个字符串中的所有字符是否小写,返回布尔值 |
18 | isupper() |
检查系列/索引中每个字符串中的所有字符是否大写,返回布尔值 |
19 | isnumeric() |
检查系列/索引中每个字符串中的所有字符是否为数字,返回布尔值。 |
现在创建一个系列,看看上述所有函数是如何工作的。
import pandas as pd
import numpy as np
s = pd.Series(['Tom', 'William Rick', 'John', 'Alber@t', np.nan, '1234','SteveMinsu'])
print (s)
执行上面示例代码,得到以下结果 -
0 Tom
1 William Rick
2 John
3 Alber@t
4 NaN
5 1234
6 SteveMinsu
dtype: object
1. lower()函数示例
import pandas as pd
import numpy as np
s = pd.Series(['Tom', 'William Rick', 'John', 'Alber@t', np.nan, '1234','SteveMinsu'])
print (s.str.lower())
执行上面示例代码,得到以下结果 -
0 tom
1 william rick
2 john
3 alber@t
4 NaN
5 1234
6 steveminsu
dtype: object
2. upper()函数示例
import pandas as pd
import numpy as np
s = pd.Series(['Tom', 'William Rick', 'John', 'Alber@t', np.nan, '1234','SteveMinsu'])
print (s.str.upper())
执行上面示例代码,得到以下结果 -
0 TOM
1 WILLIAM RICK
2 JOHN
3 ALBER@T
4 NaN
5 1234
6 STEVESMITH
dtype: object
3. len()函数示例
import pandas as pd
import numpy as np
s = pd.Series(['Tom', 'William Rick', 'John', 'Alber@t', np.nan, '1234','SteveMinsu'])
print (s.str.len())
执行上面示例代码,得到以下结果 -
0 3.0
1 12.0
2 4.0
3 7.0
4 NaN
5 4.0
6 10.0
dtype: float64
4. strip()函数示例
import pandas as pd
import numpy as np
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print (s)
print ("=========== After Stripping ================")
print (s.str.strip())
执行上面示例代码,得到以下结果 -
0 Tom
1 William Rick
2 John
3 Alber@t
dtype: object
=========== After Stripping ================
0 Tom
1 William Rick
2 John
3 Alber@t
dtype: object
5. split(pattern)函数示例
import pandas as pd
import numpy as np
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print (s)
print ("================= Split Pattern: ==================")
print (s.str.split(' '))
执行上面示例代码,得到以下结果 -
0 Tom
1 William Rick
2 John
3 Alber@t
dtype: object
================= Split Pattern: ==================
0 [Tom, ]
1 [, William, Rick]
2 [John]
3 [Alber@t]
dtype: object
6. cat(sep=pattern)函数示例
import pandas as pd
import numpy as np
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print (s.str.cat(sep=' <=> '))
执行上面示例代码,得到以下结果 -
Tom <=> William Rick <=> John <=> Alber@t
7. get_dummies()函数示例
import pandas as pd
import numpy as np
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print (s.str.get_dummies())
执行上面示例代码,得到以下结果 -
William Rick Alber@t John Tom
0 0 0 0 1
1 1 0 0 0
2 0 0 1 0
3 0 1 0 0
8. contains()函数示例
import pandas as pd
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print (s.str.contains(' '))
执行上面示例代码,得到以下结果 -
0 True
1 True
2 False
3 False
dtype: bool
9. replace(a,b)函数示例
import pandas as pd
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print (s)
print ("After replacing @ with $: ============== ")
print (s.str.replace('@','$'))
执行上面示例代码,得到以下结果 -
0 Tom
1 William Rick
2 John
3 Alber@t
dtype: object
After replacing @ with $: ==============
0 Tom
1 William Rick
2 John
3 Alber$t
dtype: object
10. repeat(value)函数示例
import pandas as pd
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print (s.str.repeat(2))
执行上面示例代码,得到以下结果 -
0 Tom Tom
1 William Rick William Rick
2 JohnJohn
3 Alber@tAlber@t
dtype: object
11. count(pattern)函数示例
import pandas as pd
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print ("The number of 'm's in each string:")
print (s.str.count('m'))
执行上面示例代码,得到以下结果 -
The number of 'm's in each string:
0 1
1 1
2 0
3 0
dtype: int64
12. startswith(pattern)函数示例
import pandas as pd
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print ("Strings that start with 'T':")
print (s.str. startswith ('T'))
执行上面示例代码,得到以下结果 -
Strings that start with 'T':
0 True
1 False
2 False
3 False
dtype: bool
13. endswith(pattern)函数示例
import pandas as pd
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print ("Strings that end with 't':")
print (s.str.endswith('t'))
执行上面示例代码,得到以下结果 -
Strings that end with 't':
0 False
1 False
2 False
3 True
dtype: bool
14. find(pattern)函数示例
import pandas as pd
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print (s.str.find('e'))
执行上面示例代码,得到以下结果 -
0 -1
1 -1
2 -1
3 3
dtype: int64
注意:
-1
表示元素中没有这样的模式可用。
15. findall(pattern)函数示例
import pandas as pd
s = pd.Series(['Tom ', ' William Rick', 'John', 'Alber@t'])
print (s.str.findall('e'))
执行上面示例代码,得到以下结果 -
0 []
1 []
2 []
3 [e]
dtype: object
空列表(
[]
)表示元素中没有这样的模式可用。
16. swapcase()函数示例
import pandas as pd
s = pd.Series(['Tom', 'William Rick', 'John', 'Alber@t'])
print (s.str.swapcase())
执行上面示例代码,得到以下结果 -
0 tOM
1 wILLIAM rICK
2 jOHN
3 aLBER@T
dtype: object
17. islower()函数示例
import pandas as pd
s = pd.Series(['Tom', 'William Rick', 'John', 'Alber@t'])
print (s.str.islower())
执行上面示例代码,得到以下结果 -
0 False
1 False
2 False
3 False
dtype: bool
18. isupper()函数示例
import pandas as pd
s = pd.Series(['TOM', 'William Rick', 'John', 'Alber@t'])
print (s.str.isupper())
执行上面示例代码,得到以下结果 -
0 True
1 False
2 False
3 False
dtype: bool
19. isnumeric()函数示例
import pandas as pd
s = pd.Series(['Tom', '1199','William Rick', 'John', 'Alber@t'])
print (s.str.isnumeric())
执行上面示例代码,得到以下结果 -
0 False
1 True
2 False
3 False
4 False
dtype: bool
Pandas字符串和文本数据的更多相关文章
- pandas处理大文本数据
当数据文件是百万级数据时,设置chunksize来分批次处理数据 案例:美国总统竞选时的数据分析 读取数据 import numpy as np import pandas as pdfrom pan ...
- 机器学习入门-文本数据-构造词频词袋模型 1.re.sub(进行字符串的替换) 2.nltk.corpus.stopwords.words(获得停用词表) 3.nltk.WordPunctTokenizer(对字符串进行分词操作) 4.np.vectorize(对函数进行向量化) 5. CountVectorizer(构建词频的词袋模型)
函数说明: 1. re.sub(r'[^a-zA-Z0-9\s]', repl='', sting=string) 用于进行字符串的替换,这里我们用来去除标点符号 参数说明:r'[^a-zA-Z0- ...
- 采用Json字符串,往服务器回传大量富文本数据时,需要注意的地方,最近开发时遇到的问题。
json字符串中存在常规的用户输入的字符串,和很多的富文本样式标签(用户不能直接看到,点击富文本编辑器中的html源码按钮能看到),例如下面的: <p><strong>富文本& ...
- Python文本数据互相转换(pandas and win32com)
(工作之后,就让自己的身心都去休息吧) 今天介绍一下文本数据的提取和转换,这里主要实例的转换为excel文件(.xlsx)转换world文件(.doc/docx),同时需要使用win32api,同py ...
- SQL server 存储过程 C#调用Windows CMD命令并返回输出结果 Mysql删除重复数据保留最小的id C# 取字符串中间文本 取字符串左边 取字符串右边 C# JSON格式数据高级用法
create proc insertLog@Title nvarchar(50),@Contents nvarchar(max),@UserId int,@CreateTime datetimeasi ...
- 【转载】socket通信-C#实现tcp收发字符串文本数据
在日常碰到的项目中,有些场景需要发送文本数据,也就是字符串,比如简单的聊天文字,JSON字符串等场景.那么如何如何使用SharpSocket来收发此类数据呢?其中要掌握的关键点是什么呢? 点击查看原博 ...
- JAVASE02-Unit08: 文本数据IO操作 、 异常处理
Unit08: 文本数据IO操作 . 异常处理 * java.io.ObjectOutputStream * 对象输出流,作用是进行对象序列化 package day08; import java.i ...
- 《Python CookBook2》 第一章 文本 - 过滤字符串中不属于指定集合的字符 && 检查一个字符串是文本还是二进制
过滤字符串中不属于指定集合的字符 任务: 给定一个需要保留的字符串的集合,构建一个过滤函数,并可将其应用于任何字符串s,函数返回一个s的拷贝,该拷贝只包含指定字符集合中的元素. 解决方案: impor ...
- MySQL中游标使用以及读取文本数据
原文:MySQL中游标使用以及读取文本数据 前言 之前一直没有接触数据库的学习,只是本科时候修了一本数据库基本知识的课.当时只对C++感兴趣,天真的认为其它的课都没有用,数据库也是半懂不懂,胡乱就考试 ...
随机推荐
- 巨蟒python全栈开发-第7天 基本数据类型补充&深浅拷贝
1.基本数据类型补充 2.深浅拷贝 DAY7-基本数据类型(基本数据类型补充&深浅拷贝) 本节主要内容: 1.补充基础数据类型 (1)join方法 (2)split方法 (3)列表不能在循环时 ...
- bootstrap-datetimepicker 滚动错位问题
问题:在页面上弹出控件的时候,滚动后面页面,时间控件就会错位. 解决方法1: 搜索bootstrap-datetimepicker.js里面的"show:"方法,在this.pla ...
- (转) RabbitMQ学习之延时队列
http://blog.csdn.net/zhu_tianwei/article/details/53563311 在实际的业务中我们会遇见生产者产生的消息,不立即消费,而是延时一段时间在消费.Rab ...
- JQuery设置checkbox选中或取消等相关操作
$("[name='checkbox']").attr("checked",'true');//全选 $("[name='checkbox']&quo ...
- FatMouse's Speed---hdu1160(简单dp)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1160 题意就是给你一些老鼠(编号1,2,3,4,5,6,7,8...)的体重和他们的速度然后求出最大的 ...
- 洛谷 P2331 [SCOI2005]最大子矩阵
洛谷 这一题,乍一眼看上去只想到了最暴力的暴力--大概\(n^4\)吧. 仔细看看数据范围,发现\(1 \leq m \leq 2\),这就好办了,分两类讨论. 我先打了\(m=1\)的情况,拿了30 ...
- Python 模块之 pyexcel_xls
一.适用场景 在很多数据统计或者数据分析的场景中,我们都会使用到excel: 在一些系统中我们也会使用excel作为数据导入和导出的方式,那么如何使用python加以辅助我们快速进行excel数据做更 ...
- Web Service简单demo
最近开发因需求要求需要提供Web Service接口供外部调用,由于之前没有研究过该技术,故查阅资料研究了一番,所以写下来记录一下,方便后续使用. 这个demo采用CXF框架进行开发,后续所提到的We ...
- tensorflow 中 name_scope 及 variable_scope 的异同
Let's begin by a short introduction to variable sharing. It is a mechanism in TensorFlow that allows ...
- for迭代序列的三种方式
while循环是条件性的,for循环是迭代性的. for循环会访问所有迭代对象中的所有元素,并在所有条目都结束后结束循环. for循环迭代序列有三种基本的方式,分别是通过序列项迭代.通过索引迭代.通过 ...