【Python自动化Excel】Python与pandas字符串操作
Python之所以能够成为流行的数据分析语言,有一部分原因在于其简洁易用的字符串处理能力。
Python的字符串对象封装了很多开箱即用的内置方法,处理单个字符串时十分方便;对于Excel、csv等表格文件中整列的批量字符串操作,pandas库也提供了简洁高效的处理函数,几乎与内置字符串函数一一对应。也就是说:
单个字符串处理,用Python内置的字符串方法;
表格整列的字符串处理,用pandas库中的字符串函数;
本文就以常用的数据处理需求,来对比使用以上两种方式的异同,从而加深对Python
和pandas
字符串操作的理解。(本文所有数据都是为了演示用的假数据,切勿当真!)
)
一、替换(去除空格)
场景:在问卷收集的姓名字段中,不少填写者会误输入空格,造成数据匹配不一致的问题。
Python
names = '刘 备、关 羽、 张 飞、赵 云、马 超、黄 忠'
names = names.replace(' ','')
print(names)
output
刘备、关羽、张飞、赵云、马超、黄忠
pandas
df['姓名'] = df['姓名'].str.replace(' ','')
output

二、分列
场景:在问卷收集数据的时候,多选题的数据往往是带有分隔符的。在分类汇总前往往需要按分隔符进行分列。

Python
hobbyStr = "足球┋排球┋羽毛球┋篮球"
hobbyList = hobbyStr.split('┋')
output
['足球', '排球', '羽毛球', '篮球']
pandas
# 利用split进行分列,expand = True 返回dataframe;expand=False返回Series
hobbyDf = df['爱好'].str.split('|', expand=True)
# 将hobbyDf 与 df安装索引合并
df2 = pd.merge(df, hobbyDf, how="left", left_index=True, right_index=True)

三、切片:截取数据
字符串是由一个个字符组成的序列,在Python中可以直接对字符串进行切片操作,来进行截取数据。
如“XX市四季家园二区22幢203室”,可以看作是下图中16个字符值组成的序列。而切片的语法是:

Python
addressStr = "XX市四季家园二区22幢203室"
print(f"城市:{addressStr[:3]}")
print(f"小区:{addressStr[3:9]}")
output
城市:XX市
小区:四季家园二区
pandas
提取城市名称,由于城市名称的字数相同,可以直接切片截取前三个。
df["城市"] = df["地址"].str[:3]

提取小区名,稍有点复杂。因为小区名称长度是不一样长的。可以利用字符串处理的天花板: 正则表达式
。详细处理方法,见下文五、正则表达式
示例1。
四、补齐数据
有时候,我们在电脑中按文件名排序的时候,你可能会遇到下面的情况:

在不同系统中,我们希望是按数值排序,但偏偏系统却是按字符排序的,如某些车载播放器中。比较好的解决方法就是在前面添加0,补齐数据位数。数据量大的时候,手动修改很麻烦,Python字符串处理的zfill()
函数就可以解决这个问题。
Python
myStr = "1章节"
print(myStr.zfill(4)) # 整个字符串补齐到4位
output
01章节
pandas
df["新文件名"] = "第"+df["文件名"].str[1:].str.zfill(8)

配合os.rename()
便可以批量重命名。关键代码如下
df.apply(lambda x: os.rename( path + x["文件名"], path + x["新文件名"]), axis=1)

五、正则表达式
遇到复杂的字符串处理需求时,Python有优势就可以体现出来了。因为python和pandas有一个超强的字符串处理武器:正则表达式。正则表达式可以匹配字符串的格式特点,如电子邮箱的地址格式、网址的地址格式、电话号码格式等。如何写好正则表达式,这是一门精深的学问,本文介绍几个正则表达式的常用案例,浅尝辄止。
注:Python默认不支持正则表达式语法,而pandas直接支持正则表达式语法,这里重点介绍pandas处理表格数据。
1.提取长度不一样的小区名
思路:
提取上面小区名,可以归纳一下地址中小区名的格式特点:
苏州市之后,幢号数字之前的中文字符
。Series
的str.extract()
,可用正则从字符数据中抽取匹配的数据;
## 匹配中文字符的正则表达式: [\u4e00-\u9fa5]
pattern = r'苏州市([\u4e00-\u9fa5]+)[0-9]+幢'
df["小区"] = df["地址"].str.extract(pattern, expand=False)

2.提取几幢几室
思路:几幢几室,格式都是数字+幢
和数字+室
数字可以用 [0-9]
或\d
来匹配;+
表示1个或多个。
pattern = r'([0-9]+)幢'
df["幢号"] = df["地址"].str.extract(pattern, expand=False)
pattern = r'(\d+)室'
df["室号"] = df["地址"].str.extract(pattern, expand=False)

六、apply函数
apply 函数:可以对DateFrame
进行逐行或逐列进行处理。
1.增加一列,将幢号按照奇偶数分类
将幢号为奇数的为A区,偶数的为B区
# 定义处理的函数,共apply函数调用,传入的参数为一个Series对象
def my_func(series):
if (series["幢号"]) % 2 != 0:
return "A区"
else:
return "B区"
df["幢号分类"] = df.apply(my_func, axis=1)
上述代码中apply函数,有两个参数
第一个参数:处理逻辑的函数名。主要传入名称,这里为 my_func
;第二个参数: axis = 1
,表示按列处理。即传入的是每一行的Series
。
output

2.增加一列,字典映射
def my_func2(series):
# 映射字典,key为小区名,value为小区称号
my_dict = {
'吉祥如意家园': '最佳好运小区',
'科技村': '最佳科创小区',
'四季家园': '最佳风光小区',
'万象更新家园': '最佳风采小区',
}
# 每一行小区名称,切片截取至倒数第2个,即-2
nameKey = series['小区'][:-2]
return my_dict[nameKey]
df["小区称号"] = df.apply(my_func2, axis=1)
output

结语
本文演示的字符串操作:替换
、分列
、切片截取
、补齐数据
、正则表达式
、apply()函数
常见于数据分析的数据清洗环节,替换
、分列
、切片截取
在Excel中也很容易实现,正则表达式
可以说是Python处理复杂字符串问题的一大利器,apply()函数
可以实现自定义函数
处理表格型的数据,十分灵活、威力巨大。由于篇幅有限,正则表达式
、apply()函数
本文就点到为止,今后值得整理更多相关案例。

【Python自动化Excel】Python与pandas字符串操作的更多相关文章
- 【Python自动化Excel】pandas操作Excel的“分分合合”
话说Excel数据表,分久必合.合久必分.Excel数据表的"分"与"合"是日常办公中常见的操作.手动操作并不困难,但数据量大了之后,重复性操作往往会令人崩溃. ...
- 【Python自动化Excel】pandas处理Excel数据的基本流程
这里所说的pandas并不是大熊猫,而是Python的第三方库.这个库能干嘛呢?它在Python数据分析领域可是无人不知.无人不晓的.可以说是Python世界中的Excel. pandas库处理数据相 ...
- 【Python自动化Excel】pandas处理Excel的“分分合合”
话说Excel数据表,分久必合.合久必分.Excel数据表的"分"与"合"是日常办公中常见的操作.手动操作并不困难,但数据量大了之后,重复性操作往往会令人崩溃. ...
- Python自动化开发 - Python操作Memcached、Redis、RabbitMQ
Memcached Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载. 它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速 ...
- Pandas字符串操作及实例应用
字符串操作 字符串对象方法 val = 'a,b, guido' val.split(',') ['a', 'b', ' guido'] pieces = [x.strip() for x in va ...
- Appium+python自动化8-Appium Python API
Appium+python自动化8-AppiumPython API 前言: Appium Python API全集,不知道哪个大神整理的,这里贴出来分享给大家. 1.contexts conte ...
- python自动化,使用unittest对界面操作,读取excel表格数据输入到页面查询结果,在把结果保存到另外一张excel中
# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom ...
- python(二)——list、字典、字符串操作
列表——list 假设一种场景,想要存班里所有同学的名字,那应该拿什么存呢? 我们可以拿一个字符串去存,例如: stus = "s1,s2,s3,s4,s5……sn" 那我们要从里 ...
- Python自动化开发 - Python操作MySQL
本篇对于Python操作MySQL主要使用两种方式: 原生模块 pymsql ORM框架 SQLAchemy 一.pymysql pymsql是Python中操作MySQL的模块,其使用方法和mysq ...
随机推荐
- 【C# 线程】线程局部存储(TLS)理论部分 ThreadStatic|LocalDataStoreSlot|ThreadLocal<T>
线程本地存储(TLS:Thread Local Storage) 线程本地存储(Thread Local Storage),字面意思就是专属某个线程的存储空间.变量大体上分为全局变量和局部变量,一个进 ...
- svn问题总结
有问题先尝试右键刷新,或clean up svn图标不显示 解决办法:打开注册表regedit,HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\Curren ...
- Bash初识与常用命令
转至:https://www.cnblogs.com/baishou/p/13850258.html Shell介绍 Shell在中文的意思是壳,寓意是操作系统的壳.Shell是指一种应用程序,这个应 ...
- Java 实现Https访问工具类 跳过ssl证书验证
不多BB ,代码直接粘贴可用 import java.io.BufferedReader; import java.io.ByteArrayOutputStream; import java.io.F ...
- 06-CircuitBreaker断路器
1.介绍 Spring Cloud Circuit breaker provides an abstraction across different circuit breaker implement ...
- JUC知识点总结(知识点见内部目录)
目录 JUC是什么 锁 Synchronized VS Lock 实现差异 Synchronized & Lock 总结 Synchronized锁的对象是什么 生产者&消费者 只有两 ...
- Linux命令大全(查看日志)
1.查看日志常用命令 tail: -n 是显示行号:相当于nl命令:例子如下: tail -100f test.log 实时监控100行日 ...
- Mysql数据库索引的使用
1.索引的使用 查询 表的锁show index from qk_auth_employee 2.走索引 EXPLAIN SELECT * from qk_auth_employee where Da ...
- 一步一步迁移ASP.NET Core 6.0-Part1
.NET 6 发布后,我们现有的应用会逐步升级到这个版本,首当其冲的是原因的ASP.NET Core的工程,如果一步一步升级到ASP.NET Core 6.0 本文简单整理一下升级ASP.NET Co ...
- 权限命令 vi编辑器 命令模式 使用技巧
一.长格式由七部分组成 权限 引用数字 所有者 所属组 文件大小 时间 名称 如 dr-xr-xr-x 5 root root 409 ...