【pandas小技巧】--数据转置】的更多相关文章

1. 删除列 import pandas as pd df.drop("Unnamed: 0", axis=1, inplace=True) 2. 转换列的格式 df["Date"] = df["Date"].astype("datetime64[ns]") df = df.astype({'trans_time': 'datetime64[ns]', 'store_code'a:int, 'goods_id':int}) 3…
1.找出某个字段包含某字符串的行: my_df[my_df['col_B'].str.contains('大连') > 0]或者 my_df[my_df['col_B'].apply(lambda x:str(x).find('大连')>=0)] 2.字段值长度大于零的行: my_df[my_df['col_b'].apply(lambda x: len(x)) > 0)]或者 my_df[my_df['col_B'].str.len() > 0]…
Java在处理大数据的时候一些小技巧 发布时间:2013-05-09 00:00:00 来源:中国IT实验室 作者:佚名   关键字:Java 众所周知,java在处理数据量比较大的时候,加载到内存必然会导致内存溢出,而在一些数据处理中我们不得不去处理海量数据,在做数据处理中,我们常见的手段是分解,压缩,并行,临时文件等方法; 例如,我们要将数据库(不论是什么数据库)的数据导出到一个文件,一般是Excel或文本格式的CSV;对于Excel来讲,对于POI和JXL的接口,你很多时候没有办法去控制内…
今天接到一位开发同学的数据操作需求,需求看似很简单,需要执行下面的SQL语句: delete from test_track_log where log_time < '2019-1-7 00:00:00'; 看需求描述是因为查询统计较差,希望删除一些历史数据. 带着疑问我看下了表结构: CREATE TABLE `test_track_log` ( `id` ) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增主键', `uid` ) unsigned…
Pandas有一些不频繁使用容易忘记的小技巧 1.将不同Dataframe写在一个Excel的不同Sheet,或添加到已有Excel的不同Sheet(同名Sheet会覆盖) from pandas import ExcelWriter #在单个文件中不同df写入对应不同的的工作表 with ExcelWriter('path_to_file.xlsx') as writer: df1.to_excel(writer, sheet_name='Sheet1') df2.to_excel(write…
with list_numbers as ( select Name, AuthorOrTime, Url, Price, EstimatePrice, Size, Category, ROW_NUMBER() over (order by Name, AuthorOrTime, Url, Price, EstimatePrice, Size, Category) as 'rownumber' from Arts ) delete list_numbers where rownumber not…
1. 右击 DataBaseName,选择 Tasks->Import Data 2. 选择数据源: Flat File Source , 选择一个csv文件 Advance: 选择所有的列,改OutputColumnWidth 到 500 3.  Destination: 选中自己的数据库 4. 选中相关的表, Edit Mappings 5. 一路Next到 finish. sql server 小技巧 集锦…
1. 右健数据库 –> Tasks –> Generate Scripts   2. 选择所有的表   3. 下一步,选择Advanded, Types of data to script 选择Schema and data     sql server 小技巧 集锦…
提高Python数据分析速度的八个小技巧 01 使用Pandas Profiling预览数据 这个神器我们在之前的文章中就详细讲过,使用Pandas Profiling可以在进行数据分析之前对数据进行快速预览,拿我们使用过很多次的NBA数据集来说,导入数据集之后 一行代码就生成丰富的交互式数据EDA报告 可以看到,除了之前我们需要的一些描述性统计数据,该报告还包含以下信息: 类型推断:检测数据帧中列的数据类型. 要点:类型,唯一值,缺失值 分位数统计信息,例如最小值,Q1,中位数,Q3,最大值,…
1 简介 作为全球最大的开源及私有软件项目托管社区平台,github可以显著地帮助从事编程相关工作的人员提升自己的技术水平,也是费老师我日常最常浏览学习的技术类网站. github为了使得其使用更加便捷,时常推出一些实用的功能,今天我们就来学习其中方便我们日常编写markdown文档.创建issues等操作的几则小技巧. 2 github日常使用小技巧 2.1 在markdown中绘制在线地图 github支持使用markdown编写的文档或内容中利用特殊的语法插入geoJSON或topoJSO…