目录 NAME 格式 常用选项 表达式 PATTERN(模式) 流程控制语句 数组 print,printf格式化输出 常用示例 NAME gawk - pattern scanning and processing language 模式扫描和处理语言 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. 格式 gawk [option…

这是我学习北京理工大学嵩天老师的<Python数据分析与展示>课程的笔记.嵩老师的课程重点突出.层次分明,在这里特别感谢嵩老师的精彩讲解. NumPy库入门 数据的维度 维度是一组数据的组织形式.数据维度就是在数据之间形成特定关系表达多种含义的一个概念. 一维数据: 一维数据由对等关系的有序或无序数据构成,采用线性方式组织.对应列表.数组和集合等概念. 列表和数组:一组数据的有序结构. 区别: 列表:数据类型可以不同 数组:数据类型相同 二维数据: 二维数据由多个一维数据构成,是一维数据的组合…

0 数据分析之前奏 课程主要内容:常用IDE:本课程主要使用:Anaconda Anaconda:一个集合,包括conda.某版本Python.一批第三方库等 -支持近800个第三方库 -适合科学计算领域 -包含多个主流工具 -开源免费 -跨平台 本身不是个ide 是将多个工具集成在一起的 conda -一个工具,用于包管理和环境管理 -包管理与pip类似,管理Python第三方库 -环境管理能够允许用户使用不同版本的Python,并能灵活切换 conda将工具.第三方库.Python版本.co…

一.IDE选择 Anaconda软件:开源免费,https://www.anaconda.com下载,根据系统进行安装.由于下载速度慢,可以去清华大学开源软件镜像站下载. Spyder软件设置:Tools-Preferences-Syntax coloring-Scheme设置成Monokai,保护眼睛. Spyder里面有一个IPython,交互式调试工具. 二.NumPy库 1. 数据的维度:一组数据的组织形式. 从一个数据到一组数据,表达多种数据含义. 一维数据:由对等关系的有序或无序数据…

说明:0轴axis=0和1轴axis=1 简介 一:数据的排序 二:数据的基本统计分析 三:数据的累积统计分析 四:数据的相关分析 一:数据的排序 a b c d a b c d 二:数据的基本统计分析 三:数据的累积统计分析 累积统计分析:是能够对数据中的前1-n个数,进行累积运算,在一些大量数据分析中,可以减少for循环的使用,使得数据的运算更加灵活 四:数据的相关分析 总结…

一:基本绘图函数(这里介绍16个,还有许多其他的) 二:pyplot饼图plt.pie的绘制 三:pyplot直方图plt.hist的绘制 (一)修改第二个参数bins:代表直方图的个数,均分为多段,取其中的每段均值 (二)normed为1代表我们要使用归一化数据(所占比例)在y轴,为0表示每个期间所占个数 四:pyplot极坐标图bar的绘制(角度空间内展示效果不错,在生活中不常用) 五:pyplot散点图的绘制(面向对象绘制:各种绘制函数变为当前图表区域对象的方法,这是推荐的方法) 六:引力…

仅仅从网上爬下数据当然是不够用的,主要还得对数据进行分析与展示,大部分人都看重薪资,但是薪资数据有的是*k/月,有的是*万/月,还有*万/年等等,就要对数据进行清理 将所有单位统一化,全部换算成统一单位,然后分类薪资范围,在计算各个范围的数量,最后绘图展示 import pymysql import numpy as np from pyecharts import Bar from pyecharts import Pie class Mysqlhelper(object): config =…

Numpy库入门 从一个数据到一组数据 维度:一组数据的组织形式 一维数据:由对等关系的有序或无序数据构成,采用线性方式组织. 可用类型:对应列表.数组和集合 不同点: 列表:数据类型可以不同 数组:数据类型相同 二维数据:由多个一维数据构成,是一维数据的组合形式. 表格是典型的二维数据 多维数据:由一维或二维数据在新维度上扩展形成. 高维数据:仅利用最基本的二元关系展示数据间的复杂结构. 键值对将数据组织起来的形式 一维数据:列表和集合类型 二维数据:列表类型 多维数据:列表类型 高维数据:字…

Pandas数据特征分析 数据的排序 将一组数据通过摘要(有损地提取数据特征的过程)的方式,可以获得基本统计(含排序).分布/累计统计.数据特征(相关性.周期性等).数据挖掘(形成知识). .sort_index()方法在指定轴上根据索引进行排序,默认升序 .sort_index(axis=0, ascending=True) In [1]: import pandas as pd In [2]: import numpy as np In [3]: b = pd.DataFrame(np.ar…

Matplotlib库入门 Matplotlib基础绘图函数示例 pyplot基础图表函数概述 函数 说明 plt.plot(x,y,fmt, ...) 绘制一个坐标图 plt.boxplot(data,notch,position) 绘制一个箱体图 plt.bar(left,height,width,bottom) 绘制一个条形图 plt.barh(width,bottom,left,height) 绘制一个横向条形图 plt.polar(theta,r) 绘制极坐标图 plt.pie(dat…