1. 数据分析的任务:数据读写,数据准备(清洗,修整,规范化,重塑,切片切块,变形),转换,建模计算,呈现(模型/数据) 2. 数据集: bit.ly的1.usa.gov数据:URL缩短服务bit.ly和美国政府usa.gov合作从.gov或.mil用户那里收集的匿名数据 # -*- coding:utf-8 -*- #导入json模块,将json字符串转换为python字典 import json from collections import defaultdict from colle…

第十二章  Java内存模型与线程 1.硬件效率与一致性 由于计算机的存储设备与处理器的运算速度有几个数量级的差距,所以现代计算机系统都不得不加入一层读写速度尽可能接近处理器运算速度的高速缓存(Cache)来作为内存与处理器之间的缓冲. 每个处理器都有自己的高速缓存,而它们又共享同一主内存(Main Memory),当多个处理器的运算任务都涉及同一块主内存区域时,将可能导致各自的缓存数据不一致,为了解决一致性的问题,需要各个处理器访问缓存时都遵循一些协议,在读写时要根据协议来进行操作,这类协议有…

da array: 一个快速而灵活的同构多维大数据集容器,可以利用这种数组对整块的数据进行一些数学运算 数据指针,系统内存的一部分 数据类型 data type/dtype 指示数据大小的元组 stride: strides中保存的是当每个轴的下标增加1时,数据存储区中的指针所增加的字节数 In [6]: np.ones((3,4,5),dtype=np.float64).strides Out[6]: (160, 40, 8) ndarray数据结构: reshape()函数 -1参数,该维度…

1. 什么是IPython IPyhton 本身没有提供任何的计算或者数据分析功能,在交互式计算和软件开发者两个方面最大化地提高生产力,execute-explore instead of edit-compile-run. 2.TAB键的功能 Tab: 输出当前空间中任何与输入的字符串相匹配的变量 .<Tab>: 输出对象方法和属性,默认隐藏下划线开头的方法和属性和内部私有的方法和属性 .__<Tab>: 输出下划线开头的方法和属性和内部私有的方法和属性 路径搜索: 文件夹和文件…

1. python中数据结构:矩阵,数组,数据框,通过关键列相互联系的多个表(SQL主键,外键),时间序列 2. python 解释型语言,程序员时间和CPU时间衡量,高频交易系统 3. 全局解释器锁GIL, Global Interpreter Lock防止解释器同时执行多个python字节码指令的机制 Cpython 可以继承OpenMP 实行并行处理循环而大幅度提高数值算法的速度 4. Numpy, pandas,matplotlib,Ipython,Scipy Numpy:Python科…

Numpy:高性能计算和数学分析的基础包 ndarray, 一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组 用于对数组数据进行快速运算的标准数学函数 用于读写磁盘数据的工具和用于操作内存映射文件的工具 线性代数,随机数生成,傅里叶变换 用于集成C,C++,Fortran等语言编写的代码工具(很容易将数据传给低级语言编写的外部库,外部库也能以Numpy数组形式将数据返回给python,使得python成为包装c/c++/Fortran历史代码库选择) ndarray: N维数组对象,…

pandas: 基于Numpy构建的数据分析库 pandas数据结构:Series, DataFrame Series: 带有数据标签的类一维数组对象(也可看成字典) values, index 缺失数据检测:pd.isnull(), pd.notnull(), Series对象的实例方法 Series对象本身及其索引都有一个name属性,和pandas其他关键功能关系很密切 DataFrame: 表格型数据结构,列和行都有索引 获取DataFrame列:字典标记方式,或者属性方式(frame2…

ipython3 --pyplot pyplot: matplotlib 画图的交互使用环境…

resample: 重采样函数,可以按照时间来提高或者降低采样频率,fill_method可以使用不同的填充方式. pandas.data_range 的freq参数枚举: Alias Description B business day frequency C custom business day frequency D calendar day frequency W weekly frequency M month end frequency SM semi-month end freq…

原文:WPF,Silverlight与XAML读书笔记第三十九 - 可视化效果之3D图形 说明:本系列基本上是<WPF揭秘>的读书笔记.在结构安排与文章内容上参照<WPF揭秘>的编排,对内容进行了总结并加入一些个人理解. WPF将易用性的理念带入了3D世界,WPF中3D也工作在一种保留模式下,这意味着系统会负责刷新与重绘.WPF中2D图形与3D图形系统有着很紧密的融合,首先在绘图系统基础及2D图形篇所介绍的概念对3D图形是适用的.2D媒体,如Video,Drawing和Visual…