[读书笔记] Python 数据分析（十一）经济和金融数据应用

【[读书笔记] Python 数据分析（十一）经济和金融数据应用】的更多相关文章

[读书笔记] Python 数据分析（十一）经济和金融数据应用

resample: 重采样函数,可以按照时间来提高或者降低采样频率,fill_method可以使用不同的填充方式. pandas.data_range 的freq参数枚举: Alias Description B business day frequency C custom business day frequency D calendar day frequency W weekly frequency M month end frequency SM semi-month end freq…

[读书笔记] Python数据分析（二）引言

1. 数据分析的任务:数据读写,数据准备(清洗,修整,规范化,重塑,切片切块,变形),转换,建模计算,呈现(模型/数据) 2. 数据集: bit.ly的1.usa.gov数据:URL缩短服务bit.ly和美国政府usa.gov合作从.gov或.mil用户那里收集的匿名数据 # -*- coding:utf-8 -*- #导入json模块,将json字符串转换为python字典 import json from collections import defaultdict from colle…

[读书笔记] Python数据分析（三） IPython

1. 什么是IPython IPyhton 本身没有提供任何的计算或者数据分析功能,在交互式计算和软件开发者两个方面最大化地提高生产力,execute-explore instead of edit-compile-run. 2.TAB键的功能 Tab: 输出当前空间中任何与输入的字符串相匹配的变量 .<Tab>: 输出对象方法和属性,默认隐藏下划线开头的方法和属性和内部私有的方法和属性 .__<Tab>: 输出下划线开头的方法和属性和内部私有的方法和属性路径搜索: 文件夹和文件…

[读书笔记] Python数据分析（一）准备工作

1. python中数据结构:矩阵,数组,数据框,通过关键列相互联系的多个表(SQL主键,外键),时间序列 2. python 解释型语言,程序员时间和CPU时间衡量,高频交易系统 3. 全局解释器锁GIL, Global Interpreter Lock防止解释器同时执行多个python字节码指令的机制 Cpython 可以继承OpenMP 实行并行处理循环而大幅度提高数值算法的速度 4. Numpy, pandas,matplotlib,Ipython,Scipy Numpy:Python科…

[读书笔记] Python数据分析（四）数组和矢量计算

Numpy:高性能计算和数学分析的基础包 ndarray, 一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组用于对数组数据进行快速运算的标准数学函数用于读写磁盘数据的工具和用于操作内存映射文件的工具线性代数,随机数生成,傅里叶变换用于集成C,C++,Fortran等语言编写的代码工具(很容易将数据传给低级语言编写的外部库,外部库也能以Numpy数组形式将数据返回给python,使得python成为包装c/c++/Fortran历史代码库选择) ndarray: N维数组对象,…

[读书笔记] Python数据分析（五） pandas入门

pandas: 基于Numpy构建的数据分析库 pandas数据结构:Series, DataFrame Series: 带有数据标签的类一维数组对象(也可看成字典) values, index 缺失数据检测:pd.isnull(), pd.notnull(), Series对象的实例方法 Series对象本身及其索引都有一个name属性,和pandas其他关键功能关系很密切 DataFrame: 表格型数据结构,列和行都有索引获取DataFrame列:字典标记方式,或者属性方式(frame2…

[读书笔记] Python 数据分析（八）画图和数据可视化

ipython3 --pyplot pyplot: matplotlib 画图的交互使用环境…

[读书笔记] Python 数据分析（十二）高级NumPy

da array: 一个快速而灵活的同构多维大数据集容器,可以利用这种数组对整块的数据进行一些数学运算数据指针,系统内存的一部分数据类型 data type/dtype 指示数据大小的元组 stride: strides中保存的是当每个轴的下标增加1时,数据存储区中的指针所增加的字节数 In [6]: np.ones((3,4,5),dtype=np.float64).strides Out[6]: (160, 40, 8) ndarray数据结构: reshape()函数 -1参数,该维度…

小白学 Python 数据分析（15）：数据可视化概述

人生苦短,我用 Python 前文传送门: 小白学 Python 数据分析(1):数据分析基础小白学 Python 数据分析(2):Pandas (一)概述小白学 Python 数据分析(3):Pandas (二)数据结构 Series 小白学 Python 数据分析(4):Pandas (三)数据结构 DataFrame 小白学 Python 数据分析(5):Pandas (四)基础操作(1)查看数据小白学 Python 数据分析(6):Pandas (五)基础操作(2)数据选择小白学…

【Python数据分析案例】python数据分析老番茄B站数据（pandas常用基础数据分析代码）

一.爬取老番茄B站数据前几天开发了一个python爬虫脚本,成功爬取了B站李子柒的视频数据,共142个视频,17个字段,含: 视频标题,视频地址,视频上传时间,视频时长,是否合作视频,视频分区,弹幕数,播放量,点赞数,投币量,收藏量,评论数,转发量,实时爬取时间基于这个Python爬虫程序,我更换了up主的UID,把李子柒的uid换成了老番茄的uid,便成功爬取了老番茄的B站数据.共393个视频,17个字段,字段同上. 这里展示下爬取到的前20个视频数据: 基于爬取的老番茄B站数据,用pyt…

《Android群英传》读书笔记 (5) 第十一章搭建云端服务器 + 第十二章 Android 5.X新特性详解 + 第十三章 Android实例提高

第十一章搭建云端服务器该章主要介绍了移动后端服务的概念以及Bmob的使用,比较简单,所以略过不总结. 第十三章 Android实例提高该章主要介绍了拼图游戏和2048的小项目实例,主要是代码,所以略过不总结. 第十二章 Android 5.X新特性详解 1.Material Design(1)MD主题:“拟物扁平化” @android:style/Theme.Material@android:style/Theme.Material.Light@android:style/Theme.Ma…

读书笔记 ~ Python黑帽子黑客与渗透测试编程之道

Python黑帽子黑客与渗透测试编程之道 <<< 持续更新中>>> 第一章: 设置python 环境 1.python软件包管理工具安装 root@starnight:~# apt-get install python-setuptools python-pip root@starnight:~# pip install github3.py [注]如果在安装的过程中出现:E: Sub-process /usr/bin/dpkg returned an erro…

《深入理解java虚拟机》读书笔记十——第十一章

第十一章晚期(运行期)优化 1.HotSpot虚拟机内的即时编译解释器与编译器: 许多Java虚拟机的执行引擎在执行Java代码的时候都有解释执行(通过解释器执行)和编译执行(通过即时编译器产生本地代码)两种选择即时编译器: 当虚拟机发现某个方法或者代码块的运行特别频繁时,就会把这些代码认定为热点代码.为了提高热点代码的执行效率.在运行时虚拟机会把这些代码编译成本地平台相关的机器码,并进行各种层次的优化,完成这个任务的编译器称为即时编译器(Just In Time Compiler,下文…

读书笔记, Python - python-tricks-buffet-awesome-features

To be a Pythonista 1. assert syntax: assert expression1 [",", expression2] 大致相当于 if __debug__: if not expression1: raise AssertionError(expression2) 例子1 def apply_discount(product, discount): price = int(product['price'] * (1.0 - discount)) asse…

[读书笔记] Python语言及其应用

记录下秋招期间看的一本Python工具书<Python语言与其应用>,查漏补缺,部分内容整理如下: 易混淆概念 1.1 删除 - del,remove()和pop() 1.2 复制 - 浅/深复制 1.3 容器 - 列表.元组.字典和集合1.4 日期时间 - datetime 代码结构 2.1 形参与位参2.2 生成器2.3 装饰器2.4 包2.5 对象与类数据3.1 字符串3.2 数据读写3.3 数据库 Web 系统开发6.1 并发6.2 测试 1. 易混淆概念 1.1 删除 - del…

Machine Learning for hackers读书笔记(二)数据分析

#均值:总和/长度 mean() #中位数:将数列排序,若个数为奇数,取排好序数列中间的值.若个数为偶数,取排好序数列中间两个数的平均值 median() #R语言中没有众数函数 #分位数 quantile(data):列出0%,25%,50%,75%,100%位置处的数据 #可自己设置百分比 quantile(data,probs=0.975) #方差:衡量数据集里面任意数值与均值的平均偏离程度 var() #标准差: sd() #直方图,binwidth表示区间宽度为1 ggplot(hei…

【Python数据分析】从Web收集数据小实例

最近在看<鲜活的数据:数据可视化指南>,学习一些数据可视化与数据分析的技术,本例是该书第一章的一个例子衍伸而来. 实例内容:从www.wunderground.com收集美国纽约州布法罗市(水牛城)2014年3月份每天最高气温,并导入Excel或WPS表格,制做成折线图. 工具准备:安装好的Python2.7,Beautiful Soup库(将其python文件放入Python库文件路径中) 步骤1:撰写Python程序.代码如下: # -*- coding: cp936 -*- import…

Python数据分析之Pandas读写外部数据文件

1 引言数据分析.数据挖掘.可视化是Python的众多强项之一,但无论是这几项中的哪一项都必须以数据作为基础,数据通常都存储在外部文件中,例如txt.csv.excel.数据库.本篇中,我们来捋一捋Python中那些外部数据文件读取.写入的常用方法. 下表是Pandas官方手册上给出的一张表格,表格描述的是Pandas中对各种数据文件类型的读.写函数,你可以直接在官方手册中找到: Format Type Data Description Reader Writer text CSV read_…

Python实战——基于股票的金融数据量化分析

说明:本文只是通过自己的已学知识对股票数据进行了一个简单的量化分析,只考虑了收盘情况,真实的量化交易中仅仅考虑收盘情况是不够的,还有很多的复杂因素,而且仅仅三年数据是不足以来指导真实的股票交易的,因此本文只是作为一个简单的python练手项目. 一.分析目的利用预先设定的策略,通过对股票交易的历史数据进行回测,验证该策略是否能指导股票交易. 二.数据处理 1.数据集描述数据集来源:https://www.nasdaq.com/symbol/baba/historical 数据集简介:此数据集…

python数据分析4之自动采集数据

1 数据采集的重要性数据采集是数据挖掘的基础,没有数据,挖掘也没有意义.很多时候,我们拥有多少数据源,多少数据量,以及数据质量如何,将决定我们挖掘产出的成果会怎样 2 四类采集方式 3 如何使用开放是数据源 4 爬虫方式 (1) 使用request爬取内容.(2)使用xpath解析内容,可以通过元素属性进行位置索引(3)使用panda保存数据.最后通过panda写入XLS或者mysql数据中 (3)scapy 5 常用抓取工具 (1)火车采集器http://www.locoy.com/它不仅可…

java io读书笔记（3）数值类型的数据

input stream读取字节:out stream写入字节.Readers读取字符而Writers写入字符.因此,如果我们想理解input和output,我们首先就要明白 java如何处理字节,整数,字符以及其他数据类型.以及这些类型之间如何相互转换. 1)整数数据(Integer Data) java中,基础的integer数据类型是int,4字节.long是8字节.short是2字节. bytes,在java中用的特别多.尤其在io中,用的更多.一个byte是8位的. 在java内部,是…