python数据分析之ipython
在用python进行数据分析的时候,需要提前安装如下几个库:
Numpy:是python进行科学计算的科学包
pandas:提供了能够快速便捷地处理结构化数据的大量数据结构和函数
matplotlib: 看名字和matlab有点像,matplotlib是用于绘制数据图表的python库
ipython:科学计算标准工具集的组成部分,它将其他的东西都联系到了一起。可以算是一个集成开发环境,也算是一个Python shell. 它主要用与交互式数据处理和利用matplotlib对数据进行可视化处理。
Scipy: 专门解决科学计算中的各种标准问题域的包的集合。
安装完上述的包以后,我们首先来了解ipython:
我们通过命令行来启动ipython
root@zhf-maple:/home/zhf/桌面# ipython
Python 2.7.14 (default, Sep 23 2017, 22:06:14)
Type "copyright", "credits" or "license" for more information.
IPython 5.5.0 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.
In [1]:
可以在这里输入任何的python语句,然后按回车就可以执行了。下面的这个例子使用了np.random.randn函数。numpy中有一些产生随机数的函数。其中就包括randn和rand
numpy.random.randn(d0, d1, …, dn)是从标准正态分布中返回一个或多个样本值。
numpy.random.rand(d0, d1, …, dn)的随机样本位于[0, 1)中。
In [3]: data={i:np.random.randn() for i in range(10)}
In [4]: data
Out[4]:
{0: -0.26372963026186114,
1: 0.9897522050146305,
2: -0.317248416264267,
3: -0.20268379526665642,
4: 0.24959732707744903,
5: -0.606557876097728,
6: -1.4078448883575148,
7: -0.2142476262321556,
8: 0.4230008554551093,
9: -0.011635799533308613
TAB自动化功能:
在shell中输入表达式时,只要按下tab键,当前命令空间中任何与已输入的的字符串相匹配的变量就会被找出来。
In [9]: apple=4
In [10]: appl
apple
apply
不光找出了定义的apple值,还找出了内置对象apply。 还可以在任何对象后面输入一个点号然后按下tab来查找出所有的属性。
In [11]: b=[1,2,3]
In [12]: b.
b.append b.index b.remove
b.count b.insert b.reverse
b.extend b.pop b.sort
同样的也可以应用于模块中。
In [12]: import time
In [13]: time.
time.accept2dyear time.daylight time.strftime time.tzname
time.altzone time.gmtime time.strptime time.tzset
time.asctime time.localtime time.struct_time
time.clock time.mktime time.time
time.ctime time.sleep time.timezone
内省
在变量的前面或者后面加上一个?就可以将有关该对象的一些通用信息显示出来:
In [13]: b?
Type: list
String form: [1, 2, 3]
Length: 3
Docstring:
list() -> new empty list
list(iterable) -> new list initialized from iterable's items
这个方法对于函数也是同样适用的。?显示出这段docstring, ??显示出该函数的源代码。
In [14]: def add(a,b):
...: return a+b
...:
In [15]: add?
Signature: add(a, b)
Docstring: <no docstring>
File: /home/zhf/桌面/<ipython-input-14-ff991a776e8a>
Type: function
In [16]: add??
Signature: add(a, b)
Source:
def add(a,b):
return a+b
File: /home/zhf/桌面/<ipython-input-14-ff991a776e8a>
Type: function
%run命令
在ipython中,所有文件都可以通过%run命令当做python程序来运行。假设有test1.py文件有如下脚本
def add_function():
a=3
b=4
return a+b
result=add_function()
In [18]: %run /home/zhf/py_prj/test1.py
In [19]: result
Out[19]: 7
通过%run命令就可以直接执行。如果在执行过程中发现有错误,ipython默认会输出整个调用栈跟踪traceback
ipython和操作系统的交互也做得比较好。下面列出调用shell命令的魔术命令及语法
!cmd:在系统shell中执行cmd
In [29]: !ls -al
总用量 28
drwxr-xr-x 2 zhf zhf 4096 12月 4 08:13 .
drwxr-xr-x 35 zhf zhf 4096 1月 15 16:48 ..
-rwxr-xr-x 1 zhf zhf 2183 11月 28 20:51 mpv.desktop
-rwxr-xr-x 1 zhf zhf 309 11月 28 22:37 Pycharm.desktop
-rwxr-xr-x 1 zhf zhf 428 11月 28 20:51 ubuntu-kylin-software-center.desktop
-rwxr-xr-x 1 zhf zhf 714 12月 4 08:13 wps-office-et.desktop
-rwxr-xr-x 1 zhf zhf 757 12月 4 08:13 wps-office-wps.desktop
%alias: 为系统shell命令定义别名
%bookmark: 使用ipython的目录书签系统。在实际使用中,想快速的跳到某个目录,可以使用书签系统。下面的例子使用py_prj作为一个书签表示的目录是/home/zhf/py_prj,cd py_prj就可以跳转到/home/zhf/py_prj目录
In [38]: %bookmark py_prj /home/zhf/py_prj
In [39]: cd py_prj
/home/zhf/py_prj
In [41]: %bookmark -l
Current bookmarks:
/home/zhf -> /home/zhf/桌面
l -> /home/zhf/py_prj
py_prj -> /home/zhf/py_prj
使用-l的参数可以打印出所有的书签。
%cd directory: 将系统工作目录更改为directory
%pwd: 返回系统的当前工作目录
%pushd directory: 将当前目录入栈,并转向目标目录。
%popd:弹出栈顶目录,并转向该目录
%dirs:返回一个含有当前目录栈的列表
%dhist:打印目录访问历史
%env:以dict形式返回系统环境变量。
软件开发工具:
在ipython中集成了pdb工具,可以很方便的对代码进行调试。在ipython中使用%run -d 脚本进入调试器
调试器的命令有如下:
h(elp):显示命令行列表
c(ontinue):恢复程序的执行
q(quit):退出调试器
b(reak) number:在当前文件的number行设置断点
s(tep):单步进入函数调用
n(next):执行当前行,并进入到下一行
u(p)/d(own):在函数调用栈中向上或向下移动
a(rgs):显示当前函数的参数
debug statement:在新的递归调试器中调用statement
l(ist) statement:显示当前行,以及当前栈级别上的上下文参考代码
w(here):打印当前位置的完整栈跟踪。
In [51]: %run -d test1.py
Breakpoint 1 at /home/zhf/py_prj/test1.py:1
NOTE: Enter 'c' at the ipdb> prompt to continue execution.
> /home/zhf/py_prj/test1.py(2)<module>()
1 1
----> 2 def add_function():
3 a=3
4 b=4
5 return a+b
ipdb> s
> /home/zhf/py_prj/test1.py(8)<module>()
4 b=4
5 return a+b
6
7
----> 8 result=add_function()
测试代码的执行时间:
在python中如果要计算代码的执行时间一般都是用如下的方法:
import time
start=time()
******function******
end=time()
during=end-start
在ipython中专门提供了2个魔术函数自动完成该过程。%time一次执行一个语句,然后报告执行的总体时间,
In [52]: string=['zhf','maple','zhfcmx','zhanghongfeng','chengdu','chongqing']
In [53]: %time method=[x for x in string if x.startswith('zhf')]
CPU times: user 4 µs, sys: 1 µs, total: 5 µs
Wall time: 5.96 µs
In [54]: %time method=[x for x in string if x.startswith('zhf')]
CPU times: user 9 µs, sys: 2 µs, total: 11 µs
Wall time: 16 µs
但是可以发现,每次对同一个过程执行相同的%time返回的结果都不一样,所以%time的结果并不是一个非常精确的结果。ipython还提供了%timeit 命令来多次执行并返回一个精确的平均执行时间
In [55]: %timeit method=[x for x in string if x.startswith('zhf')]
The slowest run took 5.50 times longer than the fastest. This could mean that an intermediate result is being cached.
1000000 loops, best of 3: 564 ns per loop
ipython HTML Notebook:
Notebook是ipthon一个很棒的功能,它把命令行交互从终端搬到了网页上,对于演示来说非常方便。首先需要安装jupyter。pip install jupyter。
root@zhf-maple:/home/zhf/py_prj# ipython notebook
[TerminalIPythonApp] WARNING | Subcommand `ipython notebook` is deprecated and will be removed in future versions.
[TerminalIPythonApp] WARNING | You likely want to use `jupyter notebook` in the future
[I 18:27:56.358 NotebookApp] Writing notebook server cookie secret to /run/user/1000/jupyter/notebook_cookie_secret
[C 18:27:56.372 NotebookApp] Running as root is not recommended. Use --allow-root to bypass.
这里提示不建议用root帐号登录。添加--allow-root后就开始运行了
root@zhf-maple:/home/zhf/py_prj# ipython notebook --allow-root
[TerminalIPythonApp] WARNING | Subcommand `ipython notebook` is deprecated and will be removed in future versions.
[TerminalIPythonApp] WARNING | You likely want to use `jupyter notebook` in the future
[I 18:28:09.174 NotebookApp] Serving notebooks from local directory: /home/zhf/py_prj
[I 18:28:09.174 NotebookApp] 0 active kernels
[I 18:28:09.174 NotebookApp] The Jupyter Notebook is running at:
[I 18:28:09.174 NotebookApp] http://localhost:8888/?token=d830e950b77bd0325e68bbbab4a8b1fd0f8936d8ec029b03
[I 18:28:09.174 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 18:28:09.176 NotebookApp]
Copy/paste this URL into your browser when you connect for the first time,
to login with a token:
http://localhost:8888/?token=d830e950b77bd0325e68bbbab4a8b1fd0f8936d8ec029b03
浏览器会自动弹出网路界面如下,会将当前工作目录下的文件都显示出来
在new下点击Python2就可以进入在线交互平台
在此可以输入交互命令,每个交互命令都是一个cell,可以在前后分别插入cell也就是命令。点击Run后即可运行
python数据分析之ipython的更多相关文章
- Python数据分析(一): ipython 技巧!
不一定非得使用Jupyter Notebook,试试ipython命令行 安装 ipython 我只试过Windows 10环境下的. 1.安装python安装包之后,应该就有ipython了. 2. ...
- 【Python数据分析】IPython基础
一.配置启动IPython 打开cmd窗口,在dos界面下输入ipython,结果报错了!!! 出现这个问题是由于环境变量未配置(前提:已经安装了ipython),那么接下来配置环境变量 我的电脑→右 ...
- 【Python数据分析】IPython快捷键
命令 说明 CTRL+P(或向上箭头) 后向搜索命令历史中以当前输入的文本开头的命令 CTRL+N(或向下箭头) ...
- Python数据分析入门
Python数据分析入门 最近,Analysis with Programming加入了Planet Python.作为该网站的首批特约博客,我这里来分享一下如何通过Python来开始数据分析.具体内 ...
- (python数据分析)第03章 Python的数据结构、函数和文件
本章讨论Python的内置功能,这些功能本书会用到很多.虽然扩展库,比如pandas和Numpy,使处理大数据集很方便,但它们是和Python的内置数据处理工具一同使用的. 我们会从Python最基础 ...
- Python数据分析初始(一)
基础库 pandas:python的一个数据分析库(pip install pandas) pandas 是基于 NumPy 的一个 python 数据分析包,主要目的是为了 数据分析 .它提供了大量 ...
- Python数据分析笔记
最近在看Python数据分析这本书,随手记录一下读书笔记. 工作环境 本书中推荐了edm和ipython作为数据分析的环境,我还是刚开始使用这种集成的环境,觉得交互方面,比传统的命令行方式提高了不少. ...
- Python数据分析必备Anaconda安装、快捷键、包安装
Python数据分析必备: 1.Anaconda操作 Anaconda是一个用于科学计算的Python发行版,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便 ...
- python数据分析系列(1)
目录 python基础 python语言基础 Ipython的一些特性 Python语法基础 Python控制流 lambda表达式 Python的数据结构 元组 列表 字典 集合 列表.集合.字典推 ...
随机推荐
- Charger Battery Warning Message 的 改善
今天與人聊到有關 charger battery safety 的 warning message, 認為說 warning message 真的有起到 保護 user 的作用? 譬如: batter ...
- Oracle单个datafile大小的限制
http://blog.itpub.net/30776559/viewspace-2146790/
- 在线扩展根分区 red hat 4.8.3-9
跑程序的时候发现报错,提示空间不足,仔细查看后发现是根分区已满 27G的空间只有20k剩余 考虑从/data分区压缩一点空间到/分区 切换到root用户 执行下面的命令 1. umount /data ...
- jquery 分页功能
<div class="wrapper"> <div class="row"> <div class="col-sm-1 ...
- Android中的动画总结
文章主要内容来源<Android开发艺术探索>,部分内容来源网上的文章,文中会有链接. Android系统提供了两个动画框架:属性动画框架和View动画框架. 两个动画框架都是可行的选项, ...
- iOS 改变Search Bar中Scope Button中文本的颜色和字体
- (void)initSearchbar{ self.wineSearchBar.delegate = self; [self.wineSearchBar setScopeBarButtonTitl ...
- C#中通过反射获取类中非公有成员
public class NGlbGlobeXComm { public static T GetPrivateField<T>(object instance, string field ...
- myBatis-plus异常提示For input string: "{0=null}"
异常信息 org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.exceptions.Per ...
- 怎样高速启动Android模拟器(Android Emulator)
总所周知,每次我们启动Android Emulator,都须要花费非常长一段时间,几分钟甚至十几分钟.事实上,我们能够使用快照(Snapshot)功能,来高速启动Android模拟器. 首先.须要在A ...
- Optimizer统计信息管理介绍
1. 前言 在我们的日常维护中受理一些一直以来运行得非常好的系统,突然有一天用户反馈没有做不论什么操作,系统的某个功能模块或者是某个报表曾经仅仅须要几秒.但如今须要几分钟或更长的时间都没有返回结 ...