0 数据分析之前奏 课程主要内容:常用IDE:本课程主要使用:Anaconda Anaconda:一个集合,包括conda.某版本Python.一批第三方库等 -支持近800个第三方库 -适合科学计算领域 -包含多个主流工具 -开源免费 -跨平台 本身不是个ide 是将多个工具集成在一起的 conda -一个工具,用于包管理和环境管理 -包管理与pip类似,管理Python第三方库 -环境管理能够允许用户使用不同版本的Python,并能灵活切换 conda将工具.第三方库.Python版本.co…

MongoDB学习笔记:Python 操作MongoDB   Pymongo 安装 安装pymongopip install pymongoPyMongo是驱动程序,使python程序能够使用Mongodb数据库,使用python编写而成: 数据库相关操作 连接及创建数据库 import pymongo connect = pymongo.MongoClient("mongodb://localhost:27017/") mydb = connect ["test"…

1 Python基本语法元素 1.1 程序设计基本方法 计算机发展历史上最重要的预测法则     摩尔定律:单位面积集成电路上可容纳晶体管数量约2年翻倍 cpu/gpu.内存.硬盘.电子产品价格等都遵循此定律 50年来计算机是唯一一个指数发展的领域 源代码.目标代码(机器代码) 编译.解释 静态语言.脚本语言 静态语言编译器一次性生成目标代码,优化更冲份,程序运行速度更快 脚本语言 执行程序时需要源代码,维护更灵活 程序的基本设计方法IPO I:input  文件输入.网络输入.控制台输入.交互…

Numpy库入门 从一个数据到一组数据 维度:一组数据的组织形式 一维数据:由对等关系的有序或无序数据构成,采用线性方式组织. 可用类型:对应列表.数组和集合 不同点: 列表:数据类型可以不同 数组:数据类型相同 二维数据:由多个一维数据构成,是一维数据的组合形式. 表格是典型的二维数据 多维数据:由一维或二维数据在新维度上扩展形成. 高维数据:仅利用最基本的二元关系展示数据间的复杂结构. 键值对将数据组织起来的形式 一维数据:列表和集合类型 二维数据:列表类型 多维数据:列表类型 高维数据:字…

第一周学习笔记: 一.Python介绍      1.Python的创始人为吉多·范罗苏姆.1989年的圣诞节期间,吉多·范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承.  最新的TIOBE排行榜,Python赶超PHP占据第五, Python崇尚优美.清晰.简单,是一个优秀并广泛使用的语言. 2.Python主要应用领域:云计算.WEB开发.科学运算.人工智能.系统运维.金融.图形GUI. 3.Python是一门动态解释性的强类型定义语言. 4.Pyt…

声明: 这些总结的学习笔记,一部分是自己在工作学习中总结,一部分是收集网络中的知识点总结而成的,但不到原文链接.如果有侵权,请知会,多谢. python中有很多字符串连接方式,总结一下: 1)最原始的字符串连接方式:str1 + str2 这个估计是Python中最常用的方式,直接用 “+” 来连接两个字符串: 'Jim' + 'Green' = 'JimGreen' 2)python 新字符串连接语法:str1, str2 第二种比较特殊,如果两个字符串用“逗号”隔开,那么这两个字符串将被连接…

学习笔记(Python继承) 有几种叫法(父类-子类.基类-派生类)先拿代码演示一下: class father: def work(self): print("work>>>>>") def car(self): print("car>>>>>>>>>") class son(father): #想要继承就得添加父类 def study(self): print("stu…

1,学习基本Python语句规范: print('Hello world') print() 为函数 ‘Hello world’为字符串 2,表达式和语句的区别: 表达式有结果,运算就是表达式的一种:语句是一段可执行的代码,例如赋值语句. 3,…

一前奏 1..Python语言开发工具选择 IDLE:自带默认常用入门级 PyCharm:简单.集成度高 Anaconda:awesome IDE较为简单,不做详细记录. 二.表示 1.numpy库入门 数据的维度 列表内的数据类型可以不同. 高维数据:键值对组成. 数组对象 Numpy是一个开源的Python科学计算库 *一个强大的N维数组对象ndarray *广播功能函数 *线性代数.傅里叶变换.随机数生成等功能 N维数组对象:ndarray *实际的数据 *元数据,下标从0开始(数据维度,…

单元4:Matplotlib库入门 matplotlib.pyplot是绘制各类可视化图形的命令子库,相当于快捷方式 import matplotlib.pyplot as plt # -*- coding: utf-8 -*- """ Created on Fri Aug 2 10:03:57 2019 @author: ASUS """ import matplotlib.pyplot as plt plt.plot([0,2,4,6,8],…

学习目的:掌握定向网络数据爬取和网页解析的基本能力the Website is the API- 1 python ide 文本ide:IDLE,Sublime    Text集成ide:Pycharm,Anaconda&Spyder,Wing,Visual Studio & PTVS,Eclipse & PyDev,Canopy 默认源太慢:阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.…

入门学习马上结束辽. 1.Pandas库 import pandas as pd 两个数据类型:Series,DataFrame Series类型:数据+索引 自定义索引 b = pd.Series([9,8,7,6],index=['a','b','c','d']) b Out[3]: a 9 b 8 c 7 d 6 dtype: int64 从标量值创建 s = pd.Series(25,index=['a','b','c'])#index=不能省略 s Out[7]: a 25 b 25…

小白初学python,写下自己的一些想法.大神请忽略. 安装python编辑器,并配置环境(见http://www.cnblogs.com/lynn-li/p/5885001.html中 python编辑器安装与配置).由于python的两个版本2.x与3.x不兼容,且3.x在不断的进化中,不稳定.所以建议安装2.x,确切来说是2.7.x版本. 安装并配置完成之后,我们就可以编写第一个python程序.学过其他语言的兄弟姐妹们,都知道语言的入门程序就是hello world.那么,我们这里也以h…

刚开始学习python,首先要了解一下python解释器. 什么是python解释器? 编写python代码保存后,我们会得到一个以.py为扩展名的文本文件.要运行此文件,就需要python解释器去执行.py文件. 这里,我们介绍3种解释器. 1.CPython 当我们从Python官方网站下载并安装好Python 2.7后,我们就直接获得了一个官方版本的解释器:CPython. 这个解释器是用C语言开发的,所以叫CPython.在命令行下运行python就是启动CPython解释器. CPyt…

作为微软的粉丝,最后终于向Python低头了,拖了两三个月终于下定决心学习Python了.不过由于之前受到C/C#等语言影响的思维定式,前期有些东西理解起来还是很费了些功夫的. 零.先抄书: 1.Python是解释型语言: 计算机是不能够识别高级语言的,所以当我们运行一个高级语言程序的时候,就需要一个“翻译机”来从事把高级语言转变成计算机能读懂的机器语言的过程.这个过程分成两类,第一种是编译,第二种是解释. 编译型语言在程序执行之前,先会通过编译器对程序执行一个编译的过程,把程序转变成机器语言.…

一.IDE选择 Anaconda软件:开源免费,https://www.anaconda.com下载,根据系统进行安装.由于下载速度慢,可以去清华大学开源软件镜像站下载. Spyder软件设置:Tools-Preferences-Syntax coloring-Scheme设置成Monokai,保护眼睛. Spyder里面有一个IPython,交互式调试工具. 二.NumPy库 1. 数据的维度:一组数据的组织形式. 从一个数据到一组数据,表达多种数据含义. 一维数据:由对等关系的有序或无序数据…

一.一个隆重的仪式 我们在学习语言的时候,第一个写的程序肯定都是hello world.来写第一个程序吧,其实很简单,python的语法就是简单.优雅,一个print就搞定. 1 print('hello world') 二.基本输入输出 1.输入 >>>a=input("请输入数据:") 请输入数据: 2.输出 >>>print('hello world') 三.变量命名规则: 1.禁止使用python中的关键字进行命名 2.命名简单易懂,下次再看…

一.什么是python? python是一种面向对象.解释型的高级程序语言.python具有语法简洁.易于学习.功能强大,可扩展性强,跨平台等诸多特点.1989年开始开发,于1991年发布第一个公开发行版. 二.解释型语言和编译型语言 编译型语言就是先把写好的程序翻译成计算机语言然后执行,就是所谓的一次编译到处运行,比如c.c++就是编译型语言,这样的语言特点是运行速度快,但是需要事先把程序编译好才可以. 解释型语言就是程序在运行的时候,通过一个解释器,把代码一句一句的翻译成计算机语言然后运行,…

  1. 数据分析的任务:数据读写,数据准备(清洗,修整,规范化,重塑,切片切块,变形),转换,建模计算,呈现(模型/数据) 2. 数据集: bit.ly的1.usa.gov数据:URL缩短服务bit.ly和美国政府usa.gov合作从.gov或.mil用户那里收集的匿名数据 # -*- coding:utf-8 -*- #导入json模块,将json字符串转换为python字典 import json from collections import defaultdict from colle…

1. 什么是IPython IPyhton 本身没有提供任何的计算或者数据分析功能,在交互式计算和软件开发者两个方面最大化地提高生产力,execute-explore instead of edit-compile-run. 2.TAB键的功能 Tab: 输出当前空间中任何与输入的字符串相匹配的变量 .<Tab>: 输出对象方法和属性,默认隐藏下划线开头的方法和属性和内部私有的方法和属性 .__<Tab>: 输出下划线开头的方法和属性和内部私有的方法和属性 路径搜索: 文件夹和文件…

瞎JB搞]感觉自己全栈了,又要把数据库里面的内容,以web形式展示出来,并支持数据操作.占了好多坑.....慢慢填(主要参考廖雪峰的官网,不懂的再百度) 一.web概念 Client/Server模式简称CS架构,就是本地需要下载一个客户端的.随着互联网的兴起CS架构不适合Web,最大的原因是Web应用程序的修改和升级非常迅速,而CS架构需要每个客户端逐个升级桌面App,因此Browser/Server模式开始流行,简称BS架构.在BS架构下,客户端只需要浏览器,应用程序的逻辑和数据都存储在服务…

Python threading模块 直接调用 # !/usr/bin/env python # -*- coding:utf-8 -*- import threading import time def sayhi(num): print("running on number:%s" % num) time.sleep(3) if __name__ =='__main__': #生成两个线程实例 t1 = threading.Thread(target=sayhi,args=(1,)…

Python 常用内建函数 比较基础的列表 abs(x) 求绝对值 pow(x,y) 返回x的y次方,等同于x**y round(x[,小数位数]) 对x进行四舍五入,若不指定位数,则返回整数 chr(x) 返回ASCII编码为x的字符,str类型 ord(x) 返回一个字符x的编码 chr的逆操作 float(x) 把数字或字符串x 转换成浮点型并输出 int(x) 把浮点数或整数 转换为整数 str(object) 把对象x转换为字符串 list([x]),set([x]),tuple([x…

一.任务描述 最近尝试自行构建skip-gram模型训练word2vec词向量表.其中有一步需要统计各词汇的出现频率,截取出现频率最高的10000个词汇进行保留,形成常用词词典.对于这个问题,我建立了两个list,词汇list 和 词汇数量list,分别记录新出现的词汇和该词汇出现的次数.遍历整个语料文件,收集各个词汇并计算其出现次数.最后,对词汇数量list进行降序排序,留下出现频率最高的10000个词汇.流程大致如下图: 二.问题描述 在程序实际运行的过程中,发现程序运行的速度实在是太慢.对…

一.Pandas库入门 1. Pandas库的介绍 http://pandas.pydata.org Pandas是Python第三方库,提供高性能易用数据类型和分析工具 import pandas as pdPandas基于NumPy实现,常与NumPy和Matplotlib一同使用 两个数据类型:Series, DataFrame 基于上述数据类型的各类操作:基本操作.运算操作.特征类操作.关联类操作 NumPy                        Pandas基础数据类型    …

Python Number 类型转换 int(x, y) #将x转换为一个整数,y为进制数.如 int('11',2)将二进制数的11转成十进制数的整数,结果为3 long(x, y) #将x转换为一个长整数 float(x ) #将x转换到一个浮点数 complex(real [,imag ]) #创建一个复数 str(x ) #将对象 x 转换为字符串 repr(x ) #将对象 x 转换为表达式字符串 eval(str ) #用来计算在字符串中的有效Python表达式,并返回一个对象 tu…

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,易于人阅读和编写. 1.JSON 函数 使用 JSON 函数需要导入 json 库:import json. 函数 描述 json.dumps 将 Python 对象编码成 JSON 字符串 json.loads 将已编码的 JSON 字符串解码为 Python 对象 (1)json.dumps json.dumps 用于将 Python 对象编码成 JSON 字符串. 语法 json.dumps(ob…

Python的三种逻辑控制 1.python语法. python 是以缩进作为基本判断的.同一代码缩进需要保持一致.否则会报错 1.if 的三种循环 _age = 53 # 注意,input接受的都是字符串,如果要和数字比较大小,需要转化为int age = int(input("age:") ) if age > _age : print("大于实际年龄") age = int(input("age:") ) if age > _a…

一.整形和浮点型 整形也就是整数类型(int)的,在python3中都是int类型,没有什么long类型的,比如说存年龄.工资.成绩等等这样的数据就可以用int类型,有正整数.负整数和0,浮点型的也就是小数类型(folat)的,带小数点的 name='你长得真漂亮' age=' print(name) print(age) >>>你长得真漂亮 >>>88 二.布尔类型 什么是布尔类型,布尔类型就是真和假,只有这两种,True和Fasle,非真即假,除了True和Fals…

1. python中数据结构:矩阵,数组,数据框,通过关键列相互联系的多个表(SQL主键,外键),时间序列 2. python 解释型语言,程序员时间和CPU时间衡量,高频交易系统 3. 全局解释器锁GIL, Global Interpreter Lock防止解释器同时执行多个python字节码指令的机制 Cpython 可以继承OpenMP 实行并行处理循环而大幅度提高数值算法的速度 4. Numpy, pandas,matplotlib,Ipython,Scipy Numpy:Python科…