今天详细做下关于DataFrame的使用,以便以后自己可以翻阅查看 DataFrame的基本特征: 1.是一个表格型数据结构 2.含有一组有序的列 3.大致可看成共享同一个index的Series集合 import pandas as pd >>> data={'name':['Wangdachui','Linling','Niuyun'],'pay':[4000,5000,6000]} >>> frame=pd.DataFrame(data) >>>…

今天在做下python开发笔记之如何通过xml快捷获取数据,下面以调取nltk语料库为例: import nltk nltk.download() showing info https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml Out[2]: True…

环境描述: 操作系统版本: root@9deba54adab7:/# uname -a Linux 9deba54adab7 --generic #-Ubuntu SMP Thu Dec :: UTC x86_64 GNU/Linux root@9deba54adab7:/# root@9deba54adab7:/# more /etc/issue Debian GNU/Linux \n \l python环境: root@9deba54adab7:/# pip pip pip2 root@9d…

目标镜像环境介绍: 操作系统:ubuntu16.04 python版本:python 3.7.4 django版本:2.2 操作步骤: 1.  本地安装docker环境(略)2. 拉取ubunut指定版本镜像文件 docker pull ubuntu:16.04 3. 指定映射端口,启动容器 补充启动容器注意点:启动的时候,加参数-t -it有区别, https://www.cnblogs.com/miracle-luna/p/11111852.html -i: 以交互模式运行容器,通常与 -t…

今天分享一篇关于python下的zip()函数用法. zip()是Python的一个内建函数,它接受一系列可迭代的对象作为参数,将对象中对应的元素按顺序组合成一个tuple,每个tuple中包含的是原有序列中对应序号位置的元素,然后返回由这些tuples组成的list.若传入参数的长度不等,则返回list的长度和参数中长度最短的对象相同.在所有参数长度相同的情况下,zip()与map()类似,没有参数的情况下zip()返回一个空list. 使用zip反转字典       <span style=…

查找正则表达式 import re re_txt = re.compile(r'(\d)*.txt') m = re_txt.search(src) if not m == None: m.group(0) #complete str m.group(1) # first group string 匹配正则表达式 if re.match(r'(\d)*.txt',path): print("match") else: print("not match") 分割正则表…

更多大数据分析.建模等内容请关注公众号<bigdatamodeling> ################################### 排序 ######################################## from pandas import DataFrame, Series ##### Series按索引排序 sort_index方法 返回新对象 obj = Series([1, 3, 2, 5, 6], index=list('dabce')) obj.sor…

类的基本概念: 问题空间:问题空间是问题解决者对一个问题所达到的全部认识状态,它是由问题解决者利用问题所包含的信息和已贮存的信息主动的地构成的. 初始状态:一开始时的不完全的信息或令人不满意的状况: 目标状态:你希望获得的信息或状态:     操作:为了从初始状态迈向目标状态,你可能采取的步骤. 对象:对象(object),是面向对象(Object Oriented)中的术语,既表示客观世界问题空间(Namespace)中的某个具体的事物,又表示软件系统解空间中的基本元素. 对象:一个对象具有自…

操作系统 : CentOS7.3.1611_x64 gcc版本 :4.8.5 Python 版本 : 2.7.5 思路如下 : 1.将浮点数a通过内存拷贝,赋值给相同字节的整型数据b: 2.将b转换为网络字节序变量c并发送到服务端: 3.服务端接收c并将c转换为主机字节序变量d: 4.将整型数据d通过内存拷贝,赋值给相同字节的浮点数据e: 至此,浮点数网络传输完成. C示例代码: #define htonl64 htobe64 #define ntohl64 be64toh uint64_t h…

网络数据获取(爬取)分为两部分: 1.抓取(抓取网页) · urlib内建模块,特别是urlib.request · Requests第三方库(中小型网络爬虫的开发) · Scrapy框架(大型网络爬虫的开发) 2.解析(解析网页内容) · BeautifulSoup库 · re模块(正则表达式) 或者第三方API抓取和解析. Requests库(http://www.python-requests.org/en/master/) 基本方法: requests.get():请求获取指定URL位置…

Python中的数组ndarray是什么? 1.NumPy中基本的数据结构 2.所有元素是同一种类型 3.别名是array 4.利于节省内存和提高CPU计算时间 5.有丰富的函数 ndarray的创建: import numpy as np >>> aArray=np.array([1,2,3]) >>> aArray array([1, 2, 3]) >>> bArray=np.array([(1,2,3),(4,5,6)]) >>>…

时间格式: >>> from datetime import date >>> firstday = date.fromtimestamp(1464010200) >>> lastday = date.fromtimestamp(1495200600) >>> firstday datetime.date(2018, 2, 23) >>> lastday datetime.date(2018, 2, 19) 创建时间…

一.Numpy概念 Numpy(Numerical Python的简称)是Python科学计算的基础包.它提供了以下功能:  除了为Python提供快速的数组处理能力,Numpy在数据分析方面还有另外一个主要作用,即作为在算法之间传递数据的容器.对于数值型数据,Numpy数组在存储和处理数据时要比内置的Python数据结构高效的多.此外,由低级语言(比如C和Fortran)编写的库可以直接操作Numpy数组中的数据,无需进行任何数据复制工作.圆柱模板 二.Numpy的突出优势 与Python的基…

待补充 思路:捕获程序处理异常,异常情况下,也给队列生产者返回“确认”消息…

1. 普通连接测试 官方文档样例:http://pymssql.org/en/latest/pymssql_examples.html pymssql模块使用指南:https://blog.csdn.net/lin_strong/article/details/82868160 2. 执行查询语句 3. 执行带参数的语句 4. 执行存储过程…

后台接收到post请求数据格式为json格式的字符串,不能直接用字典的get方法 909090909090909090909090909090909 Internal Server Error: /get_data/sql_server/ Traceback (most recent call last): File "/usr/local/lib/python3.6/dist-packages/django/core/handlers/exception.py", line 41,…

Series的基本特征: 1.类似一维数组的对象 2.由数据和索引组成 import pandas as pd >>> aSer=pd.Series([1,2.0,'a']) >>> aSer 0 1 1 2 2 a dtype: object bSer=pd.Series(['apple','peach','lemon'],index=[1,2,3]) >>> bSer 1 apple 2 peach 3 lemon dtype: object &g…

场景举例: 假如我们有某个班级的语文成绩数据,格式为字典,其中字典key为学生姓名,value为学生成绩: 那么,如何获得单科成绩排名前3的学生姓名? 代码如下:--数据样例,方便测试 def dic_order_value_and_get_key(dicts, count): # by hellojesson # 字典根据value排序,并且获取value排名前几的key # 样例: dicts = {'王二狗':66,'李大东':55,'刘小明':99, '胡八一':88} final_re…

1.首字母大写 >>> s = 'yuanzhumuban' >>> s.capitalize() 'yuanzhumuban'  2.replace,替换 >>> s = 'my name is yuanzhumuban, age is 20' >>> s 'my name is yuanzhumuban, age is 20' >>> s.replace( '20', '30' ) 'my name is yua…

这是我跟着虫师学习中积累下来的学习笔记,写得比较简单,适合想学习Python开发与接口测试的初学者学习. 一.开发投票系统 1.参考官网文档,创建投票系统. https://docs.djangoproject.com/en/1.11/intro/tutorial01/ 在创建投票系统之前,要确认自己安装的Django和官网的文档是一致的. ==================== win 10 Python 3.6.2 Django 1.11.3 Pycharm编译器 ============…

一.如何用Python开发一个简单的Webservice 利用python的cgi编程,可以传入参数将结果输出. 定义需要编码以及需要引用的模块 #conding=utf-8 #修正中文乱码 import codecs, sys sys.stdout = codecs.getwriter('utf8')(sys.stdout.buffer) # CGI处理模块 import cgi, cgitb from urllib import parse import json import os 定义参…

一.有两个列表 l1 = [11,22,33]       l2 = [22,33,44] a. 获取内容相同的元素列表 for item in l1: if item in l2: print(item) b.获取l1中 有,l2中没有的元素列表 for item in l1: if item not in l2: print(item) c.获取l2 中有,l1中没有的元素列表 for item in l2: if item not in l1: print(item) d.获取l1 和 l…

Python开发 开发: 开发语言: 高级语言:python.Java.php  .C#   .Go .ruby . C++ .... ===>字节码 低级语言:C.汇编                                                       ===>机器码 Python种类: JPython IronPython CPython      ******* javaScriptPython RubyPython .... pypy  这是CPython开发的…

第1章 认识python 1.3 python开发工具 IDLE(python自带的python shell) Pycharm(python开发的,选择专业版) 1.进入IDLE模式: C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Python 3.7\ IDLE (Python 3.7 64-bit) # python shell模式 Python 3.7 (64-bit) # 命令行模式 2.Pycharm工具 Pycharm是由J…

第1章 认识python 1.2 搭建python开发环境 1.2.1 python开发环境概述 python开发环境常见的操作系统: Windows Mac OS Linux 1.2.2 安装python解释器 官方网站:https://www.python.org/ 如何为windows系统选择安装文件? 官网某个具体版本可下载的安装包列表信息如下: Version Operating System Description File Size Gzipped source tarball S…

特征处理是特征工程的核心部分,特征工程是数据分析中最耗时间和精力的一部分工作,它不像算法和模型那样式确定的步骤,更多的是工程上的经验和权衡,因此没有统一的方法,但是sklearn提供了较为完整的特征处理方法,包括数据预处理,特征选择,降维等.首次接触到sklearn,通常会被其丰富且方便的算法模型库吸引,但是这里介绍的特征处理库也非常强大! 经过前人的总结,特征工程已经形成了接近标准化的流程,如下图所示(此图来自此网友,若侵权,联系我,必删除) 1 特征来源——导入数据 在做数据分析的时候,特征…

Keras是一个深度学习库,包含高效的数字库Theano和TensorFlow.是一个高度模块化的神经网络库,支持CPU和GPU. 本文学习的目的是学习如何加载CSV文件并使其可供Keras使用,如何使用Keras创建一个回归问题的神经网络模型,如何使用scikit-learn和Keras一起使用交叉验证来评估模型,如何进行数据准备以提高Keras模型的技能,如何使用Keras调整模型的网络拓扑. 前期准备之Keras的scikit-learn接口包装器 Git地址:https://github…

网上有很多关于sklearn的学习教程,大部分都是简单的讲清楚某一方面,其实最好的教程就是官方文档. 官方文档地址:https://scikit-learn.org/stable/ (可是官方文档非常详细,同时许多人对官方文档的理解和结构上都不能很好地把握,我也打算好好学习sklearn,这可能是机器学习的神器),下面先简单介绍一下sklearn. 自2007年发布以来,scikit-learn已经成为Python重要的机器学习库了,scikit-learn简称sklearn,支持包括分类,回归…

Python开发工具:Anaconda+Sublime 作者:白宁超 2016年12月23日21:24:51 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷.然而多数是基础理论知识介绍,缺乏实现的深入理解.本系列文章是作者结合视频学习和书籍基础的笔记所得.本系列文章将采用理论结合实践方式编写.首先介绍机器学习和深度学习的范畴,然后介绍关于训练集.测试集等介绍.接着分别介绍机器学习常用算法,分别是监督学习之分类(决策树.临近取样.支持向量机.神经网络算法)监督学习之回归(线性回归.非线性回归…

推荐一段时间闲的蛋疼,总觉得再堕落下去不太好,便捡起了之前一直想学而没有学的python,以此记录一下学习笔记,同时亦是督促和复习. 学习51cto上的<2016最新Python开发基础课程-2.0版本>的视频版本,之所以看视频是因为视频讲解感觉会比看书清晰一些,不过详细还要找各种资料补充. ------------------------------------------------------------------------------------------------------…