一.文字处理 之前在练习爬虫时,常常爬了一堆乱七八糟的字符下来,当时就有找网络上一些清洗数据的方式,这边pandas也有提供一些,可以参考使用看看.下面为两个比较常见的指令,往往会搭配使用. split(“,”)可以将文字串分割,冒号里的为分割依据,左边的代码就是把两个冒号中间的文字串视为一个单元. strip()去除空白符号. 1.正则表达式 正则表达式为处理文字搜索匹配的功能,python可以直接导入re模块来使用.用法为下. 可直接用split来编译再拆解,也可以先用compile编译,再

python学习心得第五章 1.冒泡排序: 冒泡是一种基础的算法,通过这算法可以将一堆值进行有效的排列,可以是从大到小,可以从小到大,条件是任意给出的. 冒泡的原理: 将需要比较的数(n个)有序的两个两个的进行比较,直到第一次所有的值都比较完成,就可以得出第1次排列的顺序,同理第二次将(n-1)个数进行比较,得到第二次排列的结果,n为1 的时候结束比较,其实就是5个数需要比较4次,每一次都是两个数进行两两比较,因为比较的方式就像水里面冒泡的现象所以称为冒泡算法. 由上述代码可以看出冒泡算法的核心

 python 学习心得第四章 1.lambda表达式 1:什么是lambda表达式 为了简化简单函数的代码,选择使用lambda表达式 上面两个函数的表达式虽然不一样,但是本质是一样的,并且lambda表达式和三元运算的结合,充分的减少了代码的数量 2.python的内置函数 1 绝对值 abs() 2 all()循环参数,如果每个参数都为真.则all返回True all(里面是iterable) 注意假值都有:0 none False [] {}  '' () 都为假值 3 any() 只要

python学习心得第三章 1.三元运算 变量=值1 if 条件 else 值2 由图如果条件成立则赋值1给变量,如果条件不成立则赋值2给变量. 2.数据类型 集合:set() class set(object): """ set() -> new empty set object set(iterable) -> new set object Build an unordered collection of unique elements. "&quo

数据清洗,使用python数据清洗cvs里面带中文字符,意图是用字典对应中文字符,即key值是中文字符,value值是index,自增即可:利用字典数据结构没有重复key值的特性,把中文字符映射到了数值index. python代码如下:(data数据时csv格式) import csv dict2 = {}      #Cdict4 = {}      #Edict25 = {}     #zdict26 = {}     #AAdict27 = {}     #ABdict37 = {}  

目前开发命名规范基本都遵循驼峰命名法,如:userName.我也不将这个规范的特性了,大家都明白.接下来进入正题,如何在python中取一个好名字,让你能更好的见名知意呢? 1.元组(Tuple)类型变量命名 在python中Tuple类型变量,如:schoolRoles = ("student","class monitor","teacher","schoolmaster"),我们可以对应理解为Java中的数组. 建议:T

一,获奖感想 很荣幸能成为小黄杉的获得者,也很感谢老师对我的这份鼓励和期望.回顾本学期的python学习中,我从一名对编程一无所知的小白,成为一名刚入门的程序猿.首先,我要感谢我的任课老师娄嘉鹏老师,是他引领我走进了python的大门.同时,我也很感谢信安协会的学长学姐们,他们每周都会给我们上课,教我们很多关于python的知识,我关于python的知识很大一部分都是出于他们的帮助之下.当然,还要感谢蓝墨云班课里一起学习,相互解决问题的小伙伴们,以及神奇的CSDN博客,每次遇到什么问题,总能在这

前言 1. 删除重复 2. 异常值监测 3. 替换 4. 数据映射 5. 数值变量类型化 6. 创建哑变量 统计师的Python日记[第7天:数据清洗(1)] 前言 根据我的Python学习计划: Numpy → Pandas → 掌握一些数据清洗.规整.合并等功能 → 掌握类似与SQL的聚合等数据管理功能 → 能够用Python进行统计建模.假设检验等分析技能 → 能用Python打印出100元钱 → 能用Python帮我洗衣服.做饭 → 能用Python给我生小猴子...... 上一篇的数据

python基础 1.关于python编码的问题. python的编码现在主要是两种版本python2.7和python3.5 python2.7默认的是ascii码进行编译,我们可以采用 # -*- coding:utf-8 -*- a='你好' a_unicode=a.decode('utf-8') a_gbk=a_unicode.encode('gbk') print('a_gbk') 的代码将2.7转化为用utf-8的方式进行编译,但是如果终端显示的只能是GBK的编码模式,还需要将utf

初始python 1什么是程序 计算机程序是一组执行某种动作的的指令.和那些电路.芯片.显卡.硬盘等不同,它不是计算机本身可以触摸的部分,而是隐藏在背后运行在硬件上面的东西.程序就是一系列告诉没有知觉的硬件该做什么事情的命令.软件就是这些程序的集合. 2.用什么来构造程序呢? 和人类之间沟通一样,计算机之间也是通过语言进行沟通的.这里所说的语言就是编程语言(编写程序的语言),每一种编程语言就是一种和计算机打交道的方法.就如英语,德语,法语,中文等.每一种编程语言就像各个国家的国语一样会有名字.有

前面我们用pandas做了一些基本的操作,接下来进一步了解数据的操作, 数据清洗一直是数据分析中极为重要的一个环节. 数据合并 在pandas中可以通过merge对数据进行合并操作. import numpy as np import pandas as pd data1 = pd.DataFrame({'level':['a','b','c','d'], 'numeber':[1,3,5,7]}) data2=pd.DataFrame({'level':['a','b','c','e'], '

通过设置字典类型参数直接传递给接收魔法参数(**kw)的方法,对应赋值.示例如下: jdbcConnectionDict = {, , 'database': 'test', 'charset': 'utf8'} conn = pymysql.Connect(**jdbcConnectionDict) 上述方法将jdbcConnectionDict 此字典类型参数直接传递给pymysql.connect()方法. 注意点:参数前需要加**. 温馨提示:在使用魔法参数(**kw)之前必须使用另一个

利用本地smtp server发送 windows下尝试装了两个smtp server大概配置了下,发现没法生效,也没时间仔细研究了.装上foxmail发现以前可以本地发送的选项已经无法找到. 不带附件的这样发送. #!/usr/bin/python # -*- coding: UTF-8 -*- import smtplib from email.mime.text import MIMEText from email.header import Header sender = 'tangji

昨天开始接触并学习python,对python有了初步印象. 一.python主要应用方向 二.python语言类型 三.python2和3的主要区别 四.常见字符编码 五.Python语法初学  一.python主要应用方向 1.WEB开发 Python拥有很多免费数据函数库.免费web网页模板系统.以及与web服务器进行交互的库,可以实现web开发,搭建web框架,目前比较有名气的Python web框架为Django.从事该领域应从数据.组件.安全等多领域进行学习,从底层了解其工作原理并可

1.Python允许同时为多个变量赋值.例如:a = b = c = 1 2.Python允许多个对象指定多个变量.例如:a1, b1, c1 = 1, 2, "john" 3.使用del语句删除单个或多个对象.例如: del a del b,c 4.Python有五个标准的数据类型: Numbers(数字) String(字符串) List(列表) Tuple(元组) Dictionary(字典) 4.1 Numbers 四种不同的数值类型: int(有符号整型) long(长整型[

Java 可以int + 字符串(str)输出,python则只可以用逗号 , 连接,或者字符串 + 字符串或int + int否则python会报错如下图:

# -*- coding: utf-8 -*-"""Created on Wed Jul 4 18:40:55 2018 @author: zhen""" import pandas as pdimport numpy as np# 创建空的df,保存测试数据test_df = pd.DataFrame({'K1':['C1','C1','C2','C3','C4','C2','C1'],'K2':['A','A','B','C','D',np.

多用类或是函数 我以前写的时候,不用函数,从头写到尾,后来,要改成函数,也是要花很多测试的时间,改的话还得一个调试,如果一开始就用函数的话,就能节省很多时间. 函数的功能尽可能的小 比如说像我用try--exception,如果说写一个功能,有问题,try就能捕捉到一个缺陷,就能知道问题出在哪.当我在一个try--exception里面写了很多函数时,一报错,我都不知道具体是哪一个函数出错了. 我一直以为是是CSS定位码错了,测试了很久才发现是另外一个函数错了,这就很浪费时间了. 测试CSS定位

一,面向对象编程 1,类和实例, class Student(object):#括号里面的是继承的类 def __init__(self, name, score):初始化对象时,参数个数 self.name = name self.score = score def print_score(self): print '%s: %s' % (self.name, self.score) 2,访问限制 1,如果要让内部属性不被外部访问,可以把属性的名称前加上两个下划线__ 2,但是如果外部代码要获

###今日心得 ####time.datetime 1.字符串格式到标准化格式:time.strptime(str, "%Y%m%d") 2.今天的标准化格式:today = datetime.date.today() 3.指定日期:date = datetime.date(year, month, day).属性:date.year.date.month.date.day 4.标准化格式到字符串格式:datestr = date.strftime(“%Y%m%d”) 5.某日期之后的

参考:http://blog.sina.com.cn/s/blog_13050351e0102xfis.html https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy-bS_O7xQYLPIOogrOFmc02ueKW9M67CaVLpMY1k7wxTCB1NmnNSzM-t5pUc3zy0dg.. https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy6YnbQPc3cuKWH5w_8iuvJ