dbf数据库作为一种简单的数据库,曾经广泛使用.现在在金融领域还是有很多的应用之处,工作中遇到此类的问题,在此记录一下. 1. 读取dbf ''' 读取DBF文件 ''' def readDbfFile(filename): table = dbfread.DBF(filename, encoding='GBK') for field in table.fields: print(field) for record in table: for field in record: print(fie

第一次使用博客园,也是第一篇文章,让我们一起开启学习之旅吧!! 昨天在为某授权系统做安全性测试的时候,可以未授权访问系统的用户登陆统计记录.由此想整理出部分用户名,作为暴力破解的用户名,检查是否存在用户弱口令. 由于时间紧,任务重,只是想使用re正则来简单匹配所需数据即可.思路很简单,使用requests库爬下来,然后用re库匹配,但在查看网页源码的过程中,发现所需要的数据与其他数据特征一致,使用re库匹配时,会将符合特征的全部匹配出来,如下图: 此时想过使用BeautifulSoup库或者py

一.列表筛选数据 # coding=utf-8 from random import randint # 创建随机列表 l = [randint(-10, 10) for i in range(10)] print(l) # 通过列表解析过滤大于0的数据 r = [x for x in l if x >= 0] print(r) # 通过filter函数过滤大于0的数据 r2 = filter(lambda x: x >= 0, l) # filter在python2中直接返回列表,在pyth

在读取dbf文件时由于编码问题报错:UnicodeDecodeError: 'gbk' codec can't decode byte 0xb5 in position 49: incomplete multibyte sequence from dbfread import DBF # f = open('beauty.DBF', encoding='gbk',errors="ignore") table = DBF('beauty.DBF',encoding='gbk') #遍历数

Python 程序员需要知道的 30 个技巧 首先是数据: 将上边的四个数据分别写在新建的txt文件中 1.将txt数据转为列表 with open('james.txt') as jaf: data = jaf.readline() #读取数据行 james = data.strip().split(',')#将数据转换为列表 with open('julie.txt') as jul: data = jul.readline() julie = data.strip().split(',')

Mac-OSX的Python3.5虚拟环境下安装Opencv 1   关键词 关键词:Mac,OSX,Python3.5,Virtualenv,Opencv 2   概述 本文是一篇 环境搭建 的基础文. 为了这个东西让自己折腾了接近2天的时间,各种筛选资料,各种尝试,最后终于找到了相应的资料,然后成功安装. 在整理本文的时候,特别感谢这个作者,他提供了两篇安装opencv的方法,分别是 python2.x [1] 和 python3.x [2] . 笔者按照 3.x 的步骤和线索,再解决掉一些

python3验证码机器学习 文档结构为 -- iconset -- ... -- jpg -- captcha.gif -- py -- crack.py 需要的库 pip3 install pillow or easy_install Pillow 必须文件下载地址 python3验证码机器学习 1.读取图片,打印图片的结构直方图 # !/usr/bin/python3.4 # -*- coding: utf-8 -*- # From:https://zhuanlan.zhihu.com/p

边学边写代码,记录下来.这段代码用于批量抓取主站下所有子网页中符合特定尺寸要求的的图片文件,支持中断. 原理很简单:使用BeautifulSoup4分析网页,获取网页<a/>和<img/>元素,对<a/>集合反复弹栈入栈,对<img/>集合进行筛选下载. 具体代码如下:import os import sys import time import urllib.request from urllib.parse import urljoin,urlparse

参考资料: 1.算法导论,第6章,堆排序 堆排序学习笔记及堆排序算法的python实现 - 51CTO博客 堆排序 Heap Sort - cnblogs 小根堆实现优先队列:Python实现 -cnblogs 大(小)根堆:是完全二叉树,也是大(小)根树. 大小根堆的差异,主要表现在 比较函数的差异上. 大根堆的操作: 插入(nlog(n)): 概述:把新元素val作为新节点,沿着新节点到根节点的路径,执行一趟冒泡排序. 即:将新元素与父节点的元素进行比较交换,直到父节点不小于子节点为止. 删

本文章中有部分代码为python2 慕课python入门 慕课python进阶 布尔值 布尔值可以用and.or和not运算. and运算是与运算,只有所有都为 True,and运算结果才是 True. or运算是或运算,只要其中有一个为 True,or 运算结果就是 True. not运算是非运算,它是一个单目运算符,把 True 变成 False,False 变成 True. 空值是Python里一个特殊的值,用None表示.None不能理解为0,因为0是有意义的,而None是一个特殊的空值

前言 pandas有着强大的日期数据处理功能,本期我们来了解下pandas处理日期数据的一些基本功能,主要包括以下三个方面: 按日期筛选数据 按日期显示数据 按日期统计数据 运行环境为 windows系统,64位,python3.5. 1 读取并整理数据 首先引入pandas库 import pandas as pd 从csv文件中读取数据 df = pd.read_csv('date.csv', header=None) print(df.head(2)) 0 1 0 2013-10-24 3

这次爬取的网站是糗事百科,网址是:http://www.qiushibaike.com/hot/page/1 分析网址,参数''指的是页数,第二页就是'/page/2',以此类推... 一.分析网页 网页图片 然后明确要爬取的元素:作者名.内容.好笑数.以及评论数量 每一个段子的信息存放在'div id="content-left"'下的div中 爬取元素的所在位置 二.爬取部分 工具: Python3 requests xpath 1.获取每一个段子 # 返回页面的div_list

第一次爬取的网站就是豆瓣电影 Top 250,网址是:https://movie.douban.com/top250?start=0&filter= 分析网址'?'符号后的参数,第一个参数'start=0',这个代表页数,'=0'时代表第一页,'=25'代表第二页...以此类推 一.分析网页: 网页图片 明确要爬取的元素 :排名.名字.导演.评语.评分,在这里利用Chrome浏览器,查看元素的所在位置 每一部电影信息都在<li></li>当中 爬取元素的所在位置 分析完要爬

官方介绍: python3:https://docs.python.org/3/library/functions.html?highlight=built#ascii python2:https://docs.python.org/2/library/functions.html?highlight=built#ascii 下面介绍python3中具体每个内置函数的使用方法及含义: abs(x):返回数字的绝对值,参数可以是整数或浮点数,如果参数是复数,则返回其大小. >>> abs(

实际问题有哪些? 过滤掉列表[3,9,-1,10.-2......] 中负数 筛选出字典{'li_ming':90,'xiao_hong':60,'li_kang':95,'bei_men':98} 中值高于90的项 筛选出集合{3,9,-1,10.-2......]中能被3整除的数 问题1如何解决? 最普通方法: #!/usr/bin/python3 def filter_l(data): res = [] for i in data: if i > 0: res.append(i) retu

官方文档https://www.elastic.co/guide/en/elasticsearch/reference/5.0/suggester-context.html 下面所有演示基于elasticsearch5.x和Python3.x 最近项目使用elasticsearch的补全功能时,需要对于所有文章(article)的作者名字(author)的搜索做补全,文章的mapping大致如下 ARTICLE = { 'properties': { 'id': { 'type': 'integ

python中的控制语句主要有if.if--else.if--slif--else.pass语句.其实python的控制语句与其他语言的控制语句工作原理基本一样.控制语句可以分为选择结构语句和循环结构语句,咱们就先整选择结构吧.学习也是一个循序渐进的过程,所以我也就慢慢的把自己学的一点一滴记下来,日后好忆,以下内容均基于python3记录.进入正题吧!!!! 一.if 语句: 1.它是啥玩意呢? 答:它是一种单结构的控制体,经过他的选择来决定做与不做,由三部分组成,其中包含关键字if本身.测试条

000-愉快的开始 入门容易,学习难,代码量少. 跨平台: Windows, Mac OS, Linux, UNIX. 应用领域: 操作系统 WEB 3D动画 企业应用 云计算等等. 001-我和Python的第一次亲密接触 1.安装 IDLE 是一个Python Shell:一个通过键入文本与程序交互的途径. 3.print('text'), print(5+3), print(123+456), print('test' +'text' ), print('test' * 8), print

Python应用:网络编程,系统网络运维,3D游戏开发,图形界面开发,科学与数字计算,web后端. 对着慕课的练习,果然慕课的实战也是差距很大-------centos7 -Python3.6.3 筛选数据: 通常做法就是迭代if. --------去除负数------------ data = [1,2,3,4,5,6,7,-2,-3,-7] res = [ ] for x in data: if x>=0: res.append(x) print res ------------------

  上次说了很多Linux下进程相关知识,这边不再复述,下面来说说Python的并发编程,如有错误欢迎提出- 如果遇到听不懂的可以看上一次的文章:https://www.cnblogs.com/dotnetcrazy/p/9363810.html 官方文档:https://docs.python.org/3/library/concurrency.html 在线预览:http://github.lesschina.com/python/base/concurrency/2.并发编程-进程篇.ht

一.xpath相关 1.1 xpath获取节点下的所有内容 问题描述:xpath获取节点下的所有文本可通过“*//text()”实现,但如果想获取节点下的内容---包括文本和标签那就没有直接的办法. 处理办法:此时可使用lxml.html.tostring()方法,将筛选出的标签转换为字符串. import lxml # 没有下边这句直接使用lxml.html会报错lxml没有html,不懂什么道理 from lxml import html # xpath出来的是列表,lxml.html.to