#coding:utf-8 import urllib2 def url_user_agent(proxy,url): proxy_support = urllib2.ProxyHandler({'http':proxy}) opener = urllib2.build_opener(proxy_support) urllib2.install_opener(opener) i_headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) Apple…

python脚本实现集群检测和管理 场景是这样的:一个生产机房,会有很多的测试机器和生产机器(也就是30台左右吧),由于管理较为混乱导致了哪台机器有人用.哪台机器没人用都不清楚,从而产生了一个想法--利用一台机器来管理所有的机器,记录设备责任人.设备使用状态等等信息....那么,为什么选择python,python足够简单并且拥有丰富的第三方库的支持. 最初的想法 由于刚参加工作不久,对这些东西也都没有接触过,轮岗到某个部门需要做出点东西来(项目是什么还没情况,就要做出东西来,没办法硬着头皮想点…

完整代码及其数据,请移步小编的GitHub 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/MachineLearningNote 在数据挖掘方面,经常需要在做特征工程和模型训练之前对数据进行清洗,剔除无效数据和异常数据.异常检测也是数据挖掘的一个方向,用于反作弊,伪基站,金融欺诈等领域. 在之前已经学习了异常检测算法One Class SVM和 isolation  Forest算法,博文如下: Python机器学习笔记:异常点检测算法--One…

 Python+OpenCV图像处理—— 直线检测 直线检测理论知识: 1.霍夫变换(Hough Transform) 霍夫变换是图像处理中从图像中识别几何形状的基本方法之一,应用很广泛,也有很多改进算法.主要用来从图像中分离出具有某种相同特征的几何形状(如,直线,圆等).最基本的霍夫变换是从黑白图像中检测直线(线段). 2.Hough变换的原理是将特定图形上的点变换到一组参数空间上,根据参数空间点的累计结果找到一个极大值对应的解,那么这个解就对应着要寻找的几何形状的参数(比如说直线,那么就会得…

上一篇博客地址:python代理池的构建1--代理IP类的构建,以及配置文件.日志文件.requests请求头 一.代理ip是否可用的处理(httpbin_validator.py) #-*-coding:utf-8-*- #check ip ''' 目标:检查代理IP速度,匿名程度以及支持的协议类型. 步骤: 检查代理IP速度和匿名程度; 代理IP速度:就是从发送请求到获取响应的时间间隔 匿名程度检查: 对http://httpbin.org/get 或https://httpbin.org/…

上一篇博客地址:python代理池的构建4--mongdb数据库的增删改查 一.对数据库里面代理ip检查(proxy_test.py) #-*-coding:utf-8-*- ''' 目的:检查代理IP可用性,保证代理池中代理IP基本可用 思路 1.在proxy. _test.py中, 创建ProxyTester类 2.提供-一个run 方法,用于处理检测代理IP核心逻辑 2.1.从数据库中获取所有代理IP 2.2.遍历代理IP列表 2.3.检查代理可用性 如果代理不可用,让代理分数-1,如果代…

上一篇博客地址:python代理池的构建3--爬取代理ip 一.mongdb数据库的增删改查(Mongo_pool.py) #-*-coding:utf-8-*- ''' 实现代理池的数据库模块 ●作用:用于对proxies 集合进行数据库的相关操作 目标:实现对数据库增删改查相关操作步骤: 1.在init 中,建立数据连接,获取要操作的集合,在del方法中关闭数据库连接2.提供基础的增删改查功能 i.实现插入功能i.实现修改该功能 ili.实现删除代理:根据代理的IP删除代理iv.查询所有代理…

上篇博客地址:python代理池的构建2--代理ip是否可用的处理和检查 一.基础爬虫模块(Base_spider.py) #-*-coding:utf-8-*- ''' 目标: 实现可以指定不同URL列表,分组的XPATH和详情的XPATH,从不同页面上提取代理的IP,端口号和区域的通用爬虫; 步骤: 1.在base_ spider.py文件中,定义 一个BaseSpider类, 继承object 2.提供三个类成员变量: urls:代理IP网址的URL的列表 group_ xpath:分组X…

一.整体结构 二.代理IP类的构建(domain.py文件) ''' 实现_ init_ 方法, 负责初始化,包含如下字段: ip: 代理的IP地址 port:代理IP的端口号 protocol: 代理IP支持的协议类型,http是0, https是1, https和http都支持是2 nick_ type: 代理IP的匿名程度,高匿:0,匿名: 1,透明:2 speed:代理IP的响应速度,单位s area:代理IP所在地区 score:代理IP的评分,用于衡量代理的可用性;默认分值可以通过配…

帮朋友抓了一些代理IP,并根据测试联的通性,放在了不通的文件夹下.特将源码分享 注意: 1,环境Python3.5 2,安装BeautifulSoup4  requests 代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 5…

import socket,threading,os,sys,queue,re socket.setdefaulttimeout(5) path=sys.path[0] if os.path.isfile(path):     path=os.path.split(path)[0]          domain='www.baidu.com' que=queue.Queue() tno=20 a=open(path+r'\proxy.txt').read().strip().split() f…

最近在学习Python网络相关编程,这个代码实现了Telnet自动连接检测root用户密码,密码取自密码本,一个一个检测密码是否匹配,直到匹配成功,屏幕输出停止. Python内置了telnetlib模块,支持telnet远程操作,只要直接import就可以. 代码如下: # encoding=utf-8 import telnetlib import time import sys import os def do_telnet(Host, Port, username, password,…

前言 随着科技的发展,人脸识别技术在许多领域得到的非常广泛的应用,手机支付.银行身份验证.手机人脸解锁等等. 识别 废话少说,这里我们使用 opencv 中自带了 haar人脸特征分类器,利用训练好的 haar 特征的 xml 文件,在图片上检测出人脸的坐标,利用这个坐标,我们可以将人脸区域剪切保存,也可以在原图上将人脸框出. 代码实现: # -*-coding:utf8-*-# import os import cv2 from PIL import Image, ImageDraw from…

关于正则表达式,如果想跟深入学习,建议您看一下<python 核心编程>(第三版)这本书,第一章的内容就是正则表达式. 关于我的学习,我在看<python编程快速上手>这本书第七章的内容对这个正则表达式有了点初步的了解,然后后面的实习项目就是强口令检测.然后看了半天,没写出来,网上找了代码,在编译器输入运行,居然是报错的,然后我今天在百度找人家代码,发现是自己昨天把人家代码理解错了,有看了半天的代码,照着人家代码写了一次,具体的我就不放出来了,大家百度,应该都会发现. 我现在只是多…

前言: 文件打开的原则是“ 以什么编码格式保存的,就以什么编码格式打开 ”,我们常见的文件一般是以“ utf-8 ”或“ GBK ”编码进行保存的,由于编辑器一般设置了默认的保存和打开方式,所以我们在记事本或常见文档编辑器如Word中不容易看到乱码的情况发生,但是,当我们要在内存里读取打开一个文件时,如果文档编码方式和计算机内存默认读取文件的编码不同,或者我们打开文件时未设置正确的编码打开规则,则很有可能出现一堆乱码,无法正常读取文件内容,影响接下来的工作. 其实,这些情况早就有大佬想到了,所以…

chardet:charset detection 一旦自动检测出编码,就可以解码了. 八种文件打开方式 w:一旦打开文件,文件内容就清空了 r:只读方式打开 a:追加方式打开 r+:先读后写 以上四种打开方式加上b,表示二进制方式. str.decoding(encoding,error='strice') 解码时遇到错误有三种处理方式 strict:默认,抛出异常 replace:替换 ignore:不管 utf.py import chardet import os import sys…

GitHub:https://github.com/pengcao/chinese_ocr https://github.com/xiaofengShi/CHINESE-OCR |-angle 基于VGG分类模型的文字方向检测预测|-bash 环境安装|----setup-python3.sh 安装python3环境|----setup-python3-cpu.sh 安装CPU环境|----setup-python3-gpu.sh 安装CPU环境|-crnn |-ctpn 基于CTPN模型的文本…

可以检测两个字符串的组成是不是一样的,可以检测两个列表的元素是否一样,可以检测集合里的元素是否一致,可以检测字典里的值是否一致: 1 # !usr/bin/env python3 2 # *-* coding=utf-8 *-* 3 4 from collections import Counter 5 6 def check_element_unique(first,second): 7 return Counter(first) == Counter(second) 8 9 #检测字符串 1…

极简python代码收集,实战小项目,不断撸码,以防遗忘.持续更新: 1,检测列表是否有重复元素: 1 # !usr/bin/env python3 2 # *-* coding=utf-8 *-* 3 4 def check_list_unique(lst): 5 return len(lst) == len(set(lst)) #返回lst长度和集合lst的长度,如果相等,则证明没有重复元素,如果不相等,就有重复元素 6 7 8 x = [1,1,2,2,3,2,3,4,5,6] 9 y =…

年龄和性别检测 使用Python编程语言带你完成使用机器学习进行年龄和性别检测的任务. 首先需要编写用于检测人脸的代码,因为如果没有人脸检测,我们将无法进一步完成年龄和性别预测的任务. 下一步是预测图像中人的性别.在这里,我将性别网络加载到内存中,并将检测到的人脸通过网络传输,用于性别检测任务. 下一个任务是预测图像中人类的年龄.这里我将加载网络并使用前向传递来获取输出.由于网络架构与性别网络相似,我们可以充分利用所有输出来获得任务的预期年龄组来检测年龄. python答疑 咨询 学习交流群2:…

人脸特征提取 本文主要使用dlib库中的人脸特征识别功能. dlib库使用68个特征点标注出人脸特征,通过对应序列的特征点,获得对应的脸部特征.下图展示了68个特征点.比如我们要提 取眼睛特征,获取37到46这几个特征点即可. 开搞! 在代码中增加类似的映射,直接通过调用对应部位. Python学习交流Q群:660193417##3 FACIAL_LANDMARKS_68_IDXS = OrderedDict([ ("mouth", (48, 68)), ("right_ey…

根据访问图片识别 # coding:utf-8 import sysimport math import cv2 # 待检测的图片路径 imagepath = r'l.png' face_cascade = cv2.CascadeClassifier(r'./haarcascade_frontalface_default.xml') # 读取图片 image = cv2.imread(imagepath) gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY…

Redis 在生产配置中:除redis集群.哨兵模式之外:主从模式还是比较普遍的. 配置 redis 多主从:由 keepalived 做 VIP 地址漂移.可以实现redis的高可用性. keepalived 配置示例:(master 主节点配置,backup根据更改就可以了.) ! Configuration File for keepalived global_defs { router_id redis1 } vrrp_script chk_redis { script "/etc/ke…

git:https://github.com/linyi0604/Computer-Vision 角点也是处在一个无论框框往哪边移动 框框内像素值都会变化很大的情况而定下来的点 如果框框水平方向上移动 像素值是不会有什么太大的变化的 如果是垂直方向上移动那么就会变化很大 这种一般称为边缘区域 无论是水平 还是垂直的方向移动 都不会对框框内像素造成很大的变化,是内部区域 # coding:utf-8 import cv2 import numpy as np img = cv2.imread(".…

0x00前言: 做Hack the box的题.感觉那个平台得开个VIp 不然得凉.一天只能重置一次...mmp 做的那题毒药是文件包含漏洞的题,涉及到了某个工具 看的不错就开发了一个. 0x01代码: import requests import threading import os import time import sys cookies={} urls=input('Please enter the target:') user=input('Enter the file you w…

1.dlib 实现动态人脸检测及面部轮廓检测 模型下载连接 : http://dlib.net/files/ # coding:utf-8 import cv2 import os import dlib # http://blog.topspeedsnail.com/archives/6935 def assure_path_exists(path): dir = os.path.dirname(path) if not os.path.exists(dir): os.makedirs(dir…

最近帮客户做ACL的限制检测,也就是客户对一些站点做了acl限制,只有省内或内网可以访问,然后让我 去验证acl做的是否正确,简单写了个粗略的脚本,分享下,不足之处日后改进(如多线程等),脚本如下: #coding:utf-8 import urllib import urllib2 import cookielib import json url="http://tool.chinaz.com/iframe.ashx?t=ping&callback=jQuery111302505380…

python2 str 编码检测 import chardet s = 'sdffdfd' print type(s) print chardet.detect(s) s2 = '反反复复' print type(s2) print chardet.detect(s2) s3 = u'反反复复'.encode('utf-8') print type(s3) print chardet.detect(s3) # <type 'str'> # {'confidence': 1.0, 'encodi…

1.需求:每次Sonqube检查完毕后,需要登陆才能看到结果无法通过Jenkins发布后直接看到bug 及漏洞数量. 2.demo:发布后,可以将该项目的检测结果简单打印出来显示,后面还可以集成钉钉发送到群里. # -*- coding: UTF-8 -*- import sys reload(sys) sys.setdefaultencoding('utf8') ''' @author:jmmei @file: SonarQubeDingtalk.py @time: 2019/7 ''' im…

我使用的是python2.7,我本来另装了一个python3.6,发现无法安装dnspython,于是只能换回来了 import dns.resolver #这个需要另外下载并安装(下载地址www.dnspython.org/kits/1.9.4/dnspython-1.9.4.tar.gz 解压之后,python setup.py install) import os import httplib #因为要用到http? iplist=[] #存储查到的ip appdomain="www.ba…