由于公司的业务需要,需要爬取很多的国外网站图片,然后兄弟我一路正则杀过去,总共匹配到658张链接,心里美滋滋开始写下载的代码.然后就有了这次坑的记录. 首先这是我查到的链接数量 然后爬虫跑完后,美滋滋准备去看图片的时候,发现了 然后兄弟瞬间傻眼,卧槽?难道有反扒?继续测试,加了状态看看 兄弟开了100进程,瞬间跑完 一看控制台,全程没有输出那个else里的打印信息,去了眼爬的数量 怎么特么还是这么多?我的图呢,被狗吃了?然后进行了持续8小时的旷日的持久BUG之旅,前前后后各种信息都尝试了,还是没…

本文实例讲述了python文件的md5加密方法.分享给大家供大家参考,具体如下: 一.简单模式: from hashlib import md5 def md5_file(name): m = md5() a_file = open(name, 'rb') #需要使用二进制格式读取文件内容 m.update(a_file.read()) a_file.close() return m.hexdigest() if __main__ == '__init__': print md5_file('d…

前言 在GitHub上维护了一个代理池的项目,代理来源是抓取一些免费的代理发布网站.上午有个小哥告诉我说有个代理抓取接口不能用了,返回状态521.抱着帮人解决问题的心态去跑了一遍代码.发现果真是这样. 通过Fiddler抓包比较,基本可以确定是JavaScript生成加密Cookie导致原来的请求返回521. 发现问题 打开Fiddler软件,用浏览器打开目标站点(http://www.kuaidaili.com/proxylist/2/) .可以发现浏览器对这个页面加载了两次,第一次返回521…

小学生绞尽脑汁也学不会的python(异常,约束,MD5加密,日志处理) 异常处理(处理) 1.产生异常.raise 异常类(),抛出异常2. 处理异常: try: xxxxx # 尝试执行的代码. except 异常类 as 变量: # 出现错误的时候. 捕获到异常 xxxxxx # 处理异常ch try: """操作""" except Exception as e: """保护的父类,可以捕获所有异常"…

python爬虫:了解JS加密爬取网易云音乐 前言 大家好,我是"持之以恒_liu",之所以起这个名字,就是希望我自己无论做什么事,只要一开始选择了,那么就要坚持到底,不管结果如何.接下来,就讲一讲今天的正题了,运用python爬虫爬取网易云音乐,之前小编尝试了爬取QQ音乐.酷狗音乐.酷我音乐,但是觉得爬取网易云音乐是最难的一个.为什么这样讲呢?除了它是post请求之外,就是它的加密了.原本小编早就打算尝试爬取它了,但是苦于对浏览器断点操作一直不知怎么做,现在知道了,并且成功实现爬取网…

在应用程序的接口里,常用到签名:其中签名里用到MD5加密,这里用hashlib实现 hashlib 概念:Hash,译做"散列",也有直接音译为"哈希"的.把任意长度的输入,通过某种hash算法,变换成固定长度的输出, 该输出就是散列值,也称摘要值.该算法就是哈希函数,也称摘要函数. hashlib模块支持md5(),sha1(), sha224(), sha256(), sha384(), sha512(), blake2b(),blake2s(), sha3_2…

一.issubclass,type,isinstance 1.issubclass :判断xx类是否是yyy类型(包括子类),用于类之间的判定 class GrandF: pass class Father(GrandF): pass class Son(Father): pass print(issubclass(Son,Father))#True print(issubclass(Son,GrandF))#True 可以隔代判断类型,子类属于父类的父类 print(issubclass(Fa…

一.JS加密之“盐”​ 1.salt属性“盐":多用于密码学,比如我们的银行卡是六位密码,但是实际上在银行的系统里,我们输入密码后,会给原始的密码添加若干字符,形成更加难以破解的密码.这个过程我们称为”加盐“. """ 处理JS加密 """ import time,random ​ def getSalt(): """ salt公式:"" + ((new Date).getTime()…

  python hashlib模块   hashlib hashlib主要提供字符加密功能,将md5和sha模块整合到了一起,支持md5,sha1, sha224, sha256, sha384, sha512等算法 具体应用 #!/usr/bin/env python # -*- coding: UTF-8 -*- #pyversion:python3.5 #owner:fuzj import hashlib # ######## md5 ######## string = "beyongj…

python 中约束写法有两种 1 常用的通过继承关系主动抛出异常  2 通过抽象类+抽象方法 1 常用的通过继承关系主动抛出异常写法 在本send方法中报错不会抛出异常, class BaseMessage(object): def send(self): """ 必须继承BaseMessage,然后其中必须编写send方法.用于完成具体业务逻辑. """ raise NotImplementedError(".send() 必须被重…