前言 E站爬虫在网上已经有很多了,但多数都只能以图片为单位下载,且偶尔会遇到图片加载失败的情况:熟悉E站的朋友们应该知道,E站许多资源都是有提供BT种子的,而且通常打包的是比默认看图模式更高清的文件:但如果只下载种子,又会遇到某些资源未放种/种子已死的情况.本文将编写一个能自动检测最优下载来源并储存到本地的E站爬虫,该爬虫以数据库作为缓冲区,支持以后台服务方式运行,可以轻易进行分布式扩展,并对于网络错误有良好的鲁棒性. 环境要求 Python3,MySQL,安装了Aria2并开启PRC远程访问

python三大神器之virtualenv   pip, virtualenv, fabric通称为pythoner的三大神器. virtualenv virtualenv------用来建立一个虚拟的python环境,一个专属于项目的python环境.用virtualenv 来保持一个干净的环境非常有用 测试环境:linux下 1.基本使用 通过pip安装virtualenv: pip install virtualenv 测试安装: virtualenv --version 为一个工程项目搭

virtualenv virtualenv用来管理python项目环境,隔离出一个只属于这个项目的虚拟python环境(windows和Linux用法一样). 首先你需要安装virtualenv模块 pip isntall virtualenv 创建一个工程项目的虚拟环境 cd D:\project virtualenv project_env 如果新的python虚拟环境也需要原来python的第三方库,用以下命令,可以将第三方库一起复制到新的虚拟环境 virtualenv --system-

pip是一款管理python各类包和库的工具,非常好用.下文介绍常用的一些命令. ● 安装:pip install 库名 也可以指定版本:pip install 库名=版本 ● 卸载:pip uninstall 库名 ● 升级:pip install --upgrade 库名 ● 查看所有第三方库:pip list ● 导出第三方库名和版本:pip freeze > requirements.txt 可以指定导出文件的路径:pip freeze > D:\requirements.txt ●

Fabric Fabric是一个python的远程执行shell的库,同时它也是一个命令行工具.它提供了丰富的同 SSH 交互的接口,可以用来在本地或远程机器上自动化.流水化地执行 Shell 命令. 安装Fabric Fabric的官网是 www.fabfile.org,源码托管在Github上.你可以clone源码到本地,然后通过下面的命令来安装.但是在源码安装前,你必须先将Fabric的依赖包Paramiko装上. python setup.py develop 同时也可以使用pip安装,

fabric经常出现在自动化运维领域,批量处理一些运维工作.fabric是在paramiko之上又封装了一层,操作起来更加简单易用. 本来只是想写个博客记录一下,然后发现之前写的代码不能运行了,报以下错误:No module named 'fabric.api' Traceback (most recent call last): File "D:/PycharmProjects/TestTool/Publish/fabric_sample.py", line 3, in <mo

APP逆向神器之Frida[Android初级篇] https://juejin.im/post/5d25a543e51d455d6d5358ab 说到逆向APP,很多人首先想到的都是反编译,但是单看反编译出来的代码很难得知某个函数在被调用时所传入的参数和它返回的值,极大地增加了逆向时的复杂度,有没有什么办法可以方便地知道被传入的参数和返回值呢? 答案是有的,这个方法就是Hook,Hook的原理简单地说就是用一个新的函数替代掉原来的函数,在这个新的函数中你想做什么都可以,为所欲为. 本文中的Fr

SSH客户端神器之 MobaXterm 由于需要连接远程 Linux 服务器,早期使用过 Putty,SecureCRT,后面主要使用 Xshell. 自从接触了 MobaXterm之后,个人感觉比 Xshell 更好用,堪称SSH客户端的神器啊! MobaXterm 和 Xshell 的关系,就像 IntelliJ IDEA 和 Eclipse 的关系一样,功能更加强大,效果更加炫酷. 接下来,介绍 MobaXterm 的下载.安装.简单使用,以及其强大的功能亮点(优点). MobaXterm

分享ORACLE数据库恢复神器之ODU.DUL和AUL工具. ODU:ORACLE DATABASE UNLOADER DUL:DATA UNLOADER AUL:也称MyDUL 关于三种工具说明: (1)Oracle 的内部工具是DUL(Data UnLoader).这个需要Oracle 的支持. (2)老熊写的ODU   网址:http://www.oracleodu.com/en/ (3)d.c.b.a (支付宝 楼方鑫)写的AUL. 网址:http://www.anysql.net/do

官网:http://www.fabfile.org/ 中文站点:http://fabric-chs.readthedocs.io/zh_CN/chs/ Fabirc是基于python实现的SSH命令行工具,非常适合应用的自动化部署,或者执行系统管理任务. 更具体地说,Fabric 是: 一个让你通过 命令行 执行 无参数 Python 函数 的工具: 一个让通过 SSH 执行 Shell 命令更加 容易 . 更符合 Python 风格 的命令库(建立于一个更低层次的库). 自然而然地,大部分用户

1. 场景描述 刚好总结Java项目的web文件下载(附方案及源码配置),想起python项目也有用到文件下载,就也介绍下吧. 2. 解决方案 使用python的第三方组件Flask来实现文件下载功能. 2.1 真实代码 # -*- coding: utf-8 -*- from flask import Flask, send_from_directory app = Flask(__name__) dirpath = '/home/laowang/result/' @app.route("/&

不论是运维,还是开发,面对Linux系统,时常会因为配置参数或者系统的权限(iptables限制端口,selinux拦截,文件目录权限等)原因出现程序或者服务异常,无法启动等等.特别是在Linux的文件权限上,大型的程序或者服务依赖于大量的目录和相关文件,只要一个出现问题,就会发生连锁反应. strace常用来跟踪进程执行时的系统调用和所接收的信号. 在Linux世界,进程不能直接访问硬件设备,当进程需要访问硬件设备(比如读取磁盘文件,接收网络数据等等)时,必须由用户态模式切换至内核态模式,通

因为最近项目上的要求,需要在页面中可以对一张图片进行涂改和添加文字,然后再保存到(服务器)本地,因为也是第一次接触这方面的,然后爬网页啊爬网页,之后发现了一款adobe开发的一款插件,适合 Anroid Ios 和Web的调用 传送门 :感谢 翩翩 大神  http://www.cnblogs.com/hiflora/p/4267705.html 发现这款插件非常的炫酷,功能也还是蛮强大的.但是万万没想到!!!当时也没有注意大神的使用说明: 1,需要在线注册账号,申请apikey,地址:http

一.Python发展史 二.Python2 or 3 博主选择了Python3. 从官网下载Python  www.python.org Windows安装python3.5.python2.7.安装好后可能需要调整一下path [右键计算机]-->[属性]-->[高级系统设置]-->[高级]-->[环境变量]-->[在第二个内容框中找到 变量名为Path 的一行,双击] --> [Python安装目录追加到变值值中,用 : 分割] 如:原来的值;C:\python27

前言 你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢? 嗯,那么,前端大大们的福音来了,PyQuery 来了,乍听名字,你一定联想到了 jQuery,如果你对 jQuery 熟悉,那么 PyQuery 来解析文档就是不二之选!包括我在内! PyQuery 是 Python 仿照 jQuery

当您学完Python,你学到了什么? 开发网站! 或者, 基础语法要点.函数.面向对象编程.调试.IO编程.进程与线程.正则表达式... 当你学完Python,你可以干什么? 当程序员! 或者, 手写数据结构和算法.手写神经网络项目. 用Python来爬取一些美女照片 OR 笑话段子开心开心. 好了,切入正题,Python从入门到精通,需要多长时间?从精通到找到一份月薪过万的开发工作,需要几个月? 尚学堂继java300集之后又一力作--Python400集,如果你学完这部Python宝典就知道

诚言,对于开发码字者,Mac和Linux果断要比Windows更贴心;但只要折腾下,Windows下也是有不少利器的.之前就有在Windows下效率必备软件一文中对此做了下记载:其虽没oh-my-zsh那么逆天的存在,却也甚是好用,至少要比Windows原生Cmd好出了天际.因为好用,所以“必备”. 『有则推荐』: 自 2017 年初,就有开始利用闲余时光,打磨个人最新作品——「倾城之链」 ,有意将其打造成优良开放型平台,旨在云集全球优秀网站,让您更为便捷地探索互联网中那更广阔的世界:在这里,您

学习记录day03   字符串可以直接切片,But字符串不可修改 字符串修改:生成了一个新的字符串 LIst修改,在原基础上修改(原内存上)     集合是一个无序的,不重复的数据组合,它的主要作用如下:   去重,把一个列表变成集合,就自动去重了 关系测试,测试两组数据之前的交集.差集.并集等关系 dict\list\set.. 全用 x in ..计算,,dict.has_key等已废   文件: fp = open() #文件句柄,文件句柄里存的内容: 文件信息.在磁盘上的开始位置.内存等

为什么叫神器呢? 我总结如下: 第一:也是最重要的,它占内存很小(就如同notepad++那般迅速打开,所以那款其实也不错~).一般IDE比如WebStorm(它也是一款神器来着),Aptana(也比较常用),还有前后结合的Zend Studio 等都略显臃肿,打开太慢,耗内存太大. 第二:主题丰富,漂亮的界面.各式各样的主题可以满足你的视觉美. 第三:支持的插件丰富多样.很多插件都能让你获得不一样的体验. 第四:支持命令快捷键方式.就如同vim那般有广阔的命令快捷. 好吧,那就来下载安装吧.

pipenv 都包含什么? pipenv 是 Pipfile 主要倡导者.requests 作者 Kenneth Reitz 写的一个命令行工具,主要包含了Pipfile.pip.click.requests和virtualenv.Pipfile和pipenv本来都是Kenneth Reitz的个人项目,后来贡献给了pypa组织.Pipfile是社区拟定的依赖管理文件,用于替代过于简陋的 requirements.txt 文件. Pipfile的基本理念是: Pipfile 文件是 TOML 格

webdriver允许我们设置默认的文件下载路径,也就是说,文件会自动下载并保存到设置的目录中 下面以Firefox浏览器为例: from selenium import webdriver from selenium.webdriver.common.keys import Keys from time #time.sleep()实现延时 profile = webdriver.FirefoxProfile() profile.set_preference('browser.download.