一.scrapy拉起方式 1. 简单cmd拉起 from scrapy.cmdline import execute spiders = [ 'scrapy crawl liepin', 'scrapy crawl lagou' ] if __name__ == '__main__': for i in spiders: execute(i.split()) 2. subprocess拉起 subprocess.Popen('scrapy crawl aws_ec2_ondemand') 3.…

1 最开始我直接把在Windows上打包的run.exe文件上传到Linux以为可以直接用了.但是./run后报错.百度后知道,Windows上的程序不能在Linux上运行 Linux下文件是否可执行可后缀没有关系,只和权限有关系,靠的是文件本身的权限.想要执行就  chmod 755 filename 改变文件权限 windows和linux的二进制文件不能兼容,楼主检查下吧,不能在linux下运行windows的程序.一定要在linux下运行,需要安装wine Linux默认支持ELF格式二…

本来只是想用Python做一个定时任务小工具在服务器上运行,可是服务器在隔离区,各种禁止上外网,使用pip导出列表那种下载库的方法不管用,导致Python的各种库都下不到,官网离线下载又各种缺依赖,好气啊.后来查了一下,原来还有pyinstaller这种好东西,将需要的库和程序打包成一个可运行的程序,这正是我需要的. 为了测试pyinstaller,主要遇到了两个错误,一个是pkg_resources.DistributionNotFound,一个是ImportError: No module…

环境 Windows7 Python3.65 scrapy1.74 PyInstaller3.5 创建打包脚本 在与scrapy.cfg同路径创建start.py # -*- coding: utf-8 -*- from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings # import robotparser # 必加的依赖 import scrapy.spide…

解决的方案是利用pyinstaller的hook特性,步骤如下: 1.在项目目录新建hooks目录,目录中新建hooks-scrapy.py 文件,文件内容如下: from PyInstaller.utils.hooks import collect_submodules, collect_data_files # This collects all dynamically imported scrapy modules and data files.hiddenimports = (colle…

from apscheduler.schedulers.blocking import BlockingScheduler from apscheduler.triggers.cron import CronTrigger from apscheduler.triggers.interval import IntervalTrigger from apscheduler.triggers.date import DateTrigger from apscheduler.triggers.base…

前言 APScheduler是python下的任务调度框架,全程为Advanced Python Scheduler,是一款轻量级的Python任务调度框架.它允许你像Linux下的Crontab那样安排定期执行的任务,并且支持Python函数或任意可调用的对象. 安装 (ENV1) [eason@localhost]$ pip install apscheduler Collecting apscheduler Downloading APScheduler-3.3.0-py2.py3-non…

最近写的天气爬虫想要让它在后台每天定时执行,一开始用的celery,但不知道为什么明明设置cron在某个时间运行,但任务却不间断的运行.无奈转用apscheduler,但是不管怎么设置都不能使得当调用: python  tasks.py 的时候都会阻塞在控制台.再次无奈转用supervisor. 首先是任务tasks.py: #-*- coding: utf-8 -*- #!/usr/bin/python import datetime from apscheduler.schedulers.b…

pyinstaller打包python成exe可执行程序,各种报错,各种坑,在次记录下 一.pyinstaller打包报错for real_module_name, six_moduleAttributeError: 'str' object has no attribute 'items' 升级版本 pip install -U --pre setuptools 或者:直接下载最新版 https://pypi.org/project/setuptools/ 二.LookupError: No…

前置:https://www.cnblogs.com/luocodes/p/11827850.html 解决最后一个问题,如何将scrapy真正的打包成单文件 耗了一晚上时间,今天突然有灵感了 错误分析 不将scrapy.cfg文件与可执行文件放一起,那么就会报错---爬虫没有找到 报错的原因 1.scrapy.cfg文件放入不进可执行文件中 2.scrapy目录读取不到scrapy.cfg文件 问题1 pyinstaller是将可执行文件解压到系统的临时文件中,在进行运行的 所以我们只需要在可…