scrapyd-deploy -p chahao -v 1.0 --build-egg chahao.egg…

问题: 公司有个工具型项目使用node.js 开发,需要部署到客户的服务器中,遇到的问题: 1.客户的服务器没有外网.环境配置,依赖安装等都比较麻烦,只能手工上传,最好能一个文件直接搞定: 2.直接包源码部署到客户的机器中,存在源码泄露的风险. 方案: 使用pkg npm包可以很好的解决我们以上的问题. 先参考前人的经验 : Egg.js线上部署——利用pkg打包Egg.js工程 pkg原理: pkg打包工具主要会按平台(支持window.mac.linux)分别打包. pkg中会包含node的…

假设spark里用到了purl这个三方件,https://github.com/ultrabluewolf/p.url,他还额外依赖futures这个三方件(six的话,anaconda2自带). pyspark 代码如下: from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("My test App") sc = SparkCont…

一.分布式爬虫 前面我们了解Scrapy爬虫框架的基本用法 这些框架都是在同一台主机运行的 爬取效率有限 如果多台主机协同爬取 爬取效率必然成倍增长这就是分布式爬虫的优势 1. 分布式爬虫基本原理 1.1 分布式爬虫架构 Scrapy 单机爬虫中有一个本地爬取队列Queue 这个队列是利用 deque 模块实现的 如果新的 Request 生成就会放在队列里面 随后 Request被Scheduler调度 之后 Request 交给 Downloader 执行爬取 简单的调度架构如图 单主机爬虫…

安装包 pip install scrapy pip install scrapyd pip install scrapyd-client pip install spiderkeeper 进入到scrapy项目的根目录: 运行scrapyd scrapyd 如果不出错就会生成一个scrapyd的服务. 打开对应页面 再另起窗口执行spiderkeeper命令 spiderkeeper 打开spiderkeeper的页面 默认用户名:admin 密码:admin 创建项目 点击Projects-…

一.安装 pip3 install -U gerapy 使用python3.68版本安装gerapy,报错提示:ModuleNotFoundError: No module named 'setuptools_rust' 解决方法更新pip3 pip3 install --upgrade pip 安装后,测试是否安装成功: [root@iZwz927xptl8kw8zqrmwvcZ bin]# gerapy Usage: gerapy [-v] [-h] ... Gerapy 0.9.10 -…

原文出处:http://www.worldhello.net/2010/12/08/2178.html 本文略有改动 1.1 安装setuptools 首先要安装setuptools工具.Debian/Ubuntu下可以直接使用apt安装: $ sudo apt-get install python-setuptools 或者通过pip安装: $ pip install setuptools 更新setuptools: $ pip install --upgrade setuptools 或者下…

unzip 就可以了. 由于项目需要将某些版本的库打包,然后 sys.path.insert方式引用(避免升级包导致某些旧的系统崩掉). 在将egg文件打包时,发现不可用.但相关模块的__path__属性显示, 这些内容在egg里面,于是想到可能这只是个压缩包. 谷歌了一番,找到了解压的方法:https://mail.python.org/pipermail/chicago/2007-July/002301.html 即用unzip指令就可一了. ======后记=========== pyth…

打包手册:https://python-packaging-user-guide.readthedocs.org/en/latest/installing.html#installing-from-a-local-src-tree http://lingxiankong.github.io/blog/2013/12/23/python-setup/ egg http://www.worldhello.net/2010/12/08/2178.html http://lesliezhu.github…

做了一个生成二维码的小程序:http://www.cnblogs.com/dcb3688/p/4241048.html 直接运行脚本没问题,用pyinstaller打包后再运行就直接报错了: 应用程序无法启动 因为程序的并行配置不正确.有关详细信息,请参阅应用程序事件日志,或使用命令行 sxstrace.exe 工具. 网上找的解决方法: 1.   安装Microsoft Visual C++ 2008 Redistributable 2.  开始 - 运行(输入services.msc)- 确…