爬虫部署 Gerapy 安装(centos 8)演示
一.安装
pip3 install -U gerapy
使用python3.68版本安装gerapy,报错提示:ModuleNotFoundError: No module named 'setuptools_rust'
解决方法更新pip3
pip3 install --upgrade pip
安装后,测试是否安装成功:
[root@iZwz927xptl8kw8zqrmwvcZ bin]# gerapy
Usage: gerapy [-v] [-h] ... Gerapy 0.9.10 - Distributed Crawler Management Framework Optional arguments:
-v, --version Get version of Gerapy
-h, --help Show this help message and exit
二.初始化
在当前目录下创建gerapy工作目录
[root@iZwz927xptl8kw8zqrmwvcZ local]# pwd
/usr/local
[root@iZwz927xptl8kw8zqrmwvcZ local]# gerapy init
Initialized workspace gerapy
[root@iZwz927xptl8kw8zqrmwvcZ local]# ls
aegis bin etc games gerapy include lib lib64 libexec sbin share src
数据库初始化,这将生成一个 SQLite 数据库,该数据库将用于保存每个主机的配置信息、部署版本、定时任务等。最后一行创建了一个dbs文件夹
[root@iZwz927xptl8kw8zqrmwvcZ local]# cd gerapy
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# ls
logs projects
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# gerapy migrate
Operations to perform:
Apply all migrations: admin, auth, authtoken, contenttypes, core, django_apscheduler, sessions
Running migrations:
Applying contenttypes.0001_initial... OK
Applying auth.0001_initial... OK
...
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# pwd
/usr/local/gerapy
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# ls
dbs logs projects
创建用户
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# gerapy initadmin
No Admin user exists, create temp admin user
Created admin account: admin(admin@gerapy.com), initial password: admin, just use it temporarily and change the pass word for safety
修改用户信息参考:https://www.cnblogs.com/MrHSR/p/16505221.html
三. 启动服务
启动服务命令
gerapy runserver 0.0.0.0:8000 > /dev/null 2>&1 &
在浏览器中打开http://localhost:8000进入Gerapy

四.主机管理
登录进入Gerapy,主机管理-->创建, 下面是连接了本机的scrapyd服务,还可以配置多个服务器的scrapyd服务,进行统一管理

五.项目管理
Gerapy的工作目录下有一个空的projects文件夹,也就是存放Scrapy目录的文件夹。
如果我们要部署 Scrapy 项目,只需将项目文件放在项目文件夹中即可。
可以手动上传到projects目录下,也可以使用git上传参考:https://www.cnblogs.com/MrHSR/p/16505022.html

打包项目,点击打包成功如下所示:

上面打包成功后,点击部署,就部署成功了
通过postman查看,有了一个时间截版本号

六. 调试

总结:在打包egg文件上,使用Gerapy可视化界面打包方便,轻松部署到多台scrapyd服务器上。 另一个打包是在开发环境,使用 scrapyd-deploy打包上传到指定的scrapyd服务器上。二种方案都可以,用gerapy统一管理比较好。
参考文档:https://docs.gerapy.com/en/latest/installation.html
爬虫部署 Gerapy 安装(centos 8)演示的更多相关文章
- Linux Centos7部署环境安装-CentOS
Linux Centos7部署环境安装-CentOS Centos7部署环境安装及Linux常用命令 centos系统下各文件夹的作用 centos7修改系统默认语言 centos7安装rz/sz命令 ...
- python爬虫之Gerapy安装部署
原创北航大才:https://cuiqingcai.com/5006.html NULL:http://www.infosec-wiki.com/?p=432737
- ArcGIS Enterprise 10.5.1 静默安装部署记录(Centos 7.2 minimal)- 6、总结
安装小结 安装完成后,首先我们需要将Datastore托管给Server,再将Server托管给Portal以此来完成整个单机版Enterprise 部署流程.为了测试流程是否正确,我们可以采用上传一 ...
- ArcGIS Enterprise 10.5.1 静默安装部署记录(Centos 7.2 minimal)- 5、安装Datastore
安装Datastore 解压datastore安装包,tar -xzvf ArcGIS_DataStore_Linux_1051_156441.tar.gz 切换到arcgis账户静默安装server ...
- ArcGIS Enterprise 10.5.1 静默安装部署记录(Centos 7.2 minimal)- 4、安装 ArcGIS for Server
安装ArcGIS for Server 解压server安装包,tar -xzvf ArcGIS_Server_Linux_1051_156429.tar.gz 切换到arcgis账户静默安装serv ...
- ArcGIS Enterprise 10.5.1 静默安装部署记录(Centos 7.2 minimal)- 3、安装Portal for ArcGIS
安装Portal for ArcGIS 解压portal安装包,tar -xzvf Portal_for_ArcGIS_Linux_1051_156440.tar.gz 切换到arcgis账户静默安装 ...
- ArcGIS Enterprise 10.5.1 静默安装部署记录(Centos 7.2 minimal)- 2、安装WebAdapter
解压webadapter安装包,tar -xzvf Web_Adaptor_Java_Linux_1051_156442.tar.gz 进入下Webadapter目录下静默安装 ./Setup -m ...
- ArcGIS Enterprise 10.5.1 静默安装部署记录(Centos 7.2 minimal)- 1、安装前准备
安装前准备 上传文件到服务器,x-ftp xshell登陆Centos 检查机器名 修改机器名为:portal.cloud.local 方法一:零时设置,重启后失效,该方法不可取 方法 ...
- 阿里云服务器 ECS 部署lamp:centos+apache+mysql+php安装配置方法 (centos7)
阿里云服务器 ECS 部署lamp:centos+apache+mysql+php安装配置方法 (centos7) 1.效果图 1 2. 部署步骤 1 1. mysql安装附加(centos7) 7 ...
随机推荐
- 一文搞懂CDN加速原理
开源Linux 长按二维码加关注~ 一.什么是 CDN CDN的全称是(Content Delivery Network),即内容分发网络.其目的是通过在现有的Internet中增加一层新的CACHE ...
- Solon 1.7.6 发布,更现代感的应用开发框架
相对于 Spring Boot 和 Spring Cloud 的项目 启动快 5 - 10 倍 qps 高 2- 3 倍 运行时内存节省 1/3 ~ 1/2 打包可以缩小到 1/2 ~ 1/10(比如 ...
- 使用WebDriverManager实现自动获取浏览器驱动程序
原理: 自动到指定的地址下载相应的浏览器驱动保存到缓存区 ~/.cache/selenium 痛点: 解决因Chrome浏览器升级,driver需要同步升级,要重新下载驱动的问题 区别: 传统方式 需 ...
- 463. Island Perimeter - LeetCode
Question 463. Island Perimeter Solution 题目大意:给出一个二维数组1表示陆地0表示海,求陆地的周长 思路: 重新构造一张地图grid2即一个二维数组,比原数组大 ...
- 每天一个 HTTP 状态码 204
204 No Content 204 No Content 表示服务器成功地处理了客户端的请求,但是没有任何要响应的内容.API 设计上,在用 PUT 请求更新某个资源成功后,后端可以在 HTTP 响 ...
- vsftp 详解
1.默认配置: 1>允许匿名用户和本地用户登陆. anonymous_enable=YES local_enable=YES2>匿名用户使用的登陆名为ftp或anonymo ...
- 『忘了再学』Shell基础 — 24、Shell正则表达式的使用
目录 1.正则表达式说明 2.基础正则表达式 3.练习 (1)准备工作 (2)*练习 (3).练习 (4)^和$练习 (5)[]练习 (6)[^]练习 (7)\{n\}练习 (8)\{n,\}练习 ( ...
- “摆地摊“都找不到全栈工程师?JNPF帮你分分钟搞定!
大街上捕捉野生程序员 都这样了还找不到全栈工程师 全栈工程师(Full-Stack Engineer)图鉴: 全栈工程师,也叫全端工程师(同时具备前端和后台能力),英文Full Stack deve ...
- 论文解读(ARVGA)《Learning Graph Embedding with Adversarial Training Methods》
论文信息 论文标题:Learning Graph Embedding with Adversarial Training Methods论文作者:Shirui Pan, Ruiqi Hu, Sai-f ...
- Java随谈(六)## 我们真的理解 Java 里的整型吗?
我们真的理解 Java 里的整型吗 整型是我们日常生活中最常用到的基础数据类型,看这篇文章之前,我想问: 我们真的像自己认为的那么理解 Java 内的整型吗? 也许看完本篇文章你就有自己的答案. C ...