爬虫管理平台以及wordpress本地搭建
爬虫管理平台以及wordpress本地搭建
学习目标:
- 各爬虫管理平台了解
- scrapydweb
- gerapy
- crawlab
- 各爬虫管理平台的本地搭建
- Windows下的wordpress搭建
爬虫管理平台了解:
scrapydweb:
用于Scrapyd实施管理的web应用程序,支持Scrapy日志分析和可视化 github地址:https://github.com/my8100/scrapydweb.git
gerapy:
基于Scrapy,Scrapyd,Scrapyd-Client,Scrapyd-API,Django和Vue.js的分布式爬虫管理框架 相关的配置在我之前博客地址:https://www.cnblogs.com/xbhog/p/13336651.html 该项目github地址:https://github.com/Gerapy/Gerapy.git
crawlab:
基于Golang的分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架. 文档地址:https://docs.crawlab.cn/zh/ GitHub地址:https://github.com/crawlab-team/crawlab.git
注意:前两个框架的搭建基于Scrapyd,如果不知道怎么配置可以看我之前写的博客:https://www.cnblogs.com/xbhog/p/13336651.html
爬虫管理平台的本地搭建:
scrapydweb搭建:
安装:pip install scrapydweb -i https://pypi.doubanio.com/simple
先打开scrapyd(命令行输入)
再输入scrapydweb
界面效果:
部署安装网上教程很多,不多赘述
gerapy
- 相关的配置在我之前博客地址:https://www.cnblogs.com/xbhog/p/13336651.html
crawlab:(配置安装官方给的很详细,这里简单说下)
首先把代码从远程仓库clone下来:git clone 地址/复制地址到pycharm中
#官方推荐几种安装方式:
Docker(入门简单,推荐)
Kubernetes(多机器部署,推荐)
直接部署(理解原理)
开发模式(开发调试)
多节点部署
#个人选择docker,该项目配置环境过多,怕给本地造成冲突
docker的安装:
安装环境:本地虚拟化以及hyper-V需要打开,如图所示
默认安装即可
相关详细链接(菜鸟教程:https://www.runoob.com/docker/windows-docker-install.html)
安装docker-compose包:pip install docker-compose
在根目录下测试:
docker-compose ps
正常为空
Name Command State Ports
------------------------------
--------------------------------
安装并启动:docker-compose up -d
Windows下的wordpress搭建:
环境准备:
- wampserver软件
- wordpress源码
- 百度网盘地址:链接:https://pan.baidu.com/s/1mAFu8XrNSfpyL_VgSvb8VA 提取码:1234
搭建步骤:
打开wampserver.exe,默认安装(注意在安装路径的时候不能有中文文件夹)
最后会有四个弹窗:
是否更改浏览器,该软件默认浏览器是explorer,我们点击是,选择谷歌浏览器;
选择nodpad++,选择否。
安装完成后,点击桌面图标运行,程序颜色表示状态
- 红色:配置没启动
- 橙色:配置启动一部分
- 绿色:配置完全启动
绿色后,单机程序图标,点击localhost进入网页
将预先准备的wordpress安装包放到wampserver/www文件夹下
进入网页地址输入:localhost/wordpress
点击开始进入配置页面:
上面配置先放置,我们先进行数据库设置
输入用户名root,密码空,点击执行。
进入账户下的root,修改权限,修改密码
我们需要对应之前的数据库名称(wordpress),所以新建数据库
设置成功后返回之前的数据库登录页面,填写相关信息:
提交进入登陆界面配置:
填写完成进入登陆界面
登陆:前后台界面
爬虫管理平台以及wordpress本地搭建的更多相关文章
- 分布式爬虫管理平台Crawlab安装与使用
Why,为什么需要爬虫管理平台? 以下摘自官方文档: Crawlab主要解决的是大量爬虫管理困难的问题,例如需要监控上百个网站的参杂scrapy和selenium的项目不容易做到同时管理,而且命令行管 ...
- Crawlab Lite 正式发布,更轻量的爬虫管理平台
Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本.在这期间我们为 Crawlab 加入了大量社区用户共同期望的功 ...
- win7下wordPress本地搭建博客详解(深度亲测整理---傻瓜式详细教程)
搭建一个wordPress作为一个个人博客本来是特别简单的事情,但是网上的各种转载让初学者举步维艰,我就本身条件而言,会java EE,懂mysql都花费了我好长时间才搭建好本地博客. 注意:这个是本 ...
- 使用Docker部署爬虫管理平台Crawlab
当前目录创建 docker-compose.yml 文件 version: '3.3' services: master: image: tikazyq/crawlab:latest containe ...
- 30分钟快速搭建Web CRUD的管理平台--django神奇魔法
加上你的准备的时间,估计30分钟完全够用了,因为最近在做爬虫管理平台,想着快速开发,没想到python web平台下有这么非常方便的框架,简洁而优雅.将自己的一些坑总结出来,方便给大家的使用. 准备环 ...
- CCNET+ProGet+Windows Batch搭建全自动的内部包打包和推送及管理平台
所要用的工具: 1.CCNET(用于检测SVN有改动提交时自动构建,并运行nuget的自动打包和推送批处理) 2.ProGet(目前见到最好用的nuget内部包管理平台) 3.Windows Batc ...
- 利用XAMPP本地搭建WordPress博客
现在越来越多的人利用WordPress搭建了自己的博客网站,我也是一样,但是还有一些人不知道怎么搭建WordPress网站的方法,因为怕弄 不好,所以也就没有花钱去做,所以这里我就讲讲怎么样利用XAM ...
- Hudson持续集成管理平台搭建
IP: 10.0.70.106 8G 内存 (Hudson 多 个 工程 在 同 时 构建 的情况下 比 较耗内存) 环 境: CentOS 6.5 . JDK7 注:Hudson 只是一个持续集成 ...
- 利用Wamp在本地搭建一个wordpress站点
原文链接:利用Wamp在本地搭建一个wordpress站点 有时候我们会想搭建一个自己的站点,可是由于只是想自己访问,就不是很想为这个站点在买一个服务器和域名,那我们可能首先就想到把自己电脑当做服务器 ...
随机推荐
- node 模块正确暴露方法
一个node模块,为了能够服用,就需要将其暴露,那么如何正确写呢?(参考:https://developer.mozilla.org/zh-CN/docs/Learn/Server-side/Expr ...
- 【Python3爬虫】破解时光网登录加密参数并实现模拟登录
一.站点分析 MTime 时光网是一个电影媒体与电商服务平台,而这次做的模拟登录则是依靠其手机端站点,站点地址为:https://m.mtime.cn/#.切换到登录页面,再分别输入账号和错误的密码, ...
- 为什么是link-visited-hover-active原理这样的特殊
前言 通常我们在设置链接的一些伪类(link,visited,hover,active)样式时,要让不同的状态显示正确的样式,我们需要按一定的顺序设置这些伪类的样式.这里我就按css2规范中推荐的顺序 ...
- 理解并使用CSS3中的单位rem vh vw vmin vmax
rem vh vw vmin vmax做为CSS3中的新单位,其实都出来挺久的了,这篇文章将总结并理解下它们. rem 如果你给body设置了font-size字体大小,那么body的任何子元素的1e ...
- day79 组件化开发
目录 一.组件[component] 默认组件 二. Vue自动化工具(Vue-cli) 1 安装node.js 2 npm 3 安装Vue-cli 4 使用Vue-CLI初始化创建前端项目 4.1 ...
- Python and or not 优先级
not > and >or 1 or 5 and 4: -> 1 or 4-> 1 (1 or 5) and 4: ->1 and 4 ->4 x or y . x ...
- JVM 专题十七:垃圾回收(一)简述
1. 什么是垃圾 1.1 C++与Java 1.2 概述 垃圾收集,不是Java语言的伴生产物.早在1960年,第一门开始使用内存动态分配和垃圾收集技术的Lisp语言诞生. 关于垃圾收集有三个经典问题 ...
- java 基本语法(十六)Lambda (三)函数式接口
方法引用1.理解:方法引用可以看做是Lambda表达式深层次的表达.换句话说,方法引用就是Lambda表达式,也就是函数式接口的一个实例,通过方法的名字来指向一个方法. 2.使用情境:当要传递给Lam ...
- 爬虫05 /js加密/js逆向、常用抓包工具、移动端数据爬取
爬虫05 /js加密/js逆向.常用抓包工具.移动端数据爬取 目录 爬虫05 /js加密/js逆向.常用抓包工具.移动端数据爬取 1. js加密.js逆向:案例1 2. js加密.js逆向:案例2 3 ...
- 数据可视化之分析篇(一)使用Power BI进行动态帕累托分析
https://zhuanlan.zhihu.com/p/57763423 通过简单的点击交互,就能进行动态分析发现见解,才是我们需要的,恰好这也是 PowerBI 所擅长的. 就帕累托分析来说,能从 ...