配置spiderkeeper管理scrapy爬虫 1.安装所需文件包pip install spiderkeeper pip install scrapyd pip install scrapy_client 2.切换到scrapy文件目录下打包文件(生蛋). 3.开启scrapyd服务,开启spiderkeeper服务. 4.进入127.0.0.1:5000 输入默认账号密码admin登录 5.上传文件 6.创建项目执行程序…

Keepalived 是一款轻量级HA集群应用,它的设计初衷是为了做LVS集群的HA,即探测LVS健康情况,从而进行主备切换,不仅如此,还能够探测LVS代理的后端主机的健康状况,动态修改LVS转发规则. 当LVS进行主备切换的时候,对外提供服务的IP是如何做到切换的呢?这就依赖于keepalived 所应用的vrrp协议,即Virtual Reduntant  Routing Protocol,虚拟冗余路由协议.简单来讲,此协议是将IP设置在虚拟接口之上,根据一定的规则实现IP在物理主机上流动,…

下面简单介绍一下如何在Ubuntu上一步一步创建一个SQL Server AG(Always On Availability Group),以及配置过程中遇到的坑的填充方法. 目前在Linux上可以搭建两种类型的SQL Server AG,一种是高可用性的结构同时使用Cluster服务器提供业务连续性.这种结构包括read-scale节点.接下来就会介绍这种AG的搭建方法.另外一种是没有Cluster服务的read-scale AG,这种结构仅仅提供只读的可扩展性,不提供高可用性功能.关于如何创…

下面简单介绍一下如何在Red Hat Enterprise Linux上一步一步创建一个SQL Server AG(Always On Availability Group),以及配置过程中遇到的坑的填充方法. 之前发表过一篇类似的文章是Configure Always On Availability Group for SQL Server on Ubuntu——Ubuntu上配置SQL Server Always On Availability Group,有对Ubuntu感兴趣的请看那一篇…

参考文章: ASP.NET MVC4通过UrlRewriter配置伪静态 http://blog.csdn.net/just_shunjian/article/details/51132866 .NET4.0下网站应用程序用UrlRewriter.dll重写无后缀路径 (在IIS7.5中的配置方法) http://www.cnblogs.com/zhongweiv/archive/2011/10/29/UrlRewriter_IIS.html ASP.NET MVC4通过UrlRewriter配…

ssh登录原理参考: https://www.cnblogs.com/hukey/p/6248468.html ssh登录有两种方式: 1):用户名密码登录 2):基于秘钥的登录 ssh免密登录指的就是第二种---基于秘钥的登录 登录流程: (1) 首先在客户端生成一对密钥(ssh-keygen): (2) 并将客户端的公钥ssh-copy-id 拷贝到服务端: (3) 当客户端再次发送一个连接请求,包括ip.用户名: (4) 服务端得到客户端的请求后,会到authorized_keys中查找,…

下面简单介绍一下如何在Ubuntu上一步一步创建一个SQL Server AG(Always On Availability Group),以及配置过程中遇到的坑的填充方法. 目前在Linux上可以搭建两种类型的SQL Server AG,一种是高可用性的结构同时使用Cluster服务器提供业务连续性.这种结构包括read-scale节点.接下来就会介绍这种AG的搭建方法.另外一种是没有Cluster服务的read-scale AG,这种结构仅仅提供只读的可扩展性,不提供高可用性功能.关于如何创…

完整版见https://jadyer.github.io/2014/09/29/centos-install-mysql/ /** * CentOS-6.4-minimal版中源代码安装MySQL-5.5.38 * ---------------------------------------------------------------------------------------------------------------------- * 三种安装方式 * 1)源代码安装 * 2)…

尊重原创,转发请声名 inside OPCSERVER 一台 outside OPCCLIENT 一台 route模式 配置没成功,放弃,采用透明模式 !----进入全局配置-- configure terminal !--删除原来的配置信息-- clear configure all !--ASA名称--时区-- hostname ciscoasa clock timezone CST 8 !--查看当前防火墙工作模式 show firewall !--配置ASA为透明模式 firewall…

38.1.什么是tftp: TFTP(Trivial File Transfer Protocol,简单文件传输协议)是TCP/IP协议族中的一个用来在客户机与服务器之间进行简单文 件传输的协议,提供不复杂.开销不大的文件传输服务.端口号为69. TFTP是一个传输文件的简单协议,它基于UDP协议而实现,但是我们也不能确定有些TFTP协议是基于其它传输协议完成的. 此协议设计的时候是进行小文件传输的.因此它不具备通常的FTP的许多功能,它只能从文件服务器上获得或写入文件,不能列 出目录,不进行认…

原文链接:http://blog.snsgou.com/post-816.html 1.下载XHProf 到这里 http://dev.freshsite.pl/php-extensions/xhprof.html 下载Windows版本的XHProf,我这里选择下载 XHProf 0.10.3 for PHP 5.3 vc9 和 xhprof_html 2.安装XHProf 把压缩包里的 xhprof_0.10.3_php53_vc9.dll 拷贝到PHP的ext目录下,然后在php.ini配…

1.下载XHProf 到这里 http://dev.freshsite.pl/php-extensions/xhprof.html 下载Windows版本的XHProf,我这里选择下载 XHProf 0.10.3 for PHP 5.3 vc9 和 xhprof_html 2.安装XHProf 把压缩包里的 xhprof_0.10.3_php53_vc9.dll 拷贝到PHP的ext目录下,然后在php.ini配置里面加入配置(不要忘记创建对应的文件夹) [xhprof] extension=x…

MAC升级到最新系统后 本地测试的站点不能正常运行,其原因是mac系统升级后 他的apache的版本也随之升级了版本 Server version: Apache/2.4.9 (Unix) Server built:   Sep  9 2014 14:48:20 升级前的版本为 10.9 Server version: Apache/2.2.26 (Unix) Server built:   Dec 10 2013 22:09:38 基本上之前配置的block都被覆盖了所以导致站点不能正常工作解…

转眼微软的WCF已走过十个年头,它是微软通信框架的集大成者,将之前微软所有的通信框架进行了整合,提供了统一的应用方式.记得从自己最开始做MFC时,就使用过Named Pipe命名管道,之后做Winform时,使用过Remoting,再之后做B/S架构时,就会经常使用.NET平台下的Web Service,直到使用上WCF.看上去有了一些WCF的使用经验,实则不然,比如对安全.分布式事务.可靠会话等主题仍然接触甚少,因而决定重新回顾学习一下相关知识,尤其是对WCF框架的理解(已于2015年开源,可…

1设置虚拟机选项 2 设置文件夹共享 3启动文件夹共享向导 4 设置共享文件夹 5 启用共享 6 关闭虚拟机设置 7 开启虚拟机 8 登陆帐户 9 看见虚拟机桌面 10 安装vmwaretools 11 看见文件夹 12 用归档管理器打开这个文件 13 解压缩 14 创建文件夹作为解压缩路径 15 解压缩进行中 16 解压缩完成 17 打开终端 18 进入超级权限 19 打开vmware-install.pl,一路回车,一路yes 20 安装进行中 21 这里输入no 22 vmware too…

[Info   @09:03:33.737] ====================================================================[Info   @09:03:33.743] Team Foundation Server Administration Log[Info   @09:03:33.748] Version  : 11.0.61030.0[Info   @09:03:33.748] DateTime : 05/24/2014 17:0…

详见:http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt403 1.  背景 我们一般应用对数据库而言都是"读多写少",也就说对数据库读取数据的压力比较大,有一个思路就是说采用数据库集群的方案, 其中一个是主库,负责写入数据,我们称之为:写库: 其它都是从库,负责读取数据,我们称之为:读库: 那么,对我们的要求是: 1.读库和写库的数据一致: 2.写数据必须写到写库: 3.读数据必须到读库: 2.  方案 解决读写分离的…

源码安装 本次使用 Centos7.2 MySQL5.7.22 Apache2.4.37 PHP5.6.38 安装Apache 安装httpd和所需依赖:gcc, apr, apr-util,apr-iconv, pcre # 建立目录 cd /;mkdir -p lamp/package cd /lamp/package # # 获取安装包 # 获取apr wget http://mirror.bit.edu.cn/apache/apr/apr-1.6.5.tar.gz # 获取apr wge…

1.在官网下载php安装源文件.版本选择5的最新稳定版. [root@trial download]# wget http://cn.php.net/distributions/php-5.5.38.tar.gz 2.下载下来的是一个mirror文件,重命名为php-5.5.38.tar.gz,并解压到源文件目录 [root@trial download]# tar -zxvf php-5.5.38.tar.gz -C /usr/local/src/ [root@trial download]#…

下面简单介绍两种部署的方式,第一种也是我们最常用的crontab定时任务+日志,第二种则是scrapyd部署. 遇到的第一个问题,就是如何将编写好的spider启动: 最简单的方式: 1.在spiders同目录下新建一个run.py文件,内容如下(列表里面最后可以加上参数,如--nolog) 2.下面命令只限于,快速调试的作用或一个项目下单个spider的爬行任务. 1 2 3 from scrapy.cmdline import execute   execute(['scrapy','cra…

elastic 5.2集群安装笔记   设计架构如下: nginx_json_log ->filebeat ->logstash ->elasticsearch ->kibana 系统版本Centos7.2 nginx格式为json,如何定义为json请自行百度. kibana展示如下     wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.2.0-x86_64.rpm wget https…

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN" "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd"> <…

原文链接:Spring Cloud I.云原生应用 Spring Cloud上下文:应用上下文服务 2.1.Bootstrap应用程序上下文 2.2.应用程序上下文层次结构 2.3.更改Bootstrap属性的位置 2.4.覆盖远程属性的值 2.5.自定义Bootstrap配置 2.6.自定义Bootstrap属性源 2.7.记录配置 2.8.环境变化 2.9.刷新范围 2.10.加密和解密 2.11.端点 Spring Cloud Commons:Common Abstractions 3.1…

K8s集群安装--最新版 Kubernetes 1.14.1 前言 网上有很多关于k8s安装的文章,但是我参照一些文章安装时碰到了不少坑.今天终于安装好了,故将一些关键点写下来与大家共享. 我安装是基于ss客户端的,鉴于ss有些敏感,故不做说明. 环境说明 Centos cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) Docker ss客户端+privoxy hostname ip 环境说明 k8master 192.16…

2018年5月8日 22:09:38 第一步配置基础环境(按照自己的规划配置并非每人的环境都一致) 第一台服务器(RSYNC服务器): rsync外网地址:10.0.0.41  rsync内网地址:172.16.1.41,网段配置为172.16.1.0 配置好双网卡,虚拟机第二块网卡配置为 LAN区段 第二台服务器(NFS服务器): rsync外网地址:10.0.0.31  rsync内网地址:172.16.1.31,网段配置为172.16.1.0 配置好双网卡,虚拟机第二块网卡配置为 LAN区…

目录 授权 致谢 序言 更新纪录 导读 如何写作科技文档 I. 气候 1. GUI? CLI? 2. UNIX 缩写风格 3. 版本号的迷雾 4.   Vim 还是 Emacs 5.   DocBook 还是 TeX 6. 完全用 Gnu/Linux 工作 7. 病毒 8. 磁盘 分区 9. 文件系统 10.   发行版介绍 11.   编程语言 12. 无根的根:无名师的 Unix 心传 II. 地理 13. 基础知识 14. 命令系统 15. 基本系统 16. 软件管理 17. 核心工具集…

1.数据库 2.整体空架构(jar包) 3.工程依赖 24节点 build节点 <properties> </project.build.sourceEncoding> <!--spring对应的版本号--> .RELEASE</spring.version> </properties> <!--引入需要的spring 核心jar--> <dependencies> <!-- https://mvnrepositor…

原文地址:(四)帧缓冲驱动程序分析及其在BSP上的添加 作者:gfvvz 一.BSP修改及其分析   1. BSP中直接配置的四个寄存器 S3C6410数据手册的第14.5部分是显示控制器的编程模型部分,图1是开始部分截图.如第一行所说,这些寄存器是配置显示控制器用的.所以,所有的寄存器设置都围绕这些寄存器进行.       其中前面四个寄存器SPCON.MOFPCON.VIDCON0与VIDCON0,直接在BSP中进行配置. 图 1   A. SPCON和MOFPCON寄存器:如下代码中,配置…

下面简单介绍一下如何在Ubuntu上一步一步创建一个SQL Server AG(Always On Availability Group),以及配置过程中遇到的坑的填充方法. 目前在Linux上可以搭建两种类型的SQL Server AG,一种是高可用性的结构同时使用Cluster服务器提供业务连续性.这种结构包括read-scale节点.接下来就会介绍这种AG的搭建方法.另外一种是没有Cluster服务的read-scale AG,这种结构仅仅提供只读的可扩展性,不提供高可用性功能.关于如何创…

小的网站结构 说明:如果部署在云上,比如阿里云上,不需要自己部署keepalived,直接买阿里云的slb即可,slb然后分发流量到两台haproxy机器 一.先部署两个web服务器 编译安装nginx(脚本很粗糙) [root@007-web2 ~]# cat nginx.sh yum install -y vim lrzsz tree screen psmisc lsof tcpdump wget ntpdate gcc gcc-c++ glibc glibc-devel pcre pcre…