可以通过wget 或curl 指定代理ip来访问同一个链接的不同cdn响应页面.来测试不同cdn间的数据同步问题.…

公司使用多家cdn,测试cdn在各个地方的响应情况,以便于提高视频访问的用户体验.分别在阿里云华南1,华东1,华东2,华北2等不同地区节点测试.该随笔为自己所用.   1.该脚本会测试某一cdn的url,如果302,继续测试,如果是503,则测试cdn源站是否也为503,并记http_code,录测试时间以及测试的url等信息. #!/bin/bash #set -e start_time=$(date +%s) today=$(date +%F) mkdir -pv /cdn/logs &>…

httplib模块是一个专门用于http的模块,urllib和urllib2也都是基于对它进行了更上层次的封装 我记得刚开始的时候,公司用的cdn有段时间抽风,全球40多个节点总是有那么几个节点不同步,导致玩家加载的是老的活动图片,玩家在论坛抱怨,国外的玩家抱怨,那可不像国内的(客服MM万篇一律:您的情况我已经收到,已经在处理了请稍后).国外的要是不立马赶紧马上处理好,玩家会直接撤款,搞不好还告你..论坛一旦接到这样的情况马上就得打电话给我们,管尼码半夜几点.(运维的悲哀)刚开始时候只能写hos…

1. wget –debug wget可以使用debug信息来查看信息头,如下: [root@localhost ~]# wget --debug http://192.168.1.101:8080/UFE/service/test DEBUG output created by Wget 1.12 on linux-gnu. ---- ::-- http://192.168.1.101:8080/UFE/service/test 正在连接 ... 已连接. Created socket . R…

     安装Connector/Python: # wget http://cdn.mysql.com/Downloads/Connector-Python/mysql-connector-python-1.0.11.zip # unzip mysql-connector-python-1.0.11.zip # cd mysql-connector-python-1.0.11 # python setup.py install      测试Connector/Python是否装上: >>&…

外界流传的JAVA/PHP服务器端获取客户端IP都是这么取的: 伪代码: 1)ip = request.getHeader("X-FORWARDED-FOR")     可伪造,参考附录A 2)如果该值为空或数组长度为0或等于"unknown",那么: ip = request.getHeader("Proxy-Client-IP") 3)如果该值为空或数组长度为0或等于"unknown",那么: ip = request.g…

CDN,内容分发网络,主要功能是在不同的地点缓存内容,通过负载均衡技术,将用户的请求定向到最合适的缓存服务器上去获取内容,从而加快文件加载速度. 阿里云提供了按量计费的CDN,开启十分方便,于是我在自己的ECS(服务器)也上面开启相关服务,特此记录一下: 1) 新建资源域名 CDN服务器会通过多种方式获取资源: 域名/IP/OSS等.而资源域名就是一个用于为CDN服务器提供资源的域名,可以通过在主机上新建一个子域名,例如 image.foo.com来作为资源域名,我用的是 apache, 可以通…

CDN设置回源host的意义 如果CDN后端用户的的源站web服务上没有绑定加速域名,只绑定了其他域名,未限制域名访问(比如通过服务器IP可以访问到默认网站),可以在CDN控制台填写回源host,这样web服务器上可以在未绑定加速域名的情况下使用CDN服务. 案例说明如下: 假设服务器上只绑定了test.abc.com,并没有绑定cdn.abc.com,需要在回源host中填写test.abc.com即可访问. 可以做以下三步测试验证: 1).直接curl访问服务器127.0.0.1未返回服务器…

从2017年起,苹果ios以及微信小程序都陆续要求请求连接request地址是使用HTTPS协议的.所以在项目开发阶段就要考虑解决https的问题,同时这也是为项目实际安全所考虑.最近我也是在折腾项目的https认证,学习到了很多,就写一下实际操作中遇到的问题和要注意的一些地方. 名词解释 https:http超文本传输协议是使用明文传输的,而https则为http+TLS/SSL,是具有一定安全性的加密传输协议.http使用80端口,而https使用443端口. SSL:安全套接字层,位于TC…

背景 把静态网站或文件托管在对象存储上,有很多可能很多好处,比如说:可以节省成本,因为相对虚机更便宜:性能更优,因为可以依赖于对象存储本身的高吞吐以及 CDN 的:更好的高可用性,因为也可以依赖于对象存储本身的高可用系数:也常见用于动静分离来提高 Web 性能. 可能有不少人已经知道在 AWS S3 或 Aliyun OSS 上来托管静态网站,今天介绍一下如何在 Azure 上如何操作.因为涉及到 CDN 域名备案问题,所以选用 Azure Public 作为演示环境 具体实现步骤 完成静态网站…

#! /bin/bash #Author=Harry CheckUrl() { #<==定义函数,名字为CheckUrl timeout=5 #<==定义wget访问的超时时间,超时就退出 fails=0 #<==初始化访问网站失败的次数记录变量,若失败达到两次,就发邮件报警 success=0 #<==初始化访问网站成功的次数记录变量,若为1,则表示成功,退出脚本 while true do wget --timeout=$timeout --tries=://192.168.1…

Windows安装使用wget 0x01 什么是wget 你肯定知道,否则就不会安装了 0x02 下载wget 下载地址:https://eternallybored.org/misc/wget/ 在里面选择一个版本,下载exe版本的(其实zip版本的只是多了一些协议什么的,解压后可执行程序和exe的完全一样) 0x03 配置环境变量 把你下载的 weget.exe 丢进一个文件夹,然后给这个文件夹添加环境变量 注:你应该会配置环境变量,否则就不会用什么命令行工具了 0x04 使用 简单使用 打…

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集…

1.方案简介 本方案采用Heartbeat双机热备软件来保证数据库的高稳定性和连续性,数据的一致性由DRBD这个工具来保证.默认情况下只有一台mysql在工作,当主mysql服务器出现问题后,系统将自动切换到备机上继续提供服务,当主数据库修复完毕,又将服务切回继续由主mysql提供服务. 2.方案优缺点 优点:安全性高.稳定性高.可用性高,出现故障自动切换. 缺点:只有一台服务器提供服务,成本相对较高,不方便扩展,可能会发生脑裂. 3.软件介绍 Heartbeat介绍 官方站点:http://l…

各节点架构 (说明:生产环境有两个节点可以组成一套完整集群,我是测试环境,因此对于manager以及atlas和binlog server都是单点,如果生产环境,相应的将manager以及atlas和binlog server每个节点都部署即可) 10.80.8.89 mysql-master manager,node atlas 10.80.8.90 mysql-slave node binlog server 安装步骤 10.80.8.89操作命令 1.#增加mha用户 useradd mh…

Nginx快速入门-菜鸟笔记   1.编译安装nginx 编译安装nginx 必须先安装pcre库. (1)uname -a 确定环境 Linux localhost.localdomain 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux (2)yum install -y pcre pcre-devel -y 必须安装pcre库(实现nginx rewrite模块功…

背景: CentOS 6.4下通过yum安装的MySQL是5.1版的,比较老,所以就想通过源代码安装高版本的5.6.22. 正文: 一:卸载旧版本 使用下面的命令检查是否安装有MySQL Server rpm -qa | grep mysql 有的话通过下面的命令来卸载掉 rpm -e mysql   //普通删除模式 rpm -e --nodeps mysql    // 强力删除模式,如果使用上面命令删除时,提示有依赖的其它文件,则用该命令可以对其进行强力删除. 二:安装MySQL 安装编译…

Devise源于Warden,而warden是一个基于Rack的验证权限gem,不过,使用devise实际并不需要任何关于warden的知识. 如果你之前有一些其他类似的维护验证权限功能的gem的使用经验的话,你会发现Devise的和他们的不同之处在于,提供了从页面到model的实现.相比而言,例如Authlogic就只实现了与model层的实现,这时你就要自己去处理view层实现.而Devise是基于Rails 引擎开发的所以就可以同时提供controllers和view的实现.从功能角度来看…

这俩天一直在搞mysql数据库和centos.昨天成功的部署完mysql的主从库配置后,自己想了想是否需要个数据库监控,和执行情况的监控软件,于是就去百度上搜了一下,结果就搜到了今天的‘主角’ Lepus. 说一下基本环境: 虚拟机是:VM(12 Pro) 系统:CentOS 6.5 注:虚拟机和系统的安装请自行百度. 给几个传送门把: 天兔(Lepus):http://www.lepus.cc/soft/index 文档地址:http://www.lepus.cc/manual/index 下…

内核,是一个操作系统的核心.它负责管理系统的进程.内存.设备驱动程序.文件和网络系统,决定着系统的性能和稳定性.Linux作为一个自由软件,在广大爱好者的支持下,内核版本不断更新.新的内核修订了旧内核的bug,并增加了许多新的特性.如果用户想要使用这些新特性,或想根据自己的系统度身定制一个更高效,更稳定的内核,就需要重新编译内核. 本文将以kernel 4.7.2版本为实验,操作平台为RedHat 7.2,将通过以下三个方面来说明内核及模块的编译. 源码编译Linux内核 使用Linux内核模块…

一.netmap简介: 1.netmap是一个高性能收发原始数据包的框架,由Luigi Rizzo等人开发完成,其包含了内核模块以及用户态库函数.其目标是,不修改现有操作系统软件以及不需要特殊硬件支持,实现用户态和网卡之间数据包的高性能传递.(照搬的!) 2.netmap通过自带的网卡驱动直接接管网卡,运行时申请一块固定的内存池,用于接受网卡上到来的数据包以及需要发送给网卡的数据包. 3.netmap目前只支持几种网卡的驱动,官网上介绍的是Intel ixgbe (10G),ixl (10/40…

MySQL配置读写分离 192.168.23.131与192.168.23.132两台服务器,131是主,132是从,131是读写,132是只读.myql-proxy的IP是192.168.23.130 下面开整 先安装lua Lua 是一个小巧的脚本语言.Lua由标准C编写而成,代码简洁优美,几乎在所有操作系统和平台上都可以编译,运行.一个完整的Lua解释器不过200k,在目前所有脚本引擎中,Lua的速度是最快的.这一切都决定了Lua是作为嵌入式脚本的最佳选择. 先安装可能的依赖包 [root…

导读 MySQL 5.7 版本的发布,也就是说从现在开始5.7已经可以在生产环境中使用,有任何问题官方都将立刻修复. MySQL 5.7主要特性: 原生支持Systemd 更好的性能:对于多核CPU.固态硬盘.锁有着更好的优化 更好的InnoDB存储引擎 更为健壮的复制功能:复制带来了数据完全不丢失的方案,传统金融客户也可以选择使用MySQL数据库.此外,GTID在线平滑升级也变得可能 更好的优化器:优化器代码重构的意义将在这个版本及以后的版本中带来巨大的改进,Oracle官方正在解决MySQL…

文章作者:luxianghao 文章来源:http://www.cnblogs.com/luxianghao/p/6239518.html  转载请注明,谢谢合作. 免责声明:文章内容仅代表个人观点,如有不当,欢迎指正. --- 事情起因 某日,突然之前ok的访问不ok了,具体情况如下 [root@host tmp]# wget https://cdn.example.com/monitor/test.txt    --2016-12-22 12:57:34--  https://cdn.exa…

1.检查是否有安装 安装之前应该先查询系统是否自在了mysql的软件包 rpm -qa|grep -i mysql 如果有的话需要先删除 rpm -e 软件名 --nodeps 2.下载安装包 cd/usr/local/src wgethttp://cdn.mysql.com/Downloads/MySQL-5.6/MySQL-server-5.6.13-1.el6.x86_64.rpm wget http://cdn.mysql.com/Downloads/MySQL-5.6/MySQL-cl…

搭建目标如下: 图:系统架构图 这个系统可以提供web服务及其它查询应用服务,我用其做一个二手房信息搜集.处理及分发的系统,可以通过浏览器访问,也可以通过定制的客户端进行访问. 一.安装篇 1.下载安装python # wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz # # tar xvfz Python-2.7.3.tgz # cd Python-2.7.3 #./configure # make # sudo make…

以虚拟机VirtualBox 版本是4.1.20(内存设置为512M,centos安装是文本模式下安装),全新以最小化包安装了32位的 CentOS6.3系统,作为本地web环境,上次讲了在windows下安装Apache2.4.3+PHP5.4.8+Mysql5.5.8,这次就说说linux(centos)下编译安装的过程(全命令模式下完成). 以下分为几部分来说: 第一部分:准备工作. 1.全新centos6.3(以下简称centos)最基本的设置略过(比如用户.网络设置等等). 2.这里可…

Zabbix简介 Zabbix 近几年得到了各大互联网公司的认可,当然第一点归功与它强大的监控功能,第二点免费开源也得到了广大用户的青睐.Zabbix 能将操作系统中的绝大部分指标进行监控,比如(CPU 负荷,内存使用,网络状况,端口监视,日志监视等等等等指标!).监控指标的广度是一方面,它强大的功能特点也省去了很多的配置操作. Zabbix 功能特点: 自动发现服务器和网络设备 分布式监控网络,集中式管理(agent .server 分开) 监控指标模版丰富 可灵活地分配用户权限 系统各个指标…

MySQL-Proxy是一个处于你的client端和MySQL server端之间的简单程序,它可以监测.分析或改变它们的通信.它使用灵活,没有限制,常见的用途包括:负载平衡,故障.查询分析,查询过滤和修改等等. MySQL-Proxy就是这么一个中间层代理,简单的说,MySQL-Proxy就是一个连接池,负责将前台应用的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,从而实现读写分离和负载平衡.对于应用来说,MySQL-Proxy是完全透明的,应用则只需要连接…

本文的英文版本链接是 http://www.mrxuri.com/index.php/2013/11/20/install-mysql-cluster-on-ubuntu-12-04-lts.html MySQL Cluster 是 MySQL 适合于分布式计算环境的高实用.高冗余版本.它采用了 NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器.通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求.此外,由于每个组件有自己的内存和磁盘,不存在…