FastDFS问题排查记录现象今天有人反馈,客户端部分图标时而不能显示问题定位用jemter将图片地址进行简单测试后,发现偶尔有404 NOT FOUND的情况在服务器上对八台nginx分别进行测试,发现144确实返回404查看144 nginx的error日志,发现大量报错[2016-08-22 15:51:25] ERROR - file: ../fastdfs-nginx-module/src//common.c, line: 870, file: /data/storage/data/

优化: PG Number PG和PGP数量一定要根据OSD的数量进行调整,计算公式如下,但是最后算出的结果一定要接近或者等于一个2的指数.调整PGP不会引起PG内的对象的分裂,但是会引起PG的分布的变动三.总结PG是指定存储池存储对象的目录有多少个,PGP是存储池PG的OSD分布组合个数PG的增加会引起PG内的数据进行分裂,分裂到相同的OSD上新生成的PG当中PGP的增加会引起部分PG的分布进行变化,但是不会引起PG内对象的变动 Total PGs = (Total_number_of_OSD

SQLSERVER数据库主要状态和切换路径 关键词:数据库状态 一个SQLSERVER数据库会处于很多种状态,例如 ONLINE .RESTORING .RECOVERING .RECOVERY_PENDING  .SUSPECT.EMERGENCY .OFFLINE等等. 只有在ONLINE的状态下,数据库才能被正常访问. 下图主要反映了数据库的主要状态之间的切换路径 下面说一下这些状态:  RECOVERING: SQLSERVER正做数据库修改的时候,是先写日志,然后再修改内存中的数据页.

为了提高服务能力或者服务稳定,往往需要把数据重复布署,也就是replication.重复带来的问题是,更新的时候会带来不一致.一种比较简单的方法是,在N台重复的机器里选一台作为主机,其他作备份,只能通过主机更新,主机更新完所有备机后,才向上层应用返回成功.如果主机故障,则从备机中挑一台作为新的主机,这需要用到选举算法. 这里存在几个问题,一是主机崩溃前的最后一个操作进行到哪了,二是网络分隔的时候,会选出多台主机,三是有的备机曾经发生过故障,上面的数据不是最新的,不能作为主机. viewstamp

Microsoft SQL Server 数据库创建,查看,使用,修改及删除 创建数据库 创建普通数据库 USE [master] GO CREATE DATABASE [MyDataBase] --数据文件 ON PRIMARY ( NAME = N'MyData', FILENAME = N'D:\DataBase\MyData.mdf' , SIZE = 4160KB , MAXSIZE = UNLIMITED, FILEGROWTH = 1024KB ) --日志文件 LOG ON (

环境:RHEL 6.4 + Oracle 11.2.0.4 背景:备份恢复的测试库在一次不完全恢复后,没有来及做有效的全备,又一次数据库故障导致数据库无法正常open. 只能离线部分数据文件打开数据库,其中包含undo表空间数据文件. 适用场景:无有效备份,可以丢失数据,删除回滚段状态为NEEDS RECOVERY的undo表空间. 一.数据库当前情况 1.1 故障现象 1.2 查看数据文件的状态 1.3 尝试online数据文件失败 二.删除损坏数据文件所在表空间 2.1 普通数据文件4所在的

虽说这个算是正常现象,等的时间也太久了吧.分钟级了.这个RECOVERY里面的WAL有点多余.有这么久的时间,早从新读取kafka写入hdfs了.纯属个人见解. @SuppressWarnings("fallthrough") public boolean recover() { try { switch (state) { case RECOVERY_STARTED: log.info("Started recovery for topic partition {}&quo

FastDFS 常见问题 Q:/fdfs_trackerd: error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file or directory A:export LD_LIBRARY_PATH=/usr/loal/lib(libevent的安装路径,可以通过find来查找) Q:Command 'ifconfig' is available in '

之前的文章,现在放出来,以供参阅. 一.fastdfs简介 FastDFS是一个轻量级的开源分布式文件系统 FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡 FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 支持存储服务器在线扩容 支持相同内容的文件只保存一份,节约磁盘空间 FastDFS只能通过Client API访问,不支持POSIX访问方式 FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片.文档.音频.视频等等)

网站文件系统发展 1.单机时代的图片服务器架构 初创时期由于时间紧迫,开发人员水平也很有限等原因.所以通常就直接在website文件所在的目录下,建立1个upload子目录,用于保存用户上传的图片文件.如果按业务再细分,可以在upload目录下再建立不同的子目录来区分.例如:upload\QA,upload\Face等 优点:实现起来最简单,无需任何复杂技术,就能成功将用户上传的文件写入指定目录.保存数据库记录和访问起来倒是也很方便. 缺点:上传方式混乱,严重不利于网站的扩展. 2.单独立文件服

一,RECOVERY PENDING状态 今天修改了SQL Server的Service Account的密码,然后重启SQL Server的Service,发现有db处于Recovery Pending状态. Recovery Pending状态是指:数据库在还原(recovery)时遇到跟资源相关的错误,虽然数据库没有损坏,但是文件可能丢失,或者系统资源的限制,导致该数据库不能开始还原进程.数据库处于Recovery Pending 状态,表明还原进程被挂起,数据库不能开始数据库的数据和日志

背景:这里提到的常规恢复指的是数据库有完备可用的RMAN物理备份. 实验环境:RHEL6.4 + Oracle 11.2.0.4 DG primary. 一.常规恢复之完全恢复:不丢失数据 1.1 单个数据文件丢失或损坏 1.2 所有数据文件丢失或损坏 1.3 参数文件丢失或损坏 1.4 参数文件,数据文件丢失或损坏 1.5 临时文件丢失或损坏 一.常规恢复之完全恢复:不丢失数据 Oracle 数据库常规恢复的几个概念: 常规恢复之完全恢复:不丢失数据. 比如数据文件丢失,临时文件丢失,参数文件

前言: 以前的项目上传的文件都是保存到本地或者是局域网内的共享文件夹下,由于数据量,服务器的负载均衡(分机的某些图片无法访问的问题处理)等因素的情况下,就想到用fastdfs来文件管理,花了几天时间硬着头皮去学习怎样安装配置,由于linux基础不好,安装配置起来感觉有点费力,不得不随时去查找一些资料,好在经过这几天的努力安装配置fastdfs最终还是搞定了,最终的付出并没有白费,以下是个人的见解,如有误差,请多多指导.不了解fastdfs的童鞋可以先去了解下,请看http://tech.uc.c

先上部署图 提示一下, ip 192.168.72.138 上面部署了两个group, 分别为 group1和g2. 另外, 同组之内的 port 要保持一致. 一.安装准备 1. #每台机器都添加两个用户 fastdfs 和 nginx useradd fastdfs -M -s /sbin/nologin & useradd nginx -M -s /sbin/nologin 2. #为了方便测试 请关闭防火墙 service iptables stop && chkconfi

下载fastdfs源码包: ? 1 wget http://fastdfs.googlecode.com/files/FastDFS_v3.05.tar.gz 开始安装: ? 1 2 3 4 tar zxvf FastDFS_v3.05.tar.gz cd FastDFS/ ./make.sh ./make.sh install 安装完成后,fastdfs默认的配置文件被放置在/etc/fdfs 目录下面,包含了client.conf  http.conf  mime.types  storag

  介绍文档   1.安装 # wget # tar xf download # cd FastDFS/ # ./make.sh 运行文件 有报错信息 compilation terminated. make: *** [../common/fdfs_global.o] Error 1 2.查看官方文档,需要安装libfastcommon #  wget https://github.com/happyfish100/libfastcommon/archive/master.zip # unzi

http://blog.csdn.net/luoshengyang/article/details/29688041 在回答第一个问题之前,我们先来看看Android设备从硬件到系统的结构,如图1所示: 图1 Android系统架构 最底层的是各种硬件设备,往上一层是Bootloader.Bootloader是什么概念呢?我们都知道,PC主板上有一小段程序叫做BIOS,主板加电时它是第一个跑起来的程序,负责初始化硬件,以及将OS启动起来.在嵌入式世界里(手机也是属于嵌入式设备),也有一小段类似B

1.错误描述:今天在起归档的时候报一下错误: SQL> alter database archivelog; alter database archivelog * ERROR at line : ORA: instance recovery required, cannot set ARCHIVELOG mode 2.从错误上看到是由于三大文件(datafile,controlfile,logfile)的scn不一致导致,造成scn不一致的原因是我们用了shutdown abort(shutd

回到目录 一些概念 在大叔框架里总觉得缺点什么,在最近的项目开发中,终于知道缺什么了,分布式文件存储组件,就是缺它,呵呵,对于分布式文件存储来说,业界比较公认的是FastDFS组件,它自己本身就是集群机制,有自己的路由选择和文件存储两个部分,我们通过FastDFS的客户端进行上传后,它会返回一个在FastDFS上存储的路径,这当然是IO路径,我们只要在服务器上开个Http服务器,就可以以Http的方法访问你的文件了. 我的组件实现方式 前端上传控件(表单方式,swf方式,js方法均可)将文件流传

VMware Data Recovery 是VMware虚拟机备份工具,可创建虚拟机备份,同时不会中断虚拟机的使用或虚拟机提供的数据和服务.Data Recovery 管理现有备份,并在这些备份过时后将其删除.它还支持删除重复以删除冗余数据. 1.1 系统需求 在安装 VMware Data Recovery 之前,请确保环境中的系统和存储可用. VMware Data Recovery 需要 vCenter Server 和 vSphere Client.Data Recovery 不能与类似