前言 由于项目数据安全的需要,这段时间看了下hadoop的distcp的命令使用,不断的纠结的问度娘,度娘告诉我的结果也让我很纠结,都是抄来抄去, 还好在牺牲大量的时间的基础上还终于搞出来了,顺便写这个随笔,记录下. 环境 目前我们是两套同版本的CDH集群,集群内的节点通信使用的私网,提供浮动ip对外通信,也就是说,两个集群间的私网是不互通的,只能通过浮动ip 进行通信. 操作 使用hadoop提供的distcp命令进行数据迁移 (数据源集群source和目标集群target版本相同) 迁移hd

从错误看起来是regionspilt时候断电了,导致hbase master启动不起来,因为是测试环境只能删除这些region了,掉一部分数据 删除hbase下spilt块,删除zK里面的habse spilt元信息 删除后 重启ZK 和habse(记得依赖顺序),启动完进入hbase正常

作者:Panda Fang 出处:http://www.cnblogs.com/lonkiss/p/rebuild-development-environment-with-virtualenv-and-pip.html 原创文章,转载请注明作者和出处,未经允许不可用于商业营利活动 Why 开发中遇到了问题 讲讲软件工程中写代码之外的知识.开发中我们往往遇到这些问题: 1.一个项目写了不少代码.使用一些第三方包或者模块,对于这个项目来说已经能很好的工作了, 但是后来这些包或模板有了新版,改动较大

修复迁移后Net Standard项目中的错误 接上一章,项目编译结果如下: 解决依赖dll引用 在Net Framework项目的引用如下: 各引用和作用: log4net(1.10.0.0) 用于写框架日志 Castle.DynamicProxy(1.1.5.1) 用于代理类生成 Micosoft.Practice.EnterpiseLibrary 微软企业库,用于管理数据链接和缓存的功能 System.Data.OracleClient 用于链接Oracle数据库 System.Data

迁移后的Net Standard版本的类库测试和多平台项目实测 按照第一步的方法,添加一个Net Core的MSTest项目,然后将原来的测试项目下的代码迁移到新测试 项目中,然后引用新的Beyondbit.Framework Core类库.然后运行单元测试项目和集成测试项目即可. 测试当中单元测试下项目没有问题,一遍就过了.但是在集成项目中遇到了一个挺严重的问题.App.Config的读取BUG. App.config 读取BUG 实测使用System.Configuration.Config

Saiku数据库迁移后的刷新脚本 之前有谈过对saiku中的数据进行刷新,因为saiku默认会从缓存中查询数据,但是配置不使用缓存又会效率低下... 所以这里就需要做一个数据刷新,每次ETL之后都需要执行一遍数据刷新脚本. 刷新脚本主要分为两部分 1.使用shell命令从数据库中读取已有的用户信息 (因为已经做过数据迁移,数据库已经从h2转为我们自己的mysql) saikuRefresh.sh #!/bin/bash #数据库连接信息 HOSTNAME="10.11.22.33" #

mongodb数据迁移到hbase 导入包 # encoding: utf-8 ''' @author: zcc @license: (C) Copyright 2013-2017, Node Supply Chain Manager Corporation Limited. @software: pycharm @file: ggsn_to_hbase.py @time: 9/1/17 2:43 PM @desc: ''' from thrift.transport import TSocke

前几天一台内网服务器从ubuntu迁移到了centos,检查一切正常后就没有太在意. 今天有同事反馈迁移后的机器上的服务一个缓存总是无法获取,对比了下环境.JVM参数,尝试了war包替换等方式照样复现. 在有问题的机器上装了redis-cli让同事去看也是可以获取到的,一时没有了头绪. 打算请教其他同事,让有问题的同事把查询等发我一下,然后就看到了... .... key设置为了中文,一下子头大了... ... 检查机器的locale都没什么问题: $ env |grep LANG LANG=e

Oracle数据迁移至HBase操作记录 @(HBase) 近期需要把Oracle数据库中的十几张表T级别的数据迁移至HBase中,过程中遇到了许多苦难和疑惑,在此记录一下希望能帮到一些有同样需求的兄弟. HBase表设计 首先,是根据Oracle的数据规划HBase的表和表结构. 从业务上看,十几张表大概可以分为两大部分: 交易信息 客户操作 刚开始的计划是将所有表都导入HBase中的一张大表,但是思索讨论之后发现是行不通的: 1.由于各个表之间的业务关系复杂,无法设定一个理想的Rowkey.

项目迁移 WordPress 后仅首页正常,其它页面全部 404.时隔一年,再度遇到这问题,总结和梳理一下. 1.想办法登录后台,刷新一次“设置”中的“固定链接”.比如换成默认后保存,再设回原先设置并保存,理论上就可以解决绝大多数人的问题了. 2.检查 Apache 的 rewrite mod 是否开启. LoadModule rewrite_module modules/mod_rewrite.so 3.检查 Apache 的对应目录 Allowoverride 是否设为 All.(这次就在这

之前在vps上,最近迁移到了php虚拟主机上,迁移后发现无法登陆后台出现403:Forbidden You don’t have permission to access /wp-login.php on this server 一番搜索之后发现貌似是与什么安全性有关系,可能因为是vps和现在的php服务器环境不一样. 添加.htaccess文件并写入以下内容就好了 <Files wp-login.php> Order Deny,Allow Deny from all Allow from a

mysql迁移后事件不执行 查看数据库是否开启事件支持 mysql> show variables like 'event_scheduler'; +-----------------+-------+ | Variable_name | Value | +-----------------+-------+ | event_scheduler | ON | +-----------------+-------+ 或 select @@event_scheduler; 开启事件支持 set gl

一.进行迁移的原因 由于业务的发展,使用mysql进行建立索引进行搜索已经造成数据流的瓶颈卡在了数据库io,例如每次dump全表的时候,会造成压力过大,造成耗时很长,并且当前的数据量基本上已经达到了亿级别的数据量,如果希望mysql能更好的提供服务,下一步必须考虑分库分表才可以:基于这种情况下,考虑使用hbase用来进行数据的存储,因为hbase所能承受的数据量远大于mysql,并且对列的扩展也很方便   二.关系型数据库与Nosql的一些区别 (1)存储方式的区别 在类似mysql,sqlse

公司有一个老系统,这个系统所用的数据库是SQL SERVER 2000,它所在的Dell服务器已经运行超过10年了,早已经过了保修服务期,最近几乎每周会出现一次故障,加之5月份另外一台服务器坏了两个硬盘,所以非常担心这台服务器“寿终正寝”,跟开发维护那边沟通,想将数据库迁移升级到SQL SERVER 2008,但是由于是老旧系统,现在的负责人不敢做数据库升级,最终协商下来,只能迁移到另外一台服务器,不做升级. 在部署测试环境时,先将master,msdb等系统数据库直接拷贝过去覆盖原系统数据库,

DB :  11.2.0.3.0 1.将tablespace read only , 不允许再对表进行update.insert操作,测试dmp到另一个用户.表空间后是否可以update.insert 2.将table read only, 不允许再对表进行update.insert操作, 测试dmp表到另一个用户.表空间后是否可以update.insert 1. SQL> select name from v$datafile; NAME ---------------------------

最近莫名的会有错误日志,说有写操作因为走了读库而报了read only的异常,由于并没有造成应用使用的问题,开始我以为哪的配置错误就没当回事让程序员自己去查了,然而... 背景:之前的博客里提到过,读写分离功能是直接从老系统迁移过来的,老系统可能是因为主从库之间同步延迟而使用了基于请求层面的读写分离,迁过来的时候降成了基于Service,新系统用了dubbox,这些Service直接充当Provider.读写分离的实现是重写了了DataSource,请求到Service的时候会先经过拦截器判断方

背景 服务器A准备下线,故直接将上面的所有应用/资料打包迁移到服务器B.包括搭建的nginx,迁移到B服务器后,楼主偷懒,就想着直接./nginx启动,过程遇到如下问题. ./nginx ./nginx: error while loading shared libraries: libssl.so.6: cannot open shared object file: No such file or directory 原因:找不到动态链接库. 问题具体解决过程 (1)安装libssl.so.6

1.添加新节点 2.迁移hdfs和hbase数据: 3.迁移源节点各个服务到新节点: 4.利用HA,包括hdfs,hbase master,resourcemanager的ha实现在线迁移: 5.数据验证,可用性验证:

前文:记录一次项目代码迁移过程 上文代码迁移的目的就是为了新增vue脚手架自带的UI测试框架,工具有了,就需要实践运行在项目中了(修改配置文件.编写测试脚本等). 一.单元测试 测试框架 karma + mocha + chai. (1)修改配置文件“test/unit/index.js”: index.js 配置了哪些文件会被当成单测脚本,哪些文件可以被当成测试源文件(被测对象). 代码如下(暂时不用修改): import Vue from 'vue' Vue.config.productio

今天上班后不知道为什么,mysql一直无法启动,折腾了半天于是决定重装 我本地的server用的是wamp , 重装的时候, 要进行数据备份 , 我使用的最简单粗暴的备份方式, 就是直接进入到mysql的安装文件夹下, 把data拷贝一份就能够了. watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2FuZGVyc2hp/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Ce

1.问题出现: 在格式化NameNode后,集群上安装的OpenTSDB的表(存在hbase中)都没有了,重新运行OpenTSDB预创建表步骤报错显示table already exists 2.原因: hadoop重新格式化后,hdfs上没有了数据,在hbase中新建表却提示Table already exists.是因为以前建过同名的表,虽然HDFS上和Hbase相关的东西都已经删除了.但是zookeeper保存有hbase表的地址,数据访问是通过zookeeper的地址转到hdfs上,这是