Vertica 有两个数据分布的概念, segmentation 和 partition, 至少有下面几个区别: 1.目的方面:segmentation 解决各节点数据倾斜问题, 适用于木桶原理, 数据量大的那个节点将会拖慢整个查询. partition 主要解决的是数据删除和空间回收问题. 列式数据库删除数据的代价较大. 相比一条一条记录的删除动作, 删除整一个partition 的代价要小得多(其实一个partition就是一个文件). 当然一般情况下,分区也会在一定程度上改善查询效率. 2

Vertica 数据库知识汇总篇(更新中..) 1.Vertica 集群软件部署,各节点硬件性能测试 2.Vertica 创建数据库,创建业务用户测试 3.Vertica 数据库参数调整,资源池分配 4.Vertica 表设计 5.Vertica 入库/导出数据 6.Vertica 日常维护 7.Vertica 数据库调优 8.Vertica 数据库故障处理 9.Vertica 数据库迁移 10.Vertica 数据库备份恢复 11.Vertica 数据库升级 12.Vertica Licens

一.前期准备工作 1.1各节点IP和主机名 1.2上传脚本并设定环境变量 1.3添加信任 1.4前期准备检查并调整 二.Vertica安装 三.集群性能评估 一.前期准备工作: 1.1各节点IP和主机名 192.168.1.137 DB01 192.168.1.138 DB02 192.168.1.139 DB03 192.168.1.140 DB04 在节点1配置/etc/hosts,添加上面信息. 1.2上传脚本并设定环境变量 在节点1上传两个安装脚本到/usr/local/bin clus

测试环境:RHEL 6.4 + Vertica 6.1.3-7 需求:搭建Vertica数据库3节点的测试环境,建立测试用户,建表,测试数据入库. 1.各节点关闭防火墙和SELinux,配置主机名,IP地址,统一root密码,确认系统字符集为utf-8 关闭防火墙和selinux: service iptables status;getenforce;service iptables stop;setenforce 0;service iptables status;getenforce 关闭防

环境:RHEL6.5 + Vertica7.1.0-3 1.故障现象 2.重装集群 3.再次定位 4.解决问题 5.总结 1.故障现象 故障现象:Vertica集群安装成功,但是创建数据库后一直无法up. 具体报错输出如下: Starting Vertica on all nodes. Please wait, databases with large catalogs may take a while to initialize. Node Status: v_wnop_node0001: (

Vertica数据库中的表只是一个逻辑概念. 实际存储在磁盘上的是projection. 当创建一张表,没有创建projection时,那么插入数据的时候会自动创建一个默认的projection.如果运行中发现projection不合适,可以运行dbd进行优化,得出一些建议,参考来重建projection. 如果清楚projection如何建立最优,那么建表的时候就可以在插入数据之前直接手动建立对应的projection. Projection Optimized collections of

在上篇Vertica 分区表设计中,已经提过了Vertica的分区表创建和分区删除,但举例上并不系统, 本篇文章将系统的对分区表设计及后续的删除分区进行讲解. 概述:Vertica分区表(天和月)创建以及删除分区 1.分区表创建 2.查询业务表的基本信息 3.Vertica入库测试数据 4.删除历史分区数据 Reference 1.分区表创建 Vertica分区表可以使用预定义函数创建,有特殊需求时,也可以自定义函数创建. 我这里测试均是以业务用户test登录建表: vsql -Utest 1.

之前在"Vertica 安装,建库,新建测试用户并授予权限,建表,入库"这篇文章也简单介绍过入库部分的内容. 但之前测试用例若用于生产环境有明显的局限性: 1.是用dbadmin管理员用户入库的. 2.没有建立和指定入库专用资源池. 现在我们需要规范下入库,用普通业务用户test进行入库测试,并指定入库资源池load_pool. 1.创建业务用户test和测试表t_jingyu 2.创建入库专用load_pool资源池并赋权给业务用户test 3.准备入库脚本loadData.sh和入

需求:构建简单的测试用例,完成演示Vertica导出数据的功能. 测试用例:导出test业务用户t_jingyu表中的数据. 一.初始化测试环境 二.导出数据 2.1 vsql命令说明帮助 2.2 导出全表数据 2.3 导出符合指定条件的表数据 三.验证 一.初始化测试环境 业务用户test下创建t_jingyu测试表,并初始化一些数据. 参考<Vertica 业务用户指定资源池加载数据>构建初始化测试环境. 二.导出数据 2.1 vsql命令说明帮助 [dbadmin@vertica1 ~]

Vertica增加一个数据存储的目录 操作语法为: ADD_LOCATION ( 'path' , [ 'node' , 'usage', 'location_label' ] ) 各节点添加目录,并赋予正确的权限 vsql命令行下添加对应的目录 查询验证 1. 各节点添加目录,并赋予正确的权限 比如新增/verticadata2挂节点,需求为在/verticadata2挂节点下新增目录vertica,用于Vertica的数据目录. 各节点执行 mkdir -p /verticadata2/ve

环境:RHEL 6.4 + Vertica 7.0.0-11.最终确认安装compat-libgfortran-41-4.1.2-39.el6.x86_64.rpm即可解决. # rpm -ivh vertica-R-lang--.x86_64.RHEL5.rpm error: Failed dependencies: /usr/lib64/libgfortran.so. is needed by vertica-R-lang--.x86_64 # rpm -ivh compat-libgfor

DBD = Database Designer,是Vertica数据库优化中最主要的原生工具. 首先运行admintools工具,按下面步骤依次执行: 1.选择"6 Configuration Menu" 2.选择"2 Run Database Designer"3."Select a database for design" 选择需要分析的数据库4."Enter directory for Database Designer outp

Vertica集群单节点宕机恢复方法 第一种方法: 直接通过admintools -> 5 Restart Vertica on Host 第二种方法: 若第一种方法无法恢复,则清空宕机节点的catalog 和 data目录 比如 v_testdb_node0001_catalog/ v_testdb_node0001_data/ 然后从其他节点拷贝catalog目录下的vertica.conf,然后恢复.

Vertica节点宕机处理一例: 查询数据库版本和各节点状态 常规方式启动宕机节点失败 进一步查看宕机节点的详细日志 定位问题并解决 1. 查询数据库版本和各节点状态 dbadmin=> select version(); version ------------------------------------ Vertica Analytic Database v6.1.3-7 (1 row) dbadmin=> select node_name, node_id, node_state,

环境:RHEL6.2 + Vertica 6.1.3-7 确定所有节点的vertica进程都停掉(包括agent和python),如果有运行的,停止它或者杀掉它. 确定所有节点的spread进程都正常在运行. 用admintools工具启动数据库到LGE 1. 确定所有节点的vertica进程都停掉(包括agent和python),如果有运行的,停止它或者杀掉它. 数据库为关闭状态,也就是停库后,如果还有进程,可以 ps -ef|grep vertica |grep -v spread|awk

1.基本概念介绍 2.停止某节点服务 3.测试其他节点访问 1.基本概念介绍 Vertica也是MPP架构的数据库,相比大家熟悉的MPP架构,比如Greenplum和hadoop这些产品,Vertica最大的不同就是没有主节点这个概念. 也就是说Vertica集群中(K-safe=1情况),任何一个节点宕机都不会影响到其他节点对外提供服务. 而在其他有主节点的架构中,一旦主节点挂掉,整个集群就会挂掉,所以还需要考虑进一步冗余主节点. 对架构有深入了解的朋友会问,没有主节点,那Vertica的元数

需求:在Vertica数据库上建表,表结构来源于原Oracle数据库,故需要转换成Vertica数据库库表结构.   实际转换操作需要评估源库用到的所有数据类型和数据本身特性. 下面是总结的某场景下的替换规则,仅供参考. 1.时间类型: DATE   =>   TIMESTAMP   2.数字类型:NUMBER(   =>   NUMERIC( NUMBER   =>   NUMERIC(38,0) INTEGER   =>   NUMERIC(38,0)   3.字符类型: VA

常用的方法,我们可以通过admintools字符图形工具来导入license, 7 -> 5 -> 选择库 -> 输入license文件全路径 -> Accept -> 输入数据库密码 -> license更新成功. 但这样其实有些麻烦.我们还可以直接用命令(步骤3)直接替换为新的license. 1. vsql使用dbadmin用户登录,查询当前的licence信息. dbadmin=> select display_license(); 2. sftp上传新的

需求: 将3个节点的Vertica集群扩容,额外增加3个节点,即扩展到6个节点的Vertica集群. 实验环境: RHEL 6.5 + Vertica 7.2.2-2 步骤: 1.三节点Vertica集群环境创建 2.模拟创建业务最小测试用例 3.集群扩容前准备 4.集群扩容:增加3个节点到集群 Reference 1.三节点Vertica集群环境创建 三节点IP地址和主机名规划: 192.168.56.121 vnode01 192.168.56.122 vnode02 192.168.56.

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 有时候用hive读取外表数据时,比如csv这种类型的,需要跳过行首或者行尾一些和数据无关的或者自动生成的多余信息,这里可以用属性设置来实现,快速mark下,建表的时候设置如下 ", "skip.footer.line."); 对,就是上面sql中tblproperties的2个属性 "skip.heaer.line.count" 跳过文件行首多少行 &q

实验环境:3节点,RHEL6.4 + Vertica 7.0.1 实验目的:了解Vertica数据库的date与timestamp数据类型,to_date()与to_timestamp()函数区别   构造的实验表中只有10条记录. 1.查询表记录数据如下: irnop=> select start_time from perf_rnc_w_3; start_time --------------------- 2014-05-26 01:00:00 2014-05-26 01:00:00 20