Thrift安装部署 Thrift安装部署 下载源码包 安装g++ 解压Thrift安装包 安装boost开发工具 测试(python版) 下载源码包 wget http://apache.fayea.com/thrift/0.9.3/thrift-0.9.3.tar.gz 安装g++ centos:yum install gcc gcc-c++ 如果没有安装g++,无法编译 解压Thrift安装包 tar -xvf thrift-0.9.3.tar.gz 安装boost开发工具 进入thrif…

thrift是一个facebook开源的高效RPC框架,其主要特点是跨语言及二进制高效传输(当然,除了二进制,也支持json等常用序列化机制),官网地址:http://thrift.apache.org 跨语言通常有二种做法, 一是将其它语言转换成某种主流的通用语言,比如:delphi.net以前就是先将delphi转换成c#,然后再编译成IL,从而实现delphi在.net上的运行(好久没关注delphi了,不知道现在还是不是这种机制) 二是先定义一种规范文件(可以简单的理解为『母版』),然后…

1.在官方下载thrift http://thrift.apache.org/download 这里下载thrift-0.11.0.tar.gz版本 2.如果想支持安装Cpp版本就需要先安装boost和bison,如果想thrift支持TNonblockingServer,需要先安装libevent,libevent-devel 库 安装boost教程:https://www.cnblogs.com/dj0325/p/7977692.html 安装libevent教程:https://www.c…

thrift支持多语言的RPC,一直都想深入学习了解thrift,最近有空,就上网查了些资料,学习了一下,对它的使用有了一些了解.本篇是写thrift的安装,使用方法会另起一篇来写. 本文使用thrift的版本是0.9.1. 1.windows平台安装 直接下载编译好的exe文件,就可以使用了. 下载链接在这里 新建目录,C:\Program Files\thrift,把下载好的thrift-0.9.1.exe文件放在里面.把C:\Program Files\thrift添加到windows下面…

注:之前本人写了一篇SparkR的安装部署文章:SparkR安装部署及数据分析实例,当时SparkR项目还没正式入主Spark,需要自己下载SparkR安装包,但现在spark已经支持R接口,so更新了这篇文章. 1.Hadoop安装 参考: http://www.linuxidc.com/Linux/2015-11/124800.htm http://blog.csdn.net/sa14023053/article/details/51952534 yarn-site.xml <propert…

Flume支持众多的source和sink类型,详细手册可参考官方文档,更多source和sink组件 http://flume.apache.org/FlumeUserGuide.html Flume官网入门指南: 1:Flume的概述和介绍: (1):Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统.(2):Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS.hbase.hive.kafka等众多外部存储系统中(3):一般的采…

PRESTO部署和参数说明(一) 一,概要 在部署和使用presto的过程中,在此记录一下部署记录和使用记录以及需要注意的事项.本人使用的presto版本是0.214,3台redhat虚拟机.使用背景:客户需要定期查询大批量的数据,最后选择了sqoop工具定期导入hive,并且定期删除定期更新,因为没有找到是个实时增量导入的工具,批量执行mapreduce任务,然后使用分布式查询引擎presto查询数据. 二,安装部署 在官网下载最新的安装包和客户端包: server安装包:https://pr…

对于akka-cluster这样的分布式软件系统来说,选择配套的数据库类型也是比较讲究的,最好也是分布式的,如cassandra,能保证良好的HA特性.前面的例子里示范akka-persistence时已经使用了cassandra作为journal和snapshot-store.一直以来基本上都在一部macbookpro上开发.测试akka-cluster相关软件.这次在腾讯云上租了两台8G,50G的服务器,安装了ubuntu 16.04.1 LTS操作系统,想着可以在一个真正的环境下试试cas…

1.github地址https://github.com/Tencent/Tars/ 2.tars是RPC开发框架,目前支持c++,java,nodejs,php 3.tars 在腾讯内部已经使用了快到十年,部署一万多台机器,在各种业务场景包括手机浏览器.应用宝.手机管家.手机游戏.手机qq等都有成功的实践. 4.Tars与业界其他同类或相识的应用框架相比:一是Tars提供了支持多语言(C++/Java)的高性能(性能可达40w/s)RPC开发框架,比如业界开源的Dubbo只支持Java,业界开…

1. Hive简介 1.1 什么是Hive Hives是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能. 1.2 为什么使用Hive ① 直接使用Hadoop面临人员学习成功太高.项目周期要求太短.MapReduce实现复杂查询逻辑开发难度太大等问题: ② Hive操作接口采用类SQL语法,提供快速开发的能力,避免了去写MapReduce,减少开发人员的学习成本,扩展功能很方便. 1.3 Hive的特点 可扩展:Hive可以自由的扩展集群的规…