canal数据同步的环境配置:(适用于mysql) 前提:在linux和windows系统的mysql数据库中创建相同结构的数据库和表,我的linux中mysql是用docker实现的(5.7版本),拉取mysql镜像后,当我们创建容器时,一定要记得对目录进行挂载,否则后期是无法开启logbin功能的. 1.开启mysql的logbin功能 #拉取镜像 docker pull mysql #创建容器 docker run -p 33306:3306 --name mysql -v /root/m

转载自http://blog.csdn.net/yfkiss/article/details/7715476和http://blog.csdn.net/yfkiss/article/details/7721329 下载hadoophadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/这里下载的版本是1.0.3$ mkdir hadoop$ wget http://www.fayea.com/apache-mirror/hadoop

最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1).解压kafka_2.11-1.1.0.tgz,得到“kafka_2.11-1.1.0”文件夹. (2).kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用.使用需配置kafka_2.11-1.

windows7 spark单机环境搭建 follow this link how to run apache spark on windows7 pycharm 访问本机 spark 安装py4j 配置pycharm 在PYTHON_HOME\lib\site-packages下新建pyspark.pth文件内容为: D:\program\spark-1.5.1-bin-hadoop2.4\python 试运行

centos LAMP第一部分-环境搭建  Linux软件删除方式,mysql安装,apache,PHP,apache和php结合,phpinfo页面,ldd命令 第十九节课 打命令之后可以输入: echo $? 上半节课 Linux软件删除方式 mysql安装 apache 下半节课 PHPapache和php结合排错phpinfo页面ldd命令 apache下面的一个软件httpd,大家会把httpd误认为是apache 搜狐镜像:http://mirrors.sohu.com 康盛镜像:h

Kafka 0.7.2 单机环境搭建当下载完Kafka后,进行解压,其目录结构如下: bin config contrib core DISCLAIMER examples lib lib_managed LICENSE NOTICE perf project README.md sbt system_test Kafka是用scala编写的,可以运行在JVM上,因此不需要单独搭建scala环境,在后面需要编程的时候我们再进行scala的配置.1.安装Java环境,本机是1.7.0_09 2.解

一.前置条件 Hadoop的运行依赖JDK,需要预先安装,安装步骤见: Linux下JDK的安装 二.配置免密登录 Hadoop组件之间需要基于SSH进行通讯. 2.1 配置映射 配置ip地址和主机名映射: vim /etc/hosts # 文件末尾增加 192.168.43.202 hadoop001 2.2 生成公私钥 执行下面命令行生成公匙和私匙: ssh-keygen -t rsa 3.3 授权 进入~/.ssh目录下,查看生成的公匙和私匙,并将公匙写入到授权文件: [root@@had

环境搭建必须jdk.tomcat.mysql(基础) 额外的软件包项目中可能用到 jdk:它包含jre和开发所需完整类库. tomcat:它是一个web容器,项目通常往webapps下扔,便于外界访问. mysql数据库: web项目数据的存取的来源. nginx:它主要用于做负载均衡和反向代理. maven:将web项目打成一个war包最大程度上节省资源空间. ftp服务器:它主要用于让大量的图片或文件等资源和web项目分离,以减轻服务器压力和最大程度提高访问效率. redis主要用于做缓存,

在搭建HBase单机环境之前,首先你要保证你已经搭建好Java环境: $ java -version java version "1.8.0_51" Java(TM) SE Runtime Environment (build 1.8.0_51-b16) Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode) JAVA_HOME路径: $ echo $JAVA_HOME /usr/java/jdk1.8.0_51

一.工具准备 1. jdk1.8 2. scala 3. anaconda3 4. spark-2.3.1-bin-hadoop2.7 5. hadoop-2.8.3 6. winutils 7. pycharm 二.安装 1. jdk安装 oracle官网下载,安装后配置JAVA_HOME.CLASS_PATH,bin目录追加到PATH,注意:win10环境下PATH最好使用绝对路径!下同! 2. scala安装 官网下载,安装后配置SCALA_HOME,bin目录追加到PATH(上图包含)

1.     下载源码: http://ffmpeg.org/download.html 2.     解压:tar –xvf ffmpeg-3.2.1.tar.bz2 3.     配置 Eg:./configure--enable-shared --enable-memalign-hack --disable-debug  --prefix=/home/heya/ffmpeg/out/ --arch=arm --cross-prefix=arm-hisiv200-linux- --targe

Lua+Redis 断点调试环境搭建 windows环境,使用Redis,写lua脚本头疼的问题之一不能对脚本断点调试,google加上自己的摸索,终于搞定. 1.下载ZeroBraneStudio,我下载的是破解版(我自己为自己感到可耻,其实并不贵,百十来块钱的样子) 解压后在bin下有lua解释器的路径,把该路径添加到环境变量中:假设解释器路径是:D:/ZeroBraneStudio/bin/lua.exe,那么就把D:/ZeroBraneStudio/bin添加到Path环境变量下. 2.

经典web开发组合Lamp环境搭建之mysql安装详解 安装前准备 通过rpm命令检查centos上是否已经安装mysql,然后卸载已经存在的mysql版本 [root@localhost src]# rpm -qa|grep mysql mysql-libs--.el6_3.i686 [root@localhost src]# rpm -e --nodeps mysql-libs--.el6_3.i686 通过yum安装mysql编译需要的依赖包 [root@localhost src]# y

一.定义 官网的定义: Solr是基于Lucene构建的流行,快速,开放源代码的企业搜索平台.它具有高度的可靠性,可伸缩性和容错能力,可提供分布式索引,复制和负载平衡查询,自动故障转移和恢复,集中式配置等. Solr支持许多世界上最大的互联网站点的搜索和导航功能. 简单的理解solr就是一款搜索框架,通常用实现查询功能,比如电商网站的商品检索. 二.环境搭建 本文基于以下开源组件版本搭建,约定下载后组件和解压缩的文件都放置在/opt目录下: solr-8.2.0 apache-tomcat-8.

一.准备Linux 可以买云服务器,也可以用虚拟机,我用的是虚拟机Oracle VM VirtualBox 二.编译环境 1.检查linux下是否安装环境 yum list installed | grep "gcc-c++" 2.如果没安装,则执行 yum install gcc-c++ -y,否则一会make编译会报错 三.下载Redis(我这用的是和公司一样的版本5.0.8) wget http://download.redis.io/releases/redis-5.0.8.t

[在此处输入文章标题] Hadoop单机搭建 1. 工具准备 1) Hadoop Linux安装包 2) VMware虚拟机 3) Java Linux安装包 4) Window 电脑一台 2. 开始配置 1) 启动Linux虚拟机,这里使用的是CentOS 6.7版本 2) 首先配置虚拟机网络环境 Ø 配置Windows网络环境 1. 打开VMware,编辑-虚拟网络编辑器 2. 修改子网IP为192.168.100.0 3. 继续修改子网详细配置 4.Windows网络环境配置完成 Ø 配置

一.安装前置条件说明 1.1 JDK版本说明 HBase 需要依赖JDK环境,同时HBase 2.0+ 以上版本不再支持JDK 1.7 ,需要安装JDK 1.8+ .JDK 安装方式见本仓库: Linux环境下JDK安装 1.2 Standalone模式和伪集群模式的区别 在Standalone模式下,所有守护进程都运行在一个jvm进程/实例中: 在伪分布模式下,HBase仍然在单个主机上运行,但是每个守护进程(HMaster,HRegionServer 和 ZooKeeper)则分别作为一个单

一.环境说明:     操作系统:Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux     jdk版本:java version "1.7.0_79"     hadoop版本:Apache hadoop-2.5.2 二.下载软件:     从Apache官方地址http://apache.dataguru.cn/h

一.准备工作 centos6.8和jvm需要准备64位的,如果为32位,服务启动的时候报java.lang.OutOfMemoryError: Map failed 的错误. 链接:http://pan.baidu.com/s/1pLbj8T1 密码:f4h0 centos6.8  64位 jdk-8u121-linux-x64.tar.gz kafka_2.12-0.10.2.1.tgz zookeeper-3.4.5.tar.gz 虚拟机资源有限,所以3台zookeeper服务器和3台kaf

---------------------------------------linux------------------------------------------------- 一.添加dotnet产品Feed 在安装.NET Core之前,您需要注册Microsoft产品Feed. 这只需要做一次. 首先,注册Microsoft签名密钥,然后添加Microsoft产品Feed. sudo rpm --import https://packages.microsoft.com/keys

jdk安装 tar zxvf jdk mv jdk /usr/lib/jvm/java jdk环境变量配置 vim /etc/profile ``` export JAVA_HOME=/usr/lib/java export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin export