环境:OS X 10.10.5 + JDK 1.8 步骤: 一.下载ELK的三大组件 Elasticsearch下载地址: https://www.elastic.co/downloads/elasticsearch (目前最新版本:2.1.1) Logstash下载地址: https://www.elastic.co/downloads/logstash (目前最新版本:2.1.1) Kibana下载地址: https://www.elastic.co/downloads/kibana (目前

一.选择环境: 1.说明 本次部署使用台机器,3台用于搭建CDH集群,1台为内部源.内部源机器是可以连接公网的,可以提前部署好内部源,本次部署涉及到的服务器的hosts配置如下: 192.168.10.114    sp-04 192.168.10.115    sp-05 192.168.10.116    sp-06 本次安装为cdh5.10.0 需要centos版本: Jdk版本:jdk-8u73-linux-x64.tar 参考地址:https://www.cloudera.com/do

1.修改主机名为master, slave1, slave2 vim /etc/sysconfig/network HOSTNAME = master HOSTNAME = slave1 HOSTNAME = slave2 2.修改hosts文件(三个节点都要设置) vim /etc/hosts 192.168.1.7 master 192.168.1.8 slave1 192.168.1.9 slave2 3.IP设置(三个节点都要设置) DEVICE=eth0 HWADDR=4C:CC:6A

ElasticSearch完成最关键的一个功能就是 大数据搜索 官网:https://www.elastic.co/cn/elasticsearch/ 简介 Elasticsearch 是一个分布式全文检索引擎 Lucene.Solr.ElasticSearch Lucene 是一套信息搜索工具jar包 包括了:索引结构.读写索引的工具.排序.搜索规则等等工具类 注意:不包括搜索引擎系统 Solr 是基于Lucene做了一些封装和增强 通过对外提供Web-service的API接口 Elasti

最近看了一下MariaDB的常规复制章节,就按部就班的搭建了一下最简单的主从复制.需要的硬件环境很简单(在虚拟机VMware中搭建): 1:两台server:Master: 192.168.6.133  Slave:192.168.6.132 2:网络配置,这里图个简单,直接关闭master的防火墙 [root@master Desktop]# service iptables stop 概览实现主从复制需要完成的配置: 1:主从集群里面的每台server需要有一个唯一的server_id,下面

纠结了好久,还是花钱了3个4核8G的阿里云主机,且行且珍惜,想必手动搭建过Hadoop集群的完全分布式.HBase的完全分布式的你(当然包括我,哈哈),一定会抱怨如此多的配置,而此时CDH正是解决我们烦恼的时候. 下面安装过程比较长,所以一定要有耐心. 一.CDH介绍 以下是官网给的介绍:个人感觉就是对hadoop环境的封装 二.为什么选择CDH? Cloudera 常年坚持季度发型update版本,年度发行Release版本,更新速度比Aapche官方快,而且在实际使用过程中CDH表现无比稳定

用开源软件TrinityCore在Debian 10上搭建魔兽世界8.3.0.34220的服务器 TrinityCore是魔兽世界(World of Warcraft)的开源的服务端.目前支持魔兽的3.3.5.12340版本(开源代码的3.3.5分支).8.3.0.34220版本(开源代码的master分支).其中对3.3.5的支持比较稳定:而对8.3.0版本的支持还很不完善,这个版本我搭完后进去逛了一下,测试了一下副本,结论基本上是:适合逛地图看风景,以及体验一下新坐骑.理由在后面. 官网有指

本文记录我在Ubuntu 13.10中搭建Java开发环境. 本文环境: Ubuntu 13.10 x64运行在Win7下的VMware Workstation 10中. 1. 安装JDK与JRE sudo apt-get install openjdk-7-jre-headless sudo apt-get install openjdk-7-jdk 验证jdk安装是否成功: 在终端执行命令: java –version 如果终端显示: java version "1.7.0_25"

搭建环境略(伪集群即可以),但要注意Kafka的配置必须配置的,少配了也一样可以用,但是只能单机使用,外部机器无法连接,网上也有说. host.name=192.168.1.30 advertised.host.name=192.168.1.30 interfaceshost.name=192.168.1.30 0.10.0.0应该和0.9一样缺少log4j的依赖,不能直接log4j TO kafka. 想用的可以依赖kafka-log4j-appender此包即可,或者flume协同 <dep

Kafka安装配置 我们使用5台机器搭建Kafka集群: 1. cluster-1-namenode-1-001       172.16.0.147 2. cluster-1-datanode-1-001       172.16.0.144 3. cluster-1-datanode-1-003       172.16.0.145 4. cluster-1-datanode-1-002       172.16.0.146 5. cluster-1-datanode-1-004      

目录 1 SolrCloud结构说明 2 环境的安装 2.1 环境说明 2.2 部署并启动ZooKeeper集群 2.3 部署Solr单机服务 2.4 添加Solr的索引库 3 部署Solr集群服务(SolrCloud) 3.1 启动ZooKeeper 3.2 ZooKeeper管理配置文件 3.3 修改SolrCloud监听端口 3.4 关联Solr与ZooKeeper 3.5 分发SolrCloud服务 3.6 启动所有Solr服务 3.7 访问SolrCloud 1 SolrCloud结构

1.具体环境是使用虚拟机,并在虚拟机上安装nginx对本机上的端口服务进行反向代理 我按照步骤一步步搭建完环境以后,第一次使用是可以正常使用的,当我关闭计算机后,再一次启动环境,就会发现输入网址之后网页上就会出现这样的问题:“502 Bad Gateway nginx/1.10.0”,经过几天的折磨,发现出现这个问题的根源在与复发链接到网址映射的ip或者是没有找到对应ip下的对应端口,如果你的各种IP映射应用端口都已正常启动运行,但还是提示上述错误,么建议你去检查一下,nginx安装的盘内的/o

Asp.Net Core 2.0 项目实战(1) NCMVC开源下载了 Asp.Net Core 2.0 项目实战(2)NCMVC一个基于Net Core2.0搭建的角色权限管理开发框架 Asp.Net Core 2.0 项目实战(3)NCMVC角色权限管理前端UI预览及下载 Asp.Net Core 2.0 项目实战(4)ADO.NET操作数据库封装. EF Core操作及实例 Asp.Net Core 2.0 项目实战(5)Memcached踩坑,基于EnyimMemcachedCore整理

CentOS 7.3 CDH 5.10.0安装记录 0. 集群规划192.167.1.247 realtime247 realtime+hadoopdata192.167.1.248 broker248 broker192.167.1.249 history249 middleware+history+hadoopdata192.167.1.250 history250 middleware+history+hadoopdata192.167.1.251 master251 Mysql+coor

超详细!CentOS 7 + Hadoop3.0.0 搭建伪分布式集群 ps:本文的步骤已自实现过一遍,在正文部分避开了旧版教程在新版使用导致出错的内容,因此版本一致的情况下照搬执行基本不会有大错误.如果按本文步骤进行的时候出事了,可以鼠标选中博客页面右侧的目录导航看看最后一部分的意外出事的坑点解决方案. 准备linux主机环境 一.安装虚拟机 下载地址: VMware workstation 14 Pro (附:许可证秘钥) 系统iso:CentOS7 Minimal 基本上就是下一步下一步这

说明:我未实践,大概就是这几个步骤,建议服务器在Linux下搭建效果会更好. 1.用brew下载openvpn brew install openvpn 2.命令行输入 openvpn --version 如果没有看到版本信息,就是还没有创建软连接,需要自己手动创建软连接,看步骤2.1,否则看步骤3 2.1 手动创建软连接 brew list openvpn //得到openvpn的安装地址 //格式大概是这一个的 /usr/local/Cellar/openvpn//sbin/openvpn

Vulkan(0)搭建环境-清空窗口 认识Vulkan Vulkan是新一代3D图形API,它继承了OpenGL的优点,弥补了OpenGL的缺憾.有点像科创板之于主板,歼20之于歼10,微信之于QQ,网店之于实体店,今日之于昨日. 使用OpenGL时,每次drawcall都需要向OpenGL提交很多数据.而Vulkan可以提前将这些drawcall指令保存到一个buffer(像保存顶点数据到buffer一样),这样就减少了很多开销. 使用OpenGL时,OpenGL的Context会包含很多你并

一.服务器准备 目前有两台128G内存服务器,故准备每台启动两个es实例,再加一台虚机,共五个节点,保证down一台服务器两个节点数据不受影响. 二.系统初始化 参见我上一篇kafka系统初始化:https://www.cnblogs.com/mkxfs/p/12030331.html 三.安装elasticsearch7.5.0 1.因zookeeper和kafka需要java启动 首先安装jdk1.8环境 yum install java-1.8.0-openjdk-devel.x86_64

用pytorch1.0搭建简单的神经网络:进行多分类分析 import torch import torch.nn.functional as F # 包含激励函数 import matplotlib.pyplot as plt # 假数据 # make fake data n_data = torch.ones(100, 2) x0 = torch.normal(2*n_data, 1) # class0 x data (tensor), shape=(100, 2) y0 = torch.z

10分钟搭建一个小型网页(python django)(hello world!) 1.安装django pip install django 安装成功后,在Scripts目录下存在django-admin.py的文件. 2.安装 mysql接口 pip install MySQL-python 2.创建项目HelloWorld 通过调用django-admin文件中的startproject命令进行安装. cd到目录下,执行命令 django-admin startproject HelloW

工作中,因为需要,搭建同事的程序模块,附加了从同事那里拷过来的该程序使用的库.(C#.C/S..Net Framework4.0 .WCF.Win10.SQL Server 2014.VS2015) 一路解决报错,比如“缺少根元素”,调试代码的过程中发现会打开不属于该项目的文件,查看环境才发现与文件相关的有一个服务应用程序没有启动,这是我的模块不需要的,启动之后该错误解除. 加载数据时,日志记录下图所示错误: