spark gateway是用于接收cloudera管理的应用:可以上报数据,不影响正常使用.启动gateway失败,我觉得可能是因为配置问题? 这个问题可能比较深,因为我通过查看日志(cloudera-scm-server的日志)看到了一头雾水的Error: 2017-12-31 03:24:03,675 INFO 621591170@scm-web-10337:com.cloudera.cmf.model.DbCommand: Command null(Start) has complete…

       一直感觉Web开发或者windows服务的日志跟踪调试不是很方便          特别是在生产环境服务器上面          目前一般的解决方案是通过各种日志工具把错误信息和调试信息写到数据库或者文件里面          想要看到最新日志必须各种不停的打开关闭刷新 特别是日志较多的时候很麻烦 过滤筛选也不方便          调试信息记录过多又有性能开销,记录过少又不方便调试 也比较纠结                    sql调试跟踪工具Sql Profile大家都用…

有时候安装cloudera会报socket.gaierror: [Errno -2] Name or service not known,或者服务器可能IP或mac地址冲突会引发次错误.导致机器服务不能正常运行和重装. 解决办法: 在cloudera安装过程中遇到socket.gaierror: [Errno -2] Name or service not known 的错误 删除/usr/bin/host文件即可解决问题…

在上篇博文中介绍了网络服务异常检测的大概,本篇将详细介绍SVDD和Isolation Forest这两种算法 1. SVDD算法 SVDD的英文全称是Support Vector Data Description,又称为支持向量数据描述,它是由Tax和Duin提出的一种单分类算法,它起源于V.VapniH的支持向量机.它计算围绕具有一组最小体积的球形决策边界对象,可以用于新奇检测或异常检测,检测从给定数据集中偏离的对象.通过使用不同的内核,SVDD可以获得更灵活和更准确的数据描述,通过区分由训练…

主要包括以下三部分,本文为第三部分: 一. Scala环境准备 查看二. Hadoop集群(伪分布模式)安装 查看三. Spark集群(standalone模式)安装 Spark集群(standalone模式)安装 若使用spark对本地文件进行测试学习,可以不用安装上面的hadoop环境,若要结合hdfs使用spark,则可以参考上面的步骤搭建hadoop. 1. 下载安装包并解压(如:~/tools/spark-2.3.1-bin-hadoop2.7): 2. 启动服务 a.启动master…

通过上一节<微服务之分布式跟踪系统(springboot+zipkin)>我们简单熟悉了zipkin的使用,但是收集的数据都保存在内存中重启后数据丢失,不过zipkin的Storage除了内存,还有Cassandra.MYSQL.ElasticSearch. 二.zipkin的各种Storage配置简介 zipkin存在一些公用的配置,同时存在一些私有的配置(详细信息地址为:https://github.com/openzipkin/zipkin/tree/master/zipkin-serv…

Cloudera安装教程 教程1:http://blog.csdn.net/a921122/article/details/51939692教程2:http://www.6gdown.com/softedupage/60099.html 1. 准备机器环境 ● 五台centos 6.6 机器: 安装在Vmware虚拟机上,(公司的机器做了虚拟化).vmware 虚拟机的服务器地址是:192.168.1.20; 用户名:wuchao:密码:Password123; root 用户密码 CDH5.7…

1. 背景介绍 自加入RedHat起,我就把家里的台式机(Ubuntu 16.04 LTS)的默认登录用户veli切换成了huanli, 主要是为了跟公司的电脑配置对齐以方便未来WFH,但引发了一个vim使用异常.在我的.vimrc中,有这样一段配置代码, if has("autocmd") " When editing a file, always jump to the last known cursor position. autocmd BufReadPost * \…

第一步: Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一) 第二步: Cloudera Manager安装之时间服务器和时间客户端(Ubuntu14.04)(二) 第三步: Cloudera Manager安装之Cloudera Manager 5.6.X安装(tar方式.rpm方式和yum方式) (Ubuntu14.04) (三) 第四步: Cloudera Manager安装之利用parcels方式安装单节点集群(包含最新稳定版…

参考网址: http://tcxiang.iteye.com/blog/2087597 http://archive.cloudera.com/cdh5/ http://archive.cloudera.com/cm5/ Cloudera安装的关键点 1. 配置本地源: cloudera-manager.repo 和cloudera-cdh.repo 2. 需要配置httpd , cm和cdh的文件放在/var/www/html下面 3. 需要用到数据库的地方用mysql, mysql 比较好使…