Cloudera Certified Associate Administrator案例之Troubleshoot篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.调整日志的进程级别 问题描述: 今天node103.yinzhengjie.org.cn节点的DataNode和NodeManager进程频繁死掉,你决定临时将该节点两个进程的日志级别调整为DEBUG,以便于进行维护排查. 解决方案: 操作时需注意要求将HDFS和YARN的所有节点日志界别都调整,还是只需要调整…
Cloudera Certified Associate Administrator案例之Test篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.准备工作(将CM升级到"60天使用的企业版") 1>.在CM界面中点击"试用Cloudera Enterprise 60天" 2>.进入许可证界面可以看到当前使用的是"Cloudera Express",点击"试用Cloudera Enterprise 6…
Cloudera Certified Associate Administrator案例之Manage篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载Namenode镜像文件 问题描述: 公司集群的Namenode今天发生了故障,你想通过分析Fsimage文件来排查问题.你需要下载最新的fsimage文件,命名为"timestamp_xxx",其中xxx为以秒为单位的Unix时间戳,代表你操作时的当前时间,并上传到HDFS的/yinzhengjie/deb…
Cloudera Certified Associate Administrator案例之Install篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.创建主机模板(为了给主机套用,说白了就是给新加入集群的节点提前分配好角色) 问题描述: 公司新购了一批机器,准备扩充DataNode节点.你决定用CM的host template功能来为新机器配置DataNode通用的服务.新节点需要作为HDFS和YARN的工作节点,因此模板的设计如下: 名称:Temp1 HDFS ro…
Cloudera Certified Associate Administrator案例之Configure篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载CDH集群中最新的配置文件 问题描述: 某个集群的使用者需要通过客户端登陆集群,请使用CM下载HDFS和YARN的配置文件,保存到客户端机器的"/home/yinzhengjie/hadoop/etc/hadoop"目录下,并保持文件名不变. 解决方案: 可以通过登陆CM WebUI界面下载,也可以直接…
Flume实战案例运维篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Flume概述 1>.什么是Flume Flume是一个分布式.可靠.高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并写到各种数据接收方. 官方地址:http://flume.apache.org/. 2>.Flume特性 ()高可靠性 Flume提供了end to end的数据可靠性机制 ()易于扩展 Agent为分布式架构,可水平…
关于CKA考试 CKA(Certified Kubernetes Administrator)是CNCF基金会(Cloud Native Computing Foundation)官方推出的Kubernetes管理员认证计划,用于证明持有人有履行Kubernetes管理的知识,技能等相关的能力. 除了对于个人技能提供认证以外,如果企业想要加入CNCF基金会的KCSP计划(Kubernetes认证服务提供商)也需要企业至少有3名及以上工程师的通过CKA认证考试. 考试注册地址 CKA考试费用 参与…
继<分享数百个 HT 工业互联网 2D 3D 可视化应用案例>2018 篇,图扑软件定义 2018 为国内工业互联网可视化的元年后,2019 年里我们与各行业客户进行了更深度合作,拓展了HT for  Web 在更多新领域的应用,图扑软件作为在工业可视化领域的一线重度参与者,我们觉得有必要将该话题作为系列文章,在此对 2019 年做个总结回顾和分享,依然希望:激发行业和学术工作者对可视化的深度思考,为推进国内工业互联网发展出份薄力! 2019 我们更新了数百个工业互联网2D/3D可视化案例集:…
继<分享数百个 HT 工业互联网 2D 3D 可视化应用案例>2018 篇,图扑软件定义 2018 为国内工业互联网可视化的元年后,2019 年里我们与各行业客户进行了更深度合作,拓展了HT for  Web 在更多新领域的应用,图扑软件作为在工业可视化领域的一线重度参与者,我们觉得有必要将该话题作为系列文章,在此对 2019 年做个总结回顾和分享,依然希望:激发行业和学术工作者对可视化的深度思考,为推进国内工业互联网发展出份薄力! 2019 我们更新了数百个工业互联网2D/3D可视化案例集:…
这两天发布版本 做的事情有点多,都没有时间努力学习了,先给自己个差评,今天折腾了一天, 把robotframework 和 selenium 还有appnium 都研究了一下 ,大概有个谱,先说说web篇的故事 首先,上次是把ride做完 那么其实我们打开ride以后 最主要的是 添加库 左上角新建案例 库,等 到了这个界面以后 对 进行操作 那么,问题来了 为什么要进行库操作呢 因为只有在库加载以后 你才能调用里边的一些语法等东西 前提下 是你在 cmd 情况下 输入 pip list 能够找…
创业启示录:创业失败报告这个系列包括30多家创业公司的失败案例分析.本文就有由其中一家IT创业公司的CTO所撰写.还是那句老话,成功的故事固然非常鼓舞人心,但我们也可以从失败故事中学到很多. 以下是译文: 在互联网泡沫破灭时期,我和朋友一起成立了一家软件公司,我自己担任CTO一职.我们开发了一款知识管理软件,包含了博客.Wiki.文档管理系统.链接管理和技能管理等. 我们在1999年开始创业,当时基本没有其他人做Wiki和博客,我们算很早的.(Moveable Type是成立于2001年).链接…
转载请标明出处: http://blog.csdn.net/forezp/article/details/78616738 本文出自方志朋的博客 RBAC介绍 RBAC(Role-Based Access Control,基于角色的访问控制),用户基于角色的访问权限控制.简单地说,一个用户拥有若干角色,每一个角色拥有若干权限.这样,就构造成"用户-角色-权限"的授权模型.在这种模型中,用户与角色之间,角色与权限之间,一般都是多对多的关系.如图所示: sql_tool 在本案例中,采用的…
一.安装之前 Cloudera管理器的存储空间规划 ClouderaManager跟踪许多后台流程中的服务.作业和应用程序的指标.所有这些指标都需要存储.根据组织的大小,此存储可以是本地的或远程的,基于磁盘的,也可以是数据库中的,由您或其他团队在另一个位置管理. 大多数系统管理员都知道常见的位置,如/var/log/这些地点需要有足够的空间.本主题帮助您规划Cloudera Manager Server和Cloudera Management Service用于存储度量和数据的存储需求和数据存储…
转载请标明出处: http://blog.csdn.net/forezp/article/details/78616779 本文出自方志朋的博客 简介 采用openresty 开发出的api网关有很多,比如比较流行的kong.orange等.这些API 网关通过提供插件的形式,提供了非常多的功能.这些组件化的功能往往能够满足大部分的需求,如果要想达到特定场景的需求,可能需要二次开发,比如RBAC权限系统.本小节通过整合前面的知识点,来构建一个RBAC权限认证系统. 技术栈 本小节采用了以下的技术…
转载请标明出处: http://blog.csdn.net/forezp/article/details/78616714 本文出自方志朋的博客 Lua模块开发 在实际的开发过程中,不可能把所有的lua代码写在一个lua文件中,通常的做法将特定功能的放在一个lua文件中,即用lua模块开发.在lualib目录下,默认有以下的lua模块. lualib/ ├── cjson.so ├── ngx │ ├── balancer.lua │ ├── ocsp.lua │ ├── re.lua │ ├─…
转载请标明出处: http://blog.csdn.net/forezp/article/details/78616698 本文出自方志朋的博客 centos 安装mysl Centos系统下安装mysql,先下载mysql-community-release-el7-5.noarch.rpm,然后通过yum安装,安装过程一直确定[Y]即可. cd /usr/downloads/ wget http://dev.mysql.com/get/mysql-community-release-el7-…
转载请标明出处: http://blog.csdn.net/forezp/article/details/78616672 本文出自方志朋的博客 http客户端 Openresty没有提供默认的Http客户端,需要下载第三方的http客户端. 下载lua-resty-http到lualib目录下,使用以下的命令下载: cd /usr/example/lualib/resty/ wget https://raw.githubusercontent.com/pintsized/lua-resty-h…
转载请标明出处: http://blog.csdn.net/forezp/article/details/78616660 本文出自方志朋的博客 获取请求参数 vim /usr/example/example.conf location /lua_var { default_type 'text/plain'; content_by_lua_block { ngx.say(ngx.var.arg_a) } } 重新加载nginx配置文件: nginx -s reload 在浏览器上访问http:…
转载请标明出处: http://blog.csdn.net/forezp/article/details/78616645 本文出自方志朋的博客 我的服务器为一台全新的centos 7的服务器,所以从头安装openresty,并记录了安装过程中出现的问题,以及解决办法. 1.首先安装openresty cd /usr mkdir servers mkdir downloads yum install libreadline-dev libncurses5-dev libpcre3-dev lib…
转载请标明出处: http://blog.csdn.net/forezp/article/details/78616622 本文出自方志朋的博客 什么是lua Lua 是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能. Lua 是巴西里约热内卢天主教大学(Pontifical Catholic University of Rio de Janeiro)里的一个研究小组,由Roberto Ierusalimsch…
转载请标明出处: http://blog.csdn.net/forezp/article/details/78616591 本文出自方志朋的博客 Nginx 简介 Nginx是一个高性能的Web 服务器,同时是一个高效的反向代理服务器,它还是一个IMAP/POP3/SMTP 代理服务器. 由于Nginx采用的是事件驱动的架构,能够处理并发百万级别的tcp连接,高度的模块化设计和自由的BSD许可,使得Nginx有着非常丰富的第三方模块.比如Openresty.API网关Kong. BSD开源协议是…
大数据助力成就非凡.大数据正在改变着商业游戏规则,为企业解决传统业务问题带来变革的机遇.毫无疑问,当未来企业尝试分析现有海量信息以推动业务价值增值时,必定会采用大数据技术. 目前对大数据的分析工具,首选的是Hadoop平台.由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品.在Hadoop生态系统中,规模最大.知名度最高的公司则是Cloudera. Cloudera由来自Facebook.谷歌和雅虎的前工程师杰夫•哈默巴切(Jeff Ha…
使用YourSQLDba做备份.维护.管理时,偶尔会收到一些备份失败的邮件.导致YourSQLDba备份失败的情况比价多,打算在此篇中对YourSQLDba备份失败的案例做一些总结.整理. 1:YourSQLDba由于事务日志满了.具体情况如下: 检查YourSQLDba备份失败日志信息,你会看到下面这类错误信息. The transaction log for database 'xxxx' is full.To find out why space in the log cannot be…
前言 前面几篇都是讲一些基础的定位方法,没具体的案例,小伙伴看起来比较枯燥,有不少小伙伴给小编提建议以后多出一些具体的案例.本篇就是拿部落论坛作为测试项目,写一个简单的登录测试脚本. 在写登录脚本的时候呢,先要保证流程能跑起来,然后才是去想办法优化代码,让自己的脚本看起来更舒服,具有良好的可读性. 一.登录 1.先打开浏览器 2.打开论坛主页:"http://www.hordehome.com/" 3.查找元素之前可以先设置元素等待:implicitlywait() 4.点登录按钮,弹…
上篇Activiti只是一个快速入门案例,这篇就讲定义.部署.查看任务等等的一些细节[涉及到的数据库表.对象等等]- 管理流程定义 管理流程定义主要涉及到以下的4张表: -- 流程部署相关的表 SELECT * FROM act_ge_bytearray # 通用字节资源表 SELECT * FROM act_ge_property # 通用属性表,可以生成部署id SELECT * FROM act_re_deployment #部署表 SELECT * FROM act_re_procdef…
摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载,保留摘要,谢谢! 『 公司需要人.产品.业务和方向,方向又要人.产品.业务和方向,方向… 循环』 本文提纲一.前言二.运行 springboot-mybatis-annotation 工程三.springboot-mybatis-annotation 工程配置详解四.小结 运行环境:JDK 7 或 8.Maven 3.0+技术栈:SpringBoot 1.5+.SpringBoot Mybatis Star…
摘自https://www.cnblogs.com/sanzangTst/p/7472556.html 前面几篇内容一直讲解Selenium Python的基本使用方法.学习了什么是selenium:学习了selenium Python的安装环境:学习了八种元素定位:学习了xpath定位:学习了浏览器的操作:前面几篇都是讲一些基础的定位方法,没具体的案例,可能看起来比较苍白枯燥,没有给出具体的案例.这篇内容就写一个简单实例来看一下前面的基本方法在实例的应用. 我们以登录网易邮箱为例来讲解Sele…
上篇介绍了自定义控件的一个简单案例,本篇文章主要介绍如何给自定义控件自定义一些属性. Android 中使用自定义属性的一般步骤: 定义declare-styleable,添加attr 使用TypedArray获取自定义属性 设置到View上 自定义属性都存在于/value/attr.xml文件中,以如下格式存在 <resource> <declare-styleable name="自定义属性名称"> <attr name="属性名称"…
目录 引言 1.效果图 2.源码 3.案例解析 4.小问题 5.结语 引言        平常会做一些有意思的小案例练手,通常都会发到codepen上,但是codepen不能写分析.        所以就在博客上开个案例分享系列,对demo做个剖析.目的以分享为主,然后也希望各路大神能给出改进的想法,在review中提升技术,发现乐趣~ 1.效果图 完整效果,请移步 codepen-流星雨案例 纯CSS案例及本篇案例完整源码,请移步The night of the metero 2.源码 HTM…
By Steven Chan - EBS-Oracle on May 17, 2016 Workflow Builder 2.6.3 is now certified on Windows 10 desktops for Oracle E-Business Suite 12.1 and 12.2.  See: Recommended Set Up for Client/Server Products with Oracle E-Business Suite 11i & R12 (Note 277…