环境篇:Atlas2.0.0兼容CDH6.2.0部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成. Apache Atlas为组织提供了开放的元数据管理和治理功能,以建立其数据资产的目录,对这些资产进行分类和治理,并为数据科学家,分析师和数据治理团队提供围绕这些数据资产的协作功能. 如果没有Atlas 大数据表依赖问题不好解决,元数据管理需要自行开发,如:hive血缘依赖图 对于表依赖问…

环境篇:Atlas2.1.0兼容CDH6.3.2部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成. Apache Atlas为组织提供了开放的元数据管理和治理功能,以建立其数据资产的目录,对这些资产进行分类和治理,并为数据科学家,分析师和数据治理团队提供围绕这些数据资产的协作功能. 如果没有Atlas 大数据表依赖问题不好解决,元数据管理需要自行开发,如:hive血缘依赖图 对于表依赖问…

环境篇:Kylin3.0.1集成CDH6.2.0 Kylin是什么? Apache Kylin™是一个开源的.分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区.它能在亚秒内查询巨大的表. Apache Kylin™ 令使用者仅需三步,即可实现超大数据集上的亚秒级查询. 定义数据集上的一个星形或雪花形模型 在定义的数据表上构建cube 使用标准 SQL 通过 ODBC.JDBC 或 R…

Win7 64下Visual C++ 6.0不兼容 安装VSE6.0: 1.运行setup.exe安装程序,会弹出如下的的 程序兼容性助手 提示框,这个是Win7在警告用户vc6存在兼容性问题:此程序存在已知的兼容性问题. 选中 不再显示此消息,点“运行程序”.(之后再有遇到“此程序存在已知的兼容性问题”的提示时候,也按这个做法处理!) 2.接着安装,进入选择安装类型这一步的时候,要注意.点“Custom”自定义安装类型: 3.Custom自定义安装里,点中Tools组件,更改选项:把其中的 O…

CDH6.3.0下Apache Atlas2.1.0安装与配置 0. 说明 文中的${ATLAS_HOME}, ${HIVE_HOME} 环境变更需要根据实际环境进行替换. 1. 依赖 A. 软件依赖 CDH6.3.0 环境已安装: Apache Hadoop Apache Zookeeper Apache Kafka Apache HBase Apache Solr Apache Hive 2. Apache Atlas包编译 下载源文件包:https://atlas.apache.org/#…

一. 概述 该文档主要记录大数据平台的搭建CDH版的部署过程,以供后续部署环境提供技术参考. 1.1 主流大数据部署方法 目前主流的hadoop平台部署方法主要有以下三种: Apache hadoop CDH (Cloudera’s Distribution Including Apache Hadoop) HDP (Hortonworks Data Platform) 1.2 部署方法的比较 手工部署: 需要配置太多参数,配置繁琐,建议初学者部署方式 工具部署:比如Ambari和clouder…

环境篇:CM+CDH6.3.2环境搭建(全网最全) 一 环境准备 1.1 三台虚拟机准备 Master( 32g内存 + 100g硬盘 + 4cpu + 每个cpu2核) 2台Slave( 12g内存 + 100g硬盘 + 4cpu + 每个cpu1核) 参考地址: https://www.cnblogs.com/ttzzyy/p/12566281.html 1.准备的机器只要网络IP不冲突通并且可以正常访问网络即可,如机器资源不够,可自行分配所需要的资源,或者使用云服务 2.关闭防火墙,云服务…

AppCompat V21:将 Materia Design 兼容到于5.0之前的设备 本篇文章翻译自Chris Banes(就职于Google,是Android-PullToRefresh,PhotoView,photup的作者,GitHub地址:https://github.com/chrisbanes,博客地址:https://chris.banes.me/2014/10/17/appcompat-v21/ ,现在这篇文章已经收录到Android官方博客了:http://android-d…

CM+CDH6.2.0环境准备 一 虚拟机及CentOs7配置 CentOS下载地址 master(16g+80g+2cpu+2核)+2台slave(8g+60g+2cpu+2核) 1.1 打开"VMware Workstation",选择"创建新的虚拟机" 1.2 选择"典型"选项,点击"下一步 " 1.3 选择"稍后安装操作系统",点击"下一步 " 1.4选择"Linux…

目录 01 准备工作 02 环境配置 03 CDH安装 报错 01 准备工作 官网地址下载页面:https://www.cloudera.com/downloads/cdh.html,现在下载好像需要注册一个账号,下面的链接进入后需要登录,也可以自行在上面的下载页面找. CDH 6.2.0,下载地址:https://archive.cloudera.com/cdh6/6.2.0/parcels/ CM 6.2.0,下载地址:https://archive.cloudera.com/cm6/6.2…

1. 资料准备 现在官网https://www.cloudera.com 需要注册账号,未来可能会收费等问题,十分麻烦,这里有一份我自己百度云的备份 链接: https://pan.baidu.com/s/1kh50Z2f9S09Ln8E8uOow8Q 提取码: b9jf 里面有一整套下载内容 比如: mysql 的包 和 mysql-connector-java-5.1.47.tar.gz JDK1.8下载地址 https://www.oracle.com/java/technologies/…

深度学习主机环境配置: Ubuntu16.04 + GeForce GTX 1070 + CUDA8.0 + cuDNN5.1 + TensorFlow 最近在公司做深度学习相关的学习和实验,原来一直在自己的电脑上安装虚拟机跑,速度实在太慢,主机本身性能太弱,独显都没有,物理安装Ubuntu也没多大意义,所以考虑用公司性能最强悍的游戏主机(i7 6700+GTX 1070) 做实验,这台主机平时是用来跑HTC VIVE的,现在归我用了o(*≧▽≦)ツ. 原本以为整个一套安装下来会很顺利,一路火花…

  深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0 发表于2016年07月15号由52nlp 接上文<深度学习主机攒机小记>,这台GTX1080主机准备好之后,就是配置深度学习环境了,这里选择了比较熟悉Ubuntu系统,不过是最新的16.04版本,另外在Nvidia GTX1080的基础上安装相关GPU驱动,外加CUDA8.0,因为都比较新,所以踩了很多坑. 1. 安装Ubuntu16.04 不考虑双系统,直接安装 Ubuntu16.04,从ub…

原文地址:http://www.linuxidc.com/Linux/2014-11/109200.htm 图文详解Windows 8.0上Eclipse 4.4.0 配置CentOS 6.5 上的Hadoop2.2.0开发环境,给需要的朋友参考学习. Eclipse的Hadoop插件下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin 将下载的压缩包解压,将hadoop-eclipse-kepler-plugin-2.2.0这个jar包扔…

原文网址:http://blog.sina.com.cn/s/blog_46dac66f01000b57.html 寻找最好的笔记软件:三强篇(EverNote.Mybase.Surfulater) v1.0   作者:SuperboyAC 编译:xbeta 本系列还有:海选篇.三强篇.梦想篇.结论.篇外 通过上一篇<寻找最好的笔记软件:海选篇>的综合分析,作者发现有3种软件具有较明显的优势,可谓“笔记软件三强”.它们是:EverNote.Mybase 和 Surfulater.此三者相同之间…

大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家介绍的是串口调试工具Jays-PyCOM诞生之环境搭建. 在写Jays-PyCOM时需要先搭好开发和调试环境,下表列出了开发过程中会用到的所有软件/工具包: 一.涉及工具列表 工具 功能 下载地址 Python 2.7.14 Python官方包(解释器) https://www.python.org/ pySerial 3.4 Serial Port访问的Python封装库 https://pypi.org/project/pyserial…

刚刚学习JQuery Easyui,就遇到了拦路虎,最新版本1.3.4下载下来部署到win2003 + IIS6.0中发现所有demo都不可以渲染,IE8提示错误如下: 详细内容如下: 用户代理: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; Info…

如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.> 如何安装hadoop2.9.0请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0> 如何配置zookeeper3.4.12 请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(八)安装zook…

如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.> 如何配置hadoop2.9.0 HA 请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA> 安装hadoop的服务器: 192.168.0.120 master 192.168.0.121 slave1 192.168.…

ASP.NET MVC深入浅出系列(持续更新)   一. ASP.NET体系 从事.Net开发以来,最先接触的Web开发框架是Asp.Net WebForm,该框架高度封装,为了隐藏Http的无状态模式,ViewState功不可没,通过的控件的拖拽和绑定,很快就可以搭建出来一个Web项目,其开发速度远胜Java.PHP,当年Web项目并不很重视体验,没有今天响应式,没有各种前端js框架,所以在当年的WebForm,微软是以引以为豪的. 该框架毕竟有时代局限性,随着前端的崛起,随着人们对项目体验的…

基于.NetCore2.1.服务类库采用.Net Standard2.0,兼容.net 4.6.1消息推送服务 https://www.cnblogs.com/ibeisha/p/weixinServer.html 关于微信公众号服务的中间件,基于.NetCore2.1.服务类库采用.Net Standard2.0,兼容.net 4.6.1. 整体思路是,设计一个中间件,提供微信消息推送服务.目前实现了,接收微信消息推送后,根据消息类型,对事件消息和被动接收消息分别进行了处理. 在中间件和服务之…

不多说,直接上干货! 深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0…

YII2.0.12兼容PHP7.2版本升级 报错信息: FastCGI sent in stderr: "PHP message: PHP Fatal error:  Cannot use ‘Object‘ as class name as it is reserved in /home/leo/htdocs/oa/vendor/yiisoft/yii2/base/Object.php on line 77 这个错误是yii2框架的错误了.也就是说不能使用Object作为类名. 解决方法 1.c…

准备工作 因为在编译时需要下载许多依赖包,在执行编译前最好先配置下代理仓库 <mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</name> <url>https://maven.aliyun.com/repository/public</url> </mirror&g…

前因/ 新买了电脑,想在家写前端页面,看到最新版的JDK12.0.2和JRE1.8.0,就想着要用就用最新的,才对得起我的I9电脑.本人也是半生不熟,公司用的都是前辈配置好的环境,并且是JDK8很老了,自己就按照网上教程走,结果被血坑!!!!!!!!十几个博客和CSDN全是坑,不是老的,就是没说重点,就是没发现2019年9月新版java的坑,下面我自己写下正确的2019年9月步骤. 正文/ 步骤1:(JDK12里面没有JRE了,我是小白,摸清楚了一种正确方式:必须先安装JRE,别先JDK!!!大…

1. 查看CDH 安装的hadoop 和 hbase 对应的版本 具体可以参考以下博客: https://www.cxyzjd.com/article/spark_Streaming/108762904 直接给出答案 hadoop 版本 3.0.0 hbase 版本 2.1.0 2. 在 github 找到其hbase版本对应的geomesa的版本 github 地址: https://github.com/locationtech/geomesa/releases 这里我使用 3.1.1 的版…

easy_crypto 0010 0100 01 110 1111011 11 11111 010 000 0 001101 1010 111 100 0 001101 01111 000 001101 00 10 1 0 010 0 000 1 01111 10 11110 101011 1111101    …

如下步骤照着抄就完事了. 一.新建一个spring boot项目,并引入相关依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=&q…

#1.NGINX安装 1.安装文件上传软件 [root@TEST ~]# yum install lrzsz –y <---拖拽文件 2.检查软件安装的系统环境 [root@TEST ~]# cat /etc/redhat-release [root@TEST ~]# uname -r 3.安装nginx的依赖包(pcre-devel openssl-devel)---假设不进行安装 [root@TEST ~]# yum install -y pcre-devel openssl-devel 4…

环境篇:Virtualbox+Vagrant安装Centos7 1 安装Vagrant Vagrant下载地址:https://www.vagrantup.com/ Vagrant百度网盘:https://pan.baidu.com/s/1jqnMml024niqWQPbrGVuJw提取码:xv8h 傻瓜安装即可 vagrant -v 查看版本 2 下载virtualbox.box镜像 virtualbox.box百度网盘:https://pan.baidu.com/s/1EBrysc13fd0…