一: python3.6.x在Ubuntu16.04下安装过程 #(1)保证网络正常连接 sudo add-apt-repository ppa:jonathonf/python-3.6  (如果超时,在运行一次) sudo apt-get update            (更新软件列表,拿取最新资源) sudo apt-get install python3.6 (安装python3.6版本) #(2)调整Python3的优先级,使得3.6优先级较高) sudo update-altern…

Linux基础 直接选择排序>快速排序>基数排序>归并排序 >堆排序>Shell排序>冒泡排序=冒泡排序2 =直接插入排序 一.Linux磁盘分区表示 Linux中将硬盘.分区等设备均表示为文件 例如:/dev/hda5 dev表示硬件设备文件所在的目录 hd表示IDE设备,sd则表示SCSI设备 a代表硬盘的序列号,以字母a.b.c表示 5表示分区的顺序号,以数字1.2.3表示,主分区从1开始到4,逻辑分区从5开始 二.文件系统类型 默认使用的: EXT4:第四代扩展…

计算机原理 计算机发展史 机器语言—让机器干活 差分机—让机器的数学运算和逻辑运算只简化成“加法”,计算机只处理“加法” 计算机硬件CPU=运算器+控制器+寄存器(缓存)硬盘=存储器+寄存器寄存器是为了缓解各子硬件之间的速度差​​ 运算器运算器+控制器=cpu 控制器运算器+控制器=cpu 存储器 内存基于“电的方式”工作,速度快,临时存放数据 硬盘基于“磁的方式”工作,速度慢,永久存放数据 输入设备 如鼠标.键盘.麦克风等 输出设备 如显示器.音响等 计算机=硬件+软件(系统软件+应用软件)…

绝对路径:cd /home/python相对路径:cd Downloads . 表示:当前那路径..表示:当前路径的上一层../.. 表示:当前路径的上二层 没有...或者以上的 ls: ls 查看当前路径下的文件以及文件夹的名字 ls /bin 表示:查看根目录下的bin文件夹下的东西 ls Documents 表示:查看当前路径下的Documents文件夹下的所有东西 ls *: * 表示任意多个字符,也可以没有 ? 表示一个字符,一定有1个,不能没有 [xn] 表示:中括号中的任意一个字符…

linux基础增强 查找命令 grep命令  (print lines matching a pattern) 概述: grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来 格式: grep [option] pattern [file] 使用实例: ps -ef | grep sshd ->查找指定ssh服务进程 ps - report a snapshot of the current processes. 显示当前进程 -ef To see every p…

linux的shell编程 基本了解 概述 Shell是一个用C语言编写的程序,通过shell用户可以访问操作系统内核服务,它类似于DOS下的command和后来的cmd.exe.Shell既是一种命令,也是一种程序设计语言 Shell Scripts是一种为Shell编写的脚本程序.Shell编程一般指Shell脚本编程,不是指开发Shell自身 Shell编程跟Java.PHP编程一样,只要有一个能编写代码的文本编辑器,和一个能解释执行的脚本编辑器就可以了 Linux的Shell种类众多,一…

目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包到libext目录 5.拷贝mysql的驱动包到libext目录下 6.上传ext-2.2.zip压缩包到libext目录下 7.修改oozie-site.xml 8.创建mysql数据库 9.上传oozie依赖的jar包到hdfs上面去 10.创建oozie的数据库表 11.打包项目,生成war包…

目录 Hue的简单介绍 概述 核心功能 安装部署 下载Hue的压缩包并上传到linux解压 编译安装启动 启动Hue进程 hue与其他框架的集成 Hue与Hadoop集成 Hue与Hive集成 Hue与Impala集成 Hue与Mysql集成 Hue与oozie集成 Hue的简单介绍 概述 CDH Hue官方帮助文档:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0/user-guide/introducing.html Hue…

Hive调优手段 最常用的调优手段 Fetch抓取 MapJoin 分区裁剪 列裁剪 控制map个数以及reduce个数 JVM重用 数据压缩 Fetch的抓取 出现原因 Hive中对某些情况的查询不必使用MapReduce计算.在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台.(原则就是能不用MapReduce就不用MapReduce) 比如以下这几种情况: SELECT * FROM score; SELECT s_score FROM s…

目录 impala的简单介绍 概述 优点 缺点 impala和Hive的关系 impala如何和CDH一起工作 impala的架构及查询计划 impala/hive/spark 对比 impala的安装部署 安装环境准备 下载impala的所有依赖包 挂载磁盘 上传压缩包并解压 制作本地yum源 开始安装impala 所有节点配置impala impala的简单介绍 概述 有两个关于impala介绍的网址: https://docs.cloudera.com/documentation/ente…