安装Spark需要先安装jdk及安装Scala. 1. 创建目录 > mkdir  /opt/spark > cd  /opt/spark 2. 解压缩.创建软连接 > tar  zxvf  spark-2.3.0-bin-hadoop2.7.tgz > link -s spark-2.3.0-bin-hadoop2.7  spark 4. 编辑 /etc/profile > vi /etc/profile 输入下面内容 export SPARK_HOME=/opt/spar…

实验基于Centos 6.2 升级linux内核 直接在一个有编译环境的设备上,编译升级内核很简单. make menuconfig 或者 拷贝现有系统的.config文件 修改.config文件  CONFIG_DEBUG_INFO=n (避免编译产生文件过大) make oldconfig make all -j4 make modules_install make install 制作linux内核安装包 有时需要在虚拟机上编译好内核后,安装到另外的设备上,而设备上工具有限,没有编译开发环…

linux多种安装包格式的安装方法 一.rpm包安装方式步骤:1.找到相应的软件包,比如soft.version.rpm,下载到本机某个目录: 2.打开一个终端,su -成root用户: 3.cd soft.version.rpm所在的目录: 4.输入rpm -ivh soft.version.rpm 二.deb包安装方式步骤: 1.找到相应的软件包,比如soft.version.deb,下载到本机某个目录: 2.打开一个终端,su -成root用户: 3.cd soft.version.deb…

寻找Linux单机负载瓶颈 服务器性能上不去,是哪里出了问题?IO还是CPU?只有找到瓶颈点,才能对症下药: 如何寻找Linux单机负载瓶颈,遵循的原则是不要推测,我们要通过测量的数据说话: 负载分两类: 1.CPU负载: 2.IO负载: 排查流程 1.查看平均负载(top/uptime命令) 2.确认CPU.IO有无瓶颈:(使用 sar vmstat) 3.CPU负载过高时寻找流程: 4.IO负载过高时寻找流程: 查看平均负载 先通过top命令查看服务器是否出现负载过重的状况,之后,再具体使用…

公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分布式集群的安装步骤及基本操作,包括:Hadoop HDFS的安装.配置.基本操作等内容. 参考文档 <Hadoop: Setting up a Single Node Cluster.> http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dis…

參考:1529864.1 ************************************************** RAM                                  Swap Space Between 1 GB and 2 GB       1.5 times the size of RAM Between 2 GB and 16 GB      Equal to the size of RAM More than 16 GB                …

1. which命令查找出相关命令是否已经在搜索路径中: $which gcc //显示出GNC的C编译器安装在哪个目录 返回: /usr/bin/gcc 注意:如果which没有找到要找的命令,可以试试whereis,该命令搜索更大的范围的系统目录.有些系统上的which命令不显示用户没有执行权限的文件. $which ipppd/usr/bin/which :no ipppd in (/bin: /usr/bin: /sbin:/usr/sbin)$whereis ipppdipppd: /…

1.Rpm安装包命令(以dhcp软件包为例)----Rpm安装软件包需要解决依赖性,因此特别麻烦(如图2被需要). rpm与yum安装的均为二进制软件包.类似于windows下载的软件包,可直接安装使用. rpm -qa | grep dhcp 查看系统是否安装dhcp*软件包 rpm -ivh dhcp          安装软件包(i--install  v) rpm -e  dhcp            卸载软件包 rpm  -ql  dhcp           软件包安装路径 rpm…

一. Spark简介 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发.Spark基于map reduce 算法模式实现的分布式计算,拥有Hadoop MapReduce所具有的优点:但不同于Hadoop MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,节省了磁盘IO耗时,性能比Hadoop更快. 所以,相对来说Hadoop更适合做批处理,而Spark更适合做需要反复迭代的机器学习.下面是我在ubuntu14.04中配置Spark…

原文地址:点击打开链接 今天在Linux上部署项目,用到了Mysql,因此想要下载适用于Linux的安装版本,在Mysql官网找了半天,终于找到怎样下载了,这里写出来,以后大家找的时候就好找了. 第一步:在百度输入Mysql,然后我们点击第一个链接,如下图所示. 第二步:点击上图的链接之后,我们会看到如下图所示的界面,我们点击"Download"子菜单中的" Community ",如下图所示. 第三步:点击上图的"Community"之后,我们…