一,先从官网下载:http://kafka.apache.org/downloads 二,解压压缩包(虽然后缀是tgz,但和gz解压方式一样):然后mv kafka_2.12-2.3.1 /usr/local/ 接着:cd /usr/local/kafka_2.12-2.3.1/,然后由于之前已经安装和启动了zookeeper,所以可以删掉config下的zookeeper.properties文件[不删也行]: 三,启动 kafka[注意,kafka依赖的zookeeper服务的配置在serv…

一.Spark概述    Spark 是一个用来实现快速而通用的集群计算的平台. 在速度方面,Spark 扩展了广泛使用的 MapReduce 计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理. 在处理大规模数据集时,速度是非常重要的.速度快就意味着我们可以进行交互式的数据操作,否则我们每次操作就需要等待数分钟甚至数小时. Spark 的一个主要特点就是能够在内存中进行计算,因而更快.不过即使是必须在磁盘上进行的复杂计算,Spark 依然比 MapReduce 更加高效. Spark…

Apache Spark™是用于大规模数据处理的统一分析引擎. 从右侧最后一条新闻看,Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台.它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架,用来构建大型的.低延迟的数据分析应用程序.它扩展了广泛使用的MapReduce计算 模型.高效的支撑更多计算模式,包括交互式查询和流处理.spark的一个主要特点是能够在内存中进行计算,及时依赖磁盘进行复杂的运算,Spark依然比MapReduce更加高效.   中间结果输…

搜狗输入法linux安装版,先安装各种依赖包,大概12个依赖,可能中途还需要其他依赖,可以效仿解决依赖问题.如图这12个文件要是手动点击下载,那也太笨点了,我们要用shell命令批量下载.命令如下:wget -c http://http.kali.org/pool/main/f/fcitx/fcitx-libs_4.2.8.5-2_amd64.debwget -c http://http.kali.org/pool/main/f/fcitx/fcitx-libs-qt_4.2.8.5-2_amd…

hadoop2.7.3+spark2.1.0+scala2.12.1环境搭建(4)SPARK 安装 一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文:http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文:http://www.cnblogs.com/liugh/p/6624491.html 二.文件准备 spark-2.…

1. linux安装mysql8.0.12,亲测可用. 以下是安装过程中出现的问题: 1 [root@localtest1 file]# systemctl start mysqld 2 Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld.service" and "journalctl -xe"…

文章更新于:2020-03-24 安装惯例,文件附上链接放在文首. 文件名:scala-2.12.11.tgz 文件大小:19.83 MB 下载链接:https://downloads.lightbend.com/scala/2.12.11/scala-2.12.11.tgz SHA256:25afefb0f1a8c2cdc2a35eb7166de2276a4a1f95986d9bfbe18c60183ab36b85 一.下载Scala 1.可以去官网:https://www.scala-lan…

  组件 官方网站 直接下载地址 备注 mysql http://dev.mysql.com/downloads/mysql/ http://mirrors.sohu.com/mysql/MySQL-5.7/mysql-5.7.12.tar.gz mysql源码 CMake https://cmake.org https://cmake.org/files/v3.5/cmake-3.5.2.tar.gz 编译时使用 Boost http://www.boost.org/ http://120.5…

Linux安装mysql服务器 准备: MySQL-client-5.6.12-1.rhel5.i386.rpm MySQL-server-5.6.12-1.rhel5.i386.rpm 首先检查环境: 输入命令:rpm -qa | grep -i mysql* 将查询到的包名: rpm –e 包名进行卸载 输入命令删除: rm -fr /usr/lib/mysql rm -fr /usr/include/mysql 删除存放数据的文件夹和配置文件: rm –rf /etc/my.cnf rm…

本文主要讲解如何在Linux环境下安装Spark集群,安装之前我们需要Linux已经安装了JDK和Scala,因为Spark集群依赖这些.下面就如何安装Spark进行讲解说明. 一.安装环境 操作系统:Red Hat Enterprise Linux 6 64 位(版本号6.6) JDK版本:1.8 Scala版本:2.12.2 Spark版本:2.2.0 172.18.3.135 主节点 172.18.3.136 从节点 172.18.3.137 从节点 之后的操作如果是用普通用户操作的话也必…

高性能Linux服务器 第10章    基于Linux服务器的性能分析与优化 作为一名Linux系统管理员,最主要的工作是优化系统配置,使应用在系统上以最优的状态运行.但硬件问题.软件问题.网络环境等的复杂性和多变性,使得对系统的优化变得异常复杂,如何定位性能问题出在哪个方面,是性能优化的一大难题.本章从系统人手,重点讲述由于系统软.硬件配置不当造成的性能问题,并且给出了检测系统故障和优化性能的一般方法和流程. 10.1  系统性能分析的目的 10.1.1  找到系统性能的瓶颈系统的性能是指操作…

一.基本简介 Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户.多任务.支持多线程和多CPU的操作系统. Linux能运行主要的UNIX工具软件.应用程序和网络协议.它支持32位和64位硬件.Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统. Linux vs Windows 目前国内Linux更多的是应用于服务器上,而桌面操作系统更多使用的是 Windows.主要区别如下: 二.安装 可以去官网下载最新版本:htt…

linux 安装 powershell Intro powershell 已经推出了一个 Powershell Core, 版本号对应 Powershell 6.x,可以跨平台,支持 Linux 和 mac. 这使得对于熟练使用 Powershell 进行开发运维的一些开发者来说无疑是个福音. 今天就来在 Linux 上安装 powershell,以 centos7 为例介绍安装 powershell. PowerShell 和 PowerShell Core 那Windows PowerShe…

一.基本简介 Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户.多任务.支持多线程和多CPU的操作系统. Linux能运行主要的UNIX工具软件.应用程序和网络协议.它支持32位和64位硬件.Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统. Linux vs Windows 目前国内Linux更多的是应用于服务器上,而桌面操作系统更多使用的是 Windows.主要区别如下: 二.安装 可以去官网下载最新版本:htt…

一.Linux安装 首先我按照老师所给的步骤下载了VirtualBox 5.2.6和Ubuntu 16.04.3.有流程下载很简单,但是在下载的过程中还是出现了一些问题. 1.VirtualBox 只能安装32位的系统 经过百度搜寻找到了解决问题的方法,需要在开机时要到BIOS里设置一下,开启CPU虚化.具体步骤为<解决VirtualBox只能安装32位系统的问题> 2.按照老师所给的链接下载了Ubuntu之后无法打开 未发现是什么原因,不过通过其他渠道重新下载之后就可以正常打开了. 二.Li…

计算机操作系统简介 操作系统是什么 操作系统的内核是什么 两种操作系统用户界面 安装Linux操作系统的准备工作 LINUX发行版(CENTOS.RHEL.FEDORA.UBUNTU.SUSE) RHEL与CENTOS的关系 为什么选择Red Hat Enterprise Linux 安装Linux操作系统 图形安装 最小化安装  [本节内容]1. 计算机操作系统简介1) 掌握操作系统的定义:操作系统是一个用来协调.管理和控制计算机硬件和软件资源的系统程序,它位于硬件和应用程序之间..2) 掌握…

#Linux安装及命令入门 安装虚拟机 学习了娄老师的博客<基于VirtualBox虚拟机安装Ubuntu图文教程>,我下载了最新版的VirtualBox和16.04版的Ubuntu.根据教程的步骤我安装了虚拟机,但是Ubuntu的图形界面出现了问题,试了很多网上的解决方案都没能解决.VirtualBox也出现了错误. 我使用了另一款虚拟机软件VMware Workstation Pro 12,Ubuntu系统正常运行. 接下来安装VMware Tools(相当于VirtualBox中的增强功…

Linux 安装 本章节我们将为大家介绍Linux的安装. 本章节以 centos6.4 为例. centos 下载地址: 可以去官网下载最新版本:https://www.centos.org/download/ 以下针对各个版本的ISO镜像文件,进行一一说明: CentOS-7.0-x86_64-DVD-1503-01.iso : 标准安装版,一般下载这个就可以了(推荐) CentOS-7.0-x86_64-NetInstall-1503-01.iso : 网络安装镜像(从网络安装或者救援系统…

爬虫数据存储--安装docker和ElasticSearch(基于Centos7) 先决条件 操作系统要求 要安装Docker Engine-Community,您需要一个CentOS 7的维护版本.不支持或未测试存档版本. 该centos-extras库必须启用.默认情况下,此存储库是启用的,但是如果已禁用它,则需要 重新启用它. overlay2建议使用存储驱动程序. 卸载旧版本 较旧的Docker版本称为docker或docker-engine.如果已安装这些程序,请卸载它们以及相关的依赖…

把Linux安装到移动硬盘上 转载于:http://mrkh.me/install-linux-on-a-portable-hard-drive.html 这一篇文章讲一下,怎么把linux安装到移动硬盘上,并且由移动硬盘独立引导,与本地硬盘系统完全隔离,互不影响. 这之前我先讲一下,为什么要把Linux系统作为独立引导安装到移动硬盘上.就Linux的学习而言,一般有以下几种方法,每一种方法都有自己的优点,而这里我要说一下缺点: 1.使用虚拟机,安装Linux,缺点:硬件是虚拟的,win上的虚拟…

1.准备oracle安装文件Oracle11gR2包含两个文件linux_11gR2_database_1of2.zip和linux_11gR2_database_2of2.zip,将这两个文件通过SSH上传到/usr/local/oracle中. 解压安装文件到当前目录[root@localhost root]#cd /usr/local/oracle[root@localhost oracle]#unzip linux_11gR2_database_1of2.zip[root@localho…

导读 Go 语言又称为 golang, 是由 Google 最初开发的一种开源编程语言,其在设计时就遵循了简单.安全和速度的 3 大原则.Go 语言具有多种调试.测试.分析和代码审查工具,如今 Go 语言和工具已在大多数 Linux 发行版本的源库中进行提供,本文我就来说明如何为 Linux 安装 Go 语言. Ubuntu.Debian或Linux Mint安装Go语言 基于 Debian的 Linux 发行版本都可以使用 apt-get 命令来进行安装: sudo apt-get insta…

1.概述     Anaconda是RedHat.CentOS.Fedora等Linux的安装管理程序.它能够提供文本.图形等安装管理方式,并支持Kickstart等脚本提供自己主动安装的功能.此外,其还支持很多启动參数,熟悉这些參数可为安装带来非常多方便.该程序的功能是把位于光盘或其它源上的数据包,依据设置安装到主机上.为实现该定制安装,它提供一个定制界面,能够实现交互式界面供用户选择配置(如选择语言,键盘,时区等信息).Anaconda的大部分模块用Python编写,有少许的加载模块用C编写…

linux安装svn下载 http://subversion.tigris.org/downloads/subversion-1.6.6.tar.gz 和 http://subversion.tigris.org/downloads/subversion-deps-1.6.6.tar.gz 1./configure --prefix=/opt/svn --without-berkeley-db --with-zlib=/usr/local/subversion-1.6(此处指明位置)     …

LINUX安装SVN+添加自动同步+远程下载最新代码---------------------1. 新建一个用户:svnroot ,以下操作非特别说明皆为root用户操作---------------------#这个用户可以用来后面专门FTP远程下载该服务器上的代码的账号groupadd svnuseradd svnroot -g svnpasswd svnrootxxx---------------------2.进入/home/svnroot 目录,然后下载SVN,并解压---------…

因为最近Deep Learning十分热门, 装一下TensorFlow学习一下. 本文主要介绍安装流程, 将自己遇到的问题说明出来, 并记录自己如何处理, 原理方面并没有能力解释. 由于本人之前从来没有用过Linux, 本文章恐有初级错误, 望见谅, 谢谢. (本文写于2017年3月17日) 为了能够利用GPU(NVIDIA GTX1080)运行TensorFlow, 根据调查需要按顺序安装以下内容: Ubuntu, NVIDIA驱动, CUDA, cudnn, TensorFlow 安装Ub…

Nginx 安装及配置 一.Nginx 简介: Nginx("engine x") 是一款是由俄罗斯的程序设计师 Igor Sysoev 所开发高性能的 Web和 反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器.在高连接并发的情况下,Nginx 是 Apache 服务器不错的替代品.是 C 语言编写的,建议在 Linux 运行. 二.环境软件版本准备: 系统平台:CentOS release 6.6 (Final) 64位. Nginx:nginx-1.10.3.t…

kali linux安装搜狗输入法比较麻烦,因为有很多依赖项,不过安装好就很好用,觉得麻烦的一般安装ibus,经典,也常更新. 下面就说说怎么安装搜狗输入法: 先去http://http.kali.org/pool/main/f/fcitx/这个网址下载一些相关的软件包,需要的软件包如下:(最新的4.9的有两个包没有,所以使用4.8的版本) 分享一个下载地址: https://yunpan.cn/cB7fXhmJcvZmI  访问密码 ec66 fcitx-libs_4.2.8.5-2_amd6…

20165226 预备作业3 Linux安装及学习 Linux安装 一.下载安装VirtualBox 1.首先在官网下载,点开基于VirtualBox虚拟机安装Ubuntu图文教程 找到版本进行下载安装. 疑问:下载后打开,电脑显示的是挂载成功,然后就没然后了. 解决途径:网上查找资料,重新再下载了几个版本. 二.安装Ubuntu 1.是虚拟机的创建. 疑问:演示中虚拟机内存需要很大的量,但本身电脑能提供的很少 解决方法:按比例减小虚拟机内存设定. 2.安装Ubuntu系统软件 疑问:点开启动后…

20165230 预备作业3 Linux安装及学习 安装Linux操作系统 通过学习实践基于VirtualBox虚拟机安装Ubuntu图文教程,开始了虚拟机的安装,根据教程按着步骤一步一步的完成. 遇到的问题: 1.在安装Ubuntu系统软件的时候,点开官网下载页出现了错误,下载未能成功 2.在选择启动盘的时候没有直接选择压缩包,而是解压后选择的文件,出现了安装错误 解决办法: 1.通过求助于同学,得到了Ubuntu系统软件的下载资源,得以成功下载 2.通过重新下载Ubuntu系统软件,并重新选…