依赖的安装包 首先hadoop和spark肯定是必须的,而hadoop是用java编写的,spark是由Scala编写的,所以还需要安装jdk和scala. 大数据第三方组件我们统统都安装在/opt目录下,首先这个目录当前是空的 我们创建相应的目录,用于存放对应的组件 然后将相应的gz包进行上传 安装jdk 此刻在/opt目录 tar -zxvf ./jdk-8u221-linux-x64.tar.gz -C ./java 然后添加到环境变量,我一般添加到~/.bashrc里面去 export…

linux上搭建ftp 重要 解决如何搭建ftp         解决用户指定访问其根目录         解决访问ftp超时连接         解决ftp主动连接.被动连接的问题 1.安装ftp    安装ftp前,先把防火墙关闭 #service iptables stop   (挺重要) 安装好后再根据需要的端口 添加到 iptables 直接用yum安装 vsftp # .执行以下安装命令 yum install -y vsftpd # .设置开机启动服务 chkconfig vsft…

Nginx Nginx (engine x) 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器 特点:反向代理 负载均衡 动静分离… 反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器. 正向代理:需要我们用户手动设置第阿里服务器的ip地址和端口号 负载均衡,英文名称为Load Ba…

linux上搭建ftp 重要 解决如何搭建ftp         解决用户指定访问其根目录         解决访问ftp超时连接         解决ftp主动连接.被动连接的问题 1.安装ftp    安装ftp前,先把防火墙关闭 #service iptables stop   (挺重要) 安装好后再根据需要的端口 添加到 iptables 直接用yum安装 vsftp # .执行以下安装命令 yum install -y vsftpd # .设置开机启动服务 chkconfig vsft…

CentOS Linux上搭建PPPoE服务器及拨号设置 搭建PPPoE,成功了的话,就觉得超级简单,在CentOS Linux更是5步左右就能搞定. 1.安装pppoe,安装完成后,会有pppoe-server命令yum install rp-pppoe 2.安装完成后,会在动在/etc/ppp目录下生成pppoe-server-options文件,文件内容如下,照着改就可以了写道# PPP options for the PPPoE server # LIC: GPL require-pap…

Linux上搭建Samba,实现windows与Linux文件数据同步 2018年06月09日 :: m_nanle_xiaobudiu 阅读数 15812更多 分类专栏: Linux Samba 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/m_nanle_xiaobudiu/article/details/80631437 win2008r2 可以链接了 但是 win2019 还…

一.    实验环境 Ubuntu server14.04 openfire:http://www.igniterealtime.org/downloads/index.jsp spark:http://www.igniterealtime.org/downloads/index.jsp JDK:要求1.7以上 二.安装过程 1.首先在安装openfire之前,先确保你的系统已经更新到最新.以避免后续不必要的麻烦 $ sudo apt-get update $ sudo apt-get upgr…

近期为了分析国内航空旅游业常见安全漏洞,想到了用大数据来分析,其实数据也不大,只是生产项目没有使用Hadoop,因此这里实际使用一次. 先看一下通过hadoop分析后的结果吧,最终通过hadoop分析国内典型航空旅游业厂商的常见安全漏洞个数的比例效果如下: 第一次正式使用Hadoop,肯定会遇到非常多的问题,参考了很多网络上的文章,我把自己从0搭建到使用的过程记录下来,方便以后自己或其他人参考. 之前简单用过storm,适合实时数据的处理.hadoop更偏向静态数据的处理,网上很多hadoop的…

环境:centos7 一.搭建svn服务 1. 安装svn yum -y install subversion 2. 创建一个目录作为svn服务的地址(svn://192.168.0.2:3690 访问的目录,作为所有仓库的根目录) mkdir /home/svn 3. 在svn目录下为一个需要版本控制的项目创建仓库,一个svn服务可以有多个仓库 svnadmin create /home/svn/tp5 tp5目录下不要直接添加,删除,随意修改文件,要使用svn客户端操作.否则仓库可能报废 4…

linux分以下几台 monogos mongocfg mongod1 mongod2 1.用ssh把 mongodb-linux-x86_64-3.0.6.tgz 移到linux /root上 2.解压到/root/mongodb-3.0.6/ tar zxf mongodb-linux-x86_64-.tgz 3.添加data和log文件夹 mkdir date mkdir log 4.在log文件夹中添加logs.log touch logs.log 5.创建文件/root/mongodb…