1.文件内容操作相关命令 cut 根据条件 从命令结果中 提取 对应内容 -c  按字符选取内容 例子:head -2 1.txt | cut -c 5 截取前两行的第五个字符 -d  '分隔符'   指定分隔符 -f  n1,n2     分割以后显示第几段内容, 使用(,)拼接 也可以写成 -f  1,2  或者 -f 1-2 例子:head -2 1.txt | cut -d ':' -f 1,2 读取前两行内容后按照:切割 显示第一段和第二段内容 sort 可针对文本文件的内容,以行为单…

1:文件操作类指令 ls 是英文单词list 的简写, 其功能为列出目录的内容,是最常用的命令之一 -a all 显示指定目录下所有子目录与文件, 包含隐藏文件 -l 以列表方式显示文件的详细信息 -h human-readable 配合 -l 以人性化的方式显示文件大小 搭配通配符 (*)号和(?)号可以查看以什么开头结尾的文件信息做模糊查询用 星号表示任意个数任意字符 问号表示一位任意字符 ls -l  可以简写为 ll cd 是英文单词change directory的缩写, 其功能为 更…

昨天我们看了有关大数据Hadoop的一些知识点,但是要在学习大数据之前,我们还是要为大数据的环境做一些的部署. 那么,今天我们就来讲讲开启我们大数据之路的Linux,跟上我们的脚步yo~ Linux介绍 Linux是我们当前各大系统中一种自由和开源的OS,虽然市面上有各种各样的版本,但是他们拥有同一个内核.我们在这个内核上面,自己添加一些程序后,就是我们之后称之的开发版本. 其中包括了两大阵营,它们分别是:Redhat系列和Debian系列.我们看到的红帽,centos就是第一个阵营的,而ubu…

回顾这一个多月以来闭关学大数据的一些相关重要知识,就当复习,顺便以备以后查看 Linux学习第一步自然是安装Linux. 关于Linux 首先介绍下Linux,Linux系统很多程序员开发者其实都耳熟目染,但是相信大多数都跟我一样,都知道那是一个小黑窗的操作系统.然后对此不屑一顾,觉得做什么事都要用命令行去操作实在是麻烦,是的在如今Windows和MacOS系统这些能提供强大的可视化操作系统面前,Linux系统的确算是还没开化的原始人.但是只有实实在在接触了解学习了Linux才知道,命令行后面的…

在日常开发过程中,除了例行调度的任务和直接在开发环境下比如Scripts,开发,很多情况下是shell下直接搞起(小公司一般是这样),看一下常见的linux后台运行和关闭的命令,这里做一个总结,主要包括:fg.bg.jobs.&.nohup.ctrl+z.ctrl+c 命令等 一.& 加在一个命令的最后,可以把这个命令放到后台执行,如 watch -n 10 sh test.sh & #每10s在后台执行一次test.sh脚本 回到顶部 二.ctrl + z 可以将一个正在前台执行…

1.user ss is currently user by process 3234 问题原因:root --> ss --> root 栈递归一样 解决方式:exit 退出当前到ss再退出到root 然后执行命令即可. 2.列出某目录下的目录而不是文件 参考:ls --https://jingyan.baidu.com/article/e8cdb32b100dd537052badc5.html 3.登录用户与当前用户 whoami 当前用户 who am i 登录用户 其中有root权限才…

一.引言 在完成了Storm的环境配置之后,想着鼓捣一下Hadoop的安装,网上面的教程好多,但是没有一个特别切合的,所以在安装的过程中还是遇到了很多的麻烦,并且最后不断的查阅资料,终于解决了问题,感觉还是很好的,下面废话不多说,开始进入正题. 本机器的配置环境如下: Hadoop(2.7.1) Ubuntu Linux(64位系统) 下面分为几个步骤来详解配置过程. 二.安装ssh服务 进入shell命令,输入如下命令,查看是否已经安装好ssh服务,若没有,则使用如下命令进行安装: sudo…

一.引言: 在storm发布到0.9.x以后,配置storm将会变得简单很多,也就是只需要配置zookeeper和storm即可,而不再需要配置zeromq和jzmq,由于网上面的storm配置绝大部分都是0.9以前的storm版本,所以有很多工作是不需要进行的,下面就storm的0.9.5版本在linux环境下进行配置进行详细解析. 由于配置storm只需要两个步骤,大大简化了配置,也是storm团队做了很大的努力,让程序员们专注于程序,让storm配置进行异常简单,好了,废话说了不少,下面正…

当你安装好一台Linux之后,第一步自然是配置网卡,让你的Linux上网. 配置网卡大多数有两种模式,一种是桥接,一种是NAT 首先讲一下桥接网卡的上网原理,他是等同于在你现有的网络环境上直接现加一台电脑,走独立网络.不依托于你的windows主机 NAT联网方式呢就是通过VMware虚拟一个交换机,只要你的Windows能上网,它就能上网,不会被你换路由器换网络而改变,等于它用的是你Windows主机的网络  那么问题来了,我是使用NAT还是桥接呢.如果你以后搭建集群的时候电脑是分开的,独立的…

1 Linux的入门 1.1 概述 Linux内核最初只是由芬兰人林纳斯·托瓦兹(Linus Torvalds)在赫尔辛基大学上出于个人爱好而编写的. Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户.多任务.支持多线程和多CPU的操作系统.Linux能运行主要的UNIX工具软件.应用程序和网络协议.它支持32位和64位的硬件.Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统. 目前市面上较知名的发行版有:Ubunt…

四 查到命令 1 查找可执行的命令所在的路径 which ls 查ls命令所在的路径 2 查找可执行的命令和帮助的位置 whereiis ls 3 从某个文件夹开始查找文件 find / -name "hadoop*" 在根目录下根据名字查找hadoop文件 find / -name "hadoop*" -ls 4查找并删除 find / -name "hadoop*" -ok rm {} \; find /-name "hadoop&…

用户 是Linux系统工作中重要的一环, 用户管理包括 用户 与 组 管理,在Linux系统中, 不论是由本级或是远程登录系统, 每个系统都必须拥有一个账号, 并且对于不同的系统资源拥有不同的使用权限对 文件 / 目录 的权限包括: 序号 权限 英文 缩写 数字代码 01 读 read r 4 02 写 write w 2 03 执行 execute x 1 04 无权限  -    0 ls -l 可以查看文件夹下文件的详细信息, 从左到右 依次是: 权限,             第一个字符…

之前写过一篇关于Linux服务器系统的安装与网关的配置,那么现在我们要进一步的搭建多台Linux服务器集群. 关于单台服务器的系统搭建配置就不在赘述了,详情见https://www.cnblogs.com/sky9408251/p/12034904.html 那么好,现在我们来开始搭建多台Linux服务器集群. 首先第一步,准备环境,我们需要准备环境有三台硬盘空间大于40G 内存最好在4G或以上内存的电脑.之前说过如果是搭建在不同电脑上,那么我们需要用到的联网模式就是桥接模式,如果你没有那么多电…

因测试需要,一共安装4台linux系统,在windows上用vm搭建. 对应4个IP为192.168.1.60.61.62.63,这里记录其中一台的搭建过程,其余的可以直接复制虚拟机,并修改相关配置即可. 软件版本选择: 虚拟机:VMware Workstation 12 Pro   版本:12.5.9 build-7535481 Linux:CentOS-7-x86_64-DVD-1804 FTP工具:FileZilla-3.37.4 安装CentOS虚拟机 首先安装虚拟机,成功后重启电脑 新…

4.1 Linux系统软件安装方式 Linux上的软件安装有以下几种常见方式: 1.二进制发布包 软件已经针对具体平台编译打包发布,只要解压,修改配置即可 2.RPM发布包 软件已经按照redhat的包管理工具规范RPM进行打包发布,需要获取到相应的软件RPM发布包,然后用RPM命令进行安装 3.Yum在线安装 软件已经以RPM规范打包,但发布在了网络上的一些服务器上,可用yum在线安装服务器上存在的rpm软件,并且会自动解决软件安装过程中的库依赖问题 (注:类似于maven) 4.源码编译安装…

三 文件操作 1创建文件 touch somefile.txt 创建一个空文件somefile.txt > 重定向操作符 echo "woshiwoa"> some.txt 将woshiwoa写入到some.txt 文件中,如果文件不存在则会创建出来 echo "www.baidu.com" >> some.txt 将文字追加在文件后面,不会覆盖原文件内容. ll >2.txt 将ll的内容写入到2.txt(先创建2.txt,再查看ll…

今天开始配置环境,因为下载镜像文件需要很长时间,加上训练,所以Linux环境之配置了一半 VMware下载及安装教程(Window) 在安装虚拟机时需要下载镜像文件 下面是我下载的镜像文件的地址 CentOS-7-x86_64-DVD-2009.iso 有其他需要的 可以参考这个博客…

1 挂载外部存储设备 可以挂载光盘.硬盘.磁带.光盘镜像文件等 1/ 挂载光驱 mkdir   /mnt/cdrom      创建一个目录,用来挂载 mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/     将设备/dev/cdrom挂载到 挂载点 :  /mnt/cdrom中 2/ 挂载光盘镜像文件(.iso文件)(Alt+P) mount -t iso9660 -o loop  /home/hadoop/Centos-6.7.DVD.iso /mn…

系统管理操作 1 挂载外部存储设备 可以挂载光盘.硬盘.磁带.光盘镜像文件等 1/ 挂载光驱 mkdir   /mnt/cdrom      创建一个目录,用来挂载 mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/     将设备/dev/cdrom挂载到 挂载点 :  /mnt/cdrom中 2/ 挂载光盘镜像文件(.iso文件) mount -t iso9660 -o loop  /home/hadoop/Centos-6.7.DVD.iso /mn…

二.目录操作 1 查看目录信息 ls / 查看根目录下的文件信息 ls . 或者 ls ./查看当前目录下的文件信息 ls ../查看根目录下 ls /home/hadoop ls -l . 查看当前目录的详细信息 ls -l -h或者ls -lh 查看详细信息带单位 ls -lha -a是显示隐藏文件   -l是以更详细的列表形式显示 2 切换工作目录 cd / 跳到根目录 cd /home/hadoop 切换到hadoop目录 cd ~     ## 切换到用户主目录 cd  什么路径都不带…

一.基本日常操作命令 1 查看当前所在工作目录的全路径 pwd 2 查看当前系统的时间 date 设置时间,date -s"2018-11-12" 修改时间后,需要写入硬件bios才能在重启之后生效,hwclock -w 3 查看哪些人登录了服务器 命令 who 查看最近的登录人 last last -3 最近的三个人登录 4 关机/重启 关机,必须用root用户 shutdown -h now  立刻关机 shutdown -h +10 十分钟之后关机 shutdown -h 12:…

ifconfig 查看ip,没有ip时需要配置 配置步骤: 1输入命令setup,选择network configuration,选择runtool,选择device configuration,选择eth0,修改Use DHCP,把* 用空格键删除,修改static ip为192.168.17.10(不能跟网关ip一样),子网掩码 netmask 为255.255.255.0,default gateway ip为192.168.17.2,seconary DNS Server 为8.8.8.…

今天设置网络 出现报错 明天找时间解决 不用解决了 刚才试了以下 又能下载了 描述一下问题: cannot find a valid baseurl for repo:base/7/x86_64 如果博客中提到的两个解决办法不能帮助你 可以试一下切换电脑连接的网络 明天继续配置环境…

课程介绍 本课程是由猎豹移动大数据架构师,根据公司大数据平台的运维情况,精心设计和打磨的大数据必备Linux课程.通过本课程的学习大数据新手能够少走弯路,快速掌握Linux常用命令及Shell编程,为后续大数据课程的学习奠定了坚实的基础.   适用人群 1.缺乏Linux基础的学员 2.转行想学大数据的学员   课程视频下载地址(视频完整,无加密) 链接:https://pan.baidu.com/s/1DWy5kDLjrsNSv98yPiicYQ 提取码:twzr         课程大纲  …

Java,面试题,简历,Linux,大数据,常用开发工具类,API文档,电子书,各种思维导图资源,百度网盘资源BBS论坛系统 ERP管理系统 OA办公自动化管理系统 车辆管理系统 家庭理财系统 各种后台系统 一.面试题.简历资源 二.各类思维导图 三.大数据学习 四.Linux 五.各类常用开发工具类 六.百度网盘各类资源,包含java开发,项目实战,MYSQL,框架学习,大数据,Linux等等,应有尽有 百度网盘面试题资源 MySQL数据库 七.管理系统 程序员的道路,是一个不断不断不断学习的…

一.概述 1.HDFS中的角色 Block数据: HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,之前的版本中是64M 基本存储单位,一般大小为64M(配置大的块主要是因为:1)减少搜寻时间,一般硬盘传输速率比寻道时间要快,大的块可以减少寻道时间:2)减少管理块的数据开销,每个块都需要在NameNode上有对应的记录:3)对数据块进行读写,减少建立网络的连接成本) 一个大文件会被拆分成…

http://www.wex5.com/wex5/?qb360=wex501=3534 前端技术 HTML,CSS,JavaScript,EasyUI,Jquery,HTML5,CSS3,JqueryMobile,BootStrap 数据库技术 MSSQL,MySQL,Oracle,MongoDB,Redis 企业级应用 微信开发,WebLogic,Tomcat集群, Apach集群 大数据技术 Linux.Shell编程.Java性能调优 , Linux+Nginx+Java+Memcache…

Linux学习笔记整理 上一篇博客中,我们详细地整理了如何从0部署一套Linux操作系统,那么这一篇就承接上篇文章,我们仔细地把Linux的一些基础知识以及常用指令(包括一小部分高级命令)做一个梳理,好了,现在开始吧! 1. Linux介绍 在介绍Linux之前,先要介绍一下Unix操作系统,说到两者之间的关系,"Unix是Linux的父亲"这个说法更为恰当,Unix是作为一款商业软件而存在的,主要运行在大型服务器和小型机上,不开源,不免费,大多与硬件配套,也就是说,大多数 UNIX…

本课主题 Linux 休系结构图 Linux 系统启动的顺序 Linux 查看内存和 CPU 指令 环境变量加载顺序 Linux 内存结构 Linux 休系结构图 Linux 大致分为三个层次,第一层是就是 用户空间层,就是离我们最近的层,它一般有Shell和应用程序,大数据基乎所有的应用软件都在用户空间层,另外就是核心层,它是 Linux 的内核,它负责与硬件进行交互,为系统的用户空间提供服务.为了不让用户空间直接访问内核的地址空间,它做了限制,加了一层 System Call,防止系统当机.…

Linux环境搭建完整操作流程(包含mysql的安装步骤) 从现在开始,就正式进入到大数据学习的前置工作了,即Linux的学习以及安装,作为运行大数据框架的基础环境,Linux操作系统的重要性自然不言而喻,我将分成两个部分来做梳理,第一部分是实操部分,即整个从0搭建Linux的完整操作流程,第二部分是理论部分,将会梳理Linux操作系统的各种指令以及基本知识,好了,那么我们开始吧! 1. 安装准备 安装Linux虚拟机之前我们首先要准备两个东西:VMware以及Centos的镜像文件 安装VMw…