##大数据学习 古斌6.6

01. linux系统的搭建:
选用 Contos 6.5 x64位系统 (CentOS-6.5-x86_64-minimal.iso) 我选择的为迷你版
模板机:
blank ip 192.168.6.10
克隆机:
bigdata01 ip:192.168.6.11 域名:bigdata01
bigdata02 ip:192.168.6.12 域名:bigdata02
bigdata03 ip:192.168.6.13 域名:bigdata03
bigdata04 ip:192.168.6.14 域名:bigdata04
(修改域名映射 vi etc/hosts)
记住 只要修改网络 必须重启网络 service network restart
windows 下修改hosts
C:\Windows\System32\drivers\etc\hosts
1. 创建一个模板系统 方便克隆
1): 配置网络
设置IP:
VM:编辑>虚拟网络编辑器
vi /etc/sysconfig/network-scripts/ifcfg-eth0
删除UUID和MAC地址
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.6.10
NETMASK=255.255.255.0
GATEWAY=192.168.6.1
DNS1=1921.68.5.1 #如果是VMware的话不要使用222.222... 8.8.8..
rm -fr /etc/udev/rules.d/70-persistent-net.rules
2):关闭防火墙 && 安全检测
关闭防火墙:
chkconfig iptables off #永久关闭
关闭安全检测:
vi /etc/selinux/config
SELINUX=disabled ##注意是修改它的值为 disabled

3):在模板机中创建快照!
进行拷贝:
修改ip
vi /etc/sysconfig/network-scripts/ifcfg-eth0
设置网络名称
vi /etc/sysconfig/network
设置域名访问
vi /etc/hosts
网络相关的修改一定要重启网络服务 service network restart
对这4台模板机 依次创建快照 方便以后使用
注意 windows 也需要加上相对应的hosts指向!!
2.LInux中的脚本编写

1):熟悉常用的命令 (内部命令使用 halp [命令] 学习 外部命令使用 man [命令] 学习)
type 查看属性
type ifconfig
ifconfig is /sbin/ifconfig 显示该文件对应的路径
file 查看文件
file /sbin/ifconfig
/sbin/ifconfig: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.18, stripped
只要看到ELF就代表它是一个 可执行文件
echo 输出执行
echo "shuliu -gu" 普通输出
echo $PATH 输出环境变量
man 帮助手册 需要安装
yum -y install man man-pages
2): Linux中 流 的重新认知
0 代表正常的输入流
1 代表正常的输出流
2 代表异常的输出流
常用命令:
显示磁盘的使用率:
df - h
结果:
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 195G 901M 184G 1% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 194M 28M 157M 15% /boot
显示文件大小(size)
du -sh ./* 查看目录的大小 (不包括子目录)
du -h ./* 查看目录的大小 (包括子目录)
创建 文件夹
深层创建 创建a目录中包括b,c目录
mkdir -p a/b/c
横向创建 创建多个文件夹在同一个目录
mkdir {a,b,c}
深入:创建 va889dir vb889dir ...
mkdir {va,vb,vc}889dir
创建链接 ln
ln 文件名 硬链接名称 { 理解成复制一份 并且更改数据会实时共享}
ln -s 文件名 软连接名 {理解成创建的快捷方式}
元数据的概念:
stat 文件名 【查看该文件的创建日期 修改日期】

[root@bigdata01 test-gubin]# stat a.txt
File: `a.txt'
Size: 37 Blocks: 8 IO Block: 4096 regular file
Device: 803h/2051d Inode: 1179650 Links: 2
Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2019-06-08 01:12:07.211226447 +0800
Modify: 2019-06-08 01:12:02.867231588 +0800
Change: 2019-06-08 01:12:02.975231001 +0800

touch 文件名 【touch翻译成中文是触摸的意思 他会查看 a.txt 会对时间造成更改】
管道命令 : 将 | 前的输出 交给 | 后面的输入
echo "/" | la -l 不会将 / 作为想要的参数 他只会查询 当前目录下所有的文件
echo "/" | xargs ls -l 只有加上 xargs 才会显示出linux根目录下的所有数据

VIM编辑器:
i 在光标前面一个字符 设置为插入模式
u 在光标后面一个字符 设置为插入模式

o 在光标下一行设置为插入模式
O 上光标上一行设置为插入模式

I 在当前行的开始字符的地方 设置成插入模式
A 在当前行 末尾 设置插入模式

vim +20 文件 :打开文件 并定位到第20行
vim + 文件 :打开文件 并定位到尾行
正则表达式:
grep -P '^[a-zA-Z\d][a-zA-Z\d-._]+@([a-zA-Z\d]+.){1,2}[a-zA-Z\d]+$' grep.txt

2955274788@qq.com

大数据学习之 LINUX的更多相关文章

  1. 大数据学习之Linux进阶02

    大数据学习之Linux进阶 1-> 配置IP 1)修改配置文件 vi /sysconfig/network-scripts/ifcfg-eno16777736 2)注释掉dhcp #BOOTPR ...

  2. 大数据学习之Linux基础01

    大数据学习之Linux基础 01:Linux简介 linux是一种自由和开放源代码的类UNIX操作系统.该操作系统的内核由林纳斯·托瓦兹 在1991年10月5日首次发布.,在加上用户空间的应用程序之后 ...

  3. 大数据学习笔记——Linux完整部署篇(实操部分)

    Linux环境搭建完整操作流程(包含mysql的安装步骤) 从现在开始,就正式进入到大数据学习的前置工作了,即Linux的学习以及安装,作为运行大数据框架的基础环境,Linux操作系统的重要性自然不言 ...

  4. 大数据学习笔记——Linux基本知识及指令(理论部分)

    Linux学习笔记整理 上一篇博客中,我们详细地整理了如何从0部署一套Linux操作系统,那么这一篇就承接上篇文章,我们仔细地把Linux的一些基础知识以及常用指令(包括一小部分高级命令)做一个梳理, ...

  5. 12.Linux软件安装 (一步一步学习大数据系列之 Linux)

    1.如何上传安装包到服务器 有三种方式: 1.1使用图形化工具,如: filezilla 如何使用FileZilla上传和下载文件 1.2使用 sftp 工具: 在 windows下使用CRT 软件 ...

  6. 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

    引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用 ...

  7. 大数据学习系列之五 ----- Hive整合HBase图文详解

    引言 在上一篇 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环 ...

  8. 大数据学习系列之六 ----- Hadoop+Spark环境搭建

    引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合 ...

  9. 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

    引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...

随机推荐

  1. Day1 Markdown学习!

    Markdown学习 标题 一级标题:# (空格)+内容 二级标题:##(空格)+内容 同理可支持到六级标题 字体 Hello,World! 两边两个** 加粗 Hello,World! 两边一个* ...

  2. IO编程之对象序列化

    对象序列化的目标是将对象保存在磁盘中或者允许在网络中直接传输对象.对象序列化机制循序把内存中的java对象转换成平台无关的二进制流,从而允许把这种二进制流持久的保存在磁盘上,通过网络将这种二进制流传输 ...

  3. 使用jquery的on方法注册事件遇到的坑

    1,使用on注册事件 $(selector).on(event,childSelector,data,function) 2,$(selector)中的selector可以是document,那么意味 ...

  4. Python+Requests+异步线程池爬取视频到本地

    1.本次项目为获取梨视频中的视频,再使用异步线程池下载视频到本地 2.获取视频时,其地址中的Url是会动态变化,不播放时src值为图片的地址,播放时src值为mp4格式 3.查看视频链接是否存在aja ...

  5. Beam Search快速理解及代码解析(上)

    Beam Search 简单介绍一下在文本生成任务中常用的解码策略Beam Search(集束搜索). 生成式任务相比普通的分类.tagging等NLP任务会复杂不少.在生成的时候,模型的输出是一个时 ...

  6. OpenFaaS实战之一:部署

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  7. 动态 WebApi 引擎使用教程(3行代码完成动态 WebApi 构建)

    目录 什么是 WebApiEngine? 开源地址 使用方法 使用 [ApiBind] 标签让任何方法变成 WebApi 对 API 进行分类 自定义 API 名称 复制特性 为整个类配置 WebAp ...

  8. Java 中 this 和 super 的用法详解

    前言 这次我们来回顾一下this和super这两个关键字的用法,作为一名Java程序员,我觉得基础是最重要的,因为它决定了我们的上限,所以我的文章大部分还是以分享Java基础知识为主,学好基础,后面的 ...

  9. 学习mybatis框架>从零开始学JAVA

    目录 学习mybatis框架 mybatis框架的介绍 什么是mybatis框架 为什么要使用mybatis框架 mybatis的优点 Mybatis框架环境搭建 去官网下载jar包 创建一个普通的j ...

  10. Mybatis学习笔记-注解开发

    面向接口编程 根本原因:[解耦],[可拓展],[更高规范性] 接口类型: abstract class interface 使用注解开发 简单语句可用注解开发(直接查询,列名与属性名相同) 本质:反射 ...