大数据开发-linux下常见问题详解
1.user ss is currently user by process 3234
问题原因:root --> ss --> root 栈递归一样
解决方式:exit 退出当前到ss再退出到root 然后执行命令即可。
2.列出某目录下的目录而不是文件
参考:ls --https://jingyan.baidu.com/article/e8cdb32b100dd537052badc5.html
3.登录用户与当前用户
whoami 当前用户
who am i 登录用户
其中有root权限才可以对一些非自己创建目录默认写权限,比如登录 root用户 切换到普通hu用户,则不能写/opt下面文件夹,也不能写/home/huhu下面的东西,实际上进不去,读权限都没有。
综上,普通用户只能在/home/当前用户文件夹下面写东西。
4.ll 后面的几个参数的意义
其中链接数是怎么算的:
对于文件来说 就是1
对于目录来说,空目录是2,里面有别的文件夹则加1,有别的文件不加,简单来说就是里面的目录数。
5.ps -aux 每一列字段代表的含义
ps –aux (功能描述:查看系统中所有进程)
USER:该进程是由哪个用户产生的
PID:进程的ID号
%CPU:该进程占用CPU资源的百分比,占用越高,进程越耗费资源;
%MEM:该进程占用物理内存的百分比,占用越高,进程越耗费资源;
VSZ:该进程占用虚拟内存的大小,单位KB;
RSS:该进程占用实际物理内存的大小,单位KB;
TTY:该进程是在哪个终端中运行的。其中tty1-tty7代表本地控制台终端,tty1-tty6是本地的字符界面终端,tty7是图形终端。pts/0-255代表虚拟终端。
STAT:进程状态。常见的状态有:R:运行、S:睡眠、T:停止状态、s:包含子进程、+:位于后台
START:该进程的启动时间
TIME:该进程占用CPU的运算时间,注意不是系统时间
COMMAND:产生此进程的命令名
6.top命令
ps命令:可以查看进程的瞬间信息。
top命令:可以持续的监视进程的信息。
参数:
-d 秒数:指定top命令每隔几秒更新。默认是3秒在top命令的交互模式当中可以执行的命令:
-i:使top不显示任何闲置或者僵死进程。
-p:通过指定监控进程ID来仅仅监控某个进程的状态。
-s : 使top命令在安全模式中运行。这将去除交互命令所带来的潜在危险。
操作选项:
P: 以CPU使用率排序,默认就是此项
M: 以内存的使用率排序
N: 以PID排序
q: 退出top
7.mount 命令
如果有第二行提示说明没有挂载好,重新设置
参考:https://www.cnblogs.com/zwgblog/p/5840611.html
8.键盘上的home按键 和end按键可以对Linux端的命令进行前后移动
9.rsync -rvlrsync 源目录 目的目录
同步是属于增量同步
10.centos图形化界面与命令行的切换(centos7 略有不同)
以管理员权限编辑/etc/inittab把
id:5:initdefault:
改为
id:3:initdefault:
centos7:
1、查看目前默认的启动默认
命令: systemctl get-default
multi-user.target 命令行模式 graphical.target 为图形界面模式
2、按需要修改
设置为图形界面模式
systemctl set-default graphical.target
设置为命令行模式
systemctl set-default multi-user.target
重启 验证
11.linux后台运行进程,及恢复
可参考:https://www.cnblogs.com/kex1n/p/7211008.html
简单版本:https://blog.csdn.net/u012317833/article/details/39249395
(1) CTRL+Z挂起进程并放入后台
(2) jobs 显示当前暂停的进程
(3) bg %N 使第N个任务在后台运行(%前有空格)
(4) fg %N 使第N个任务在前台运行
第二种
使用 screen 很方便,有以下几个常用选项:
用screen -dmS session_name来建立一个处于断开模式下的会话(并指定其会话名)。
用screen -list($screen -ls)来列出所有会话。
用screen -r session_name来重新连接指定会话。
用screen -d session_name 来删除会话
用screen -S session_name 来创建会话
用快捷键CTRL+a d来暂时断开当前会话。
问题:如果正在执行的进程怎么让它进入后台ctrl + z 再加bg
12.【centos7】ifconfig 只显示lo回环,没有网卡也就是eth-xxx这种,需要重启网卡
systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl restart network
重启失败可能会报错:
Job for network.service failed
Job for network.service failed because the control process exited with error code. See "systemctl status network.service" and "journalctl -xe" for details.
so 执行:
journalctl -xe
参考:https://blog.csdn.net/weiyongle1996/article/details/75128239
13.ssh 某台机器后为啥不能在脚本里面执行调用利用java -version这种带环境变量的用户程序
这种情况是无shell的,所以调用的是按配置文件顺序调用最后一层的.bashrc.所以可以将profile里面的数据写入.bashrc中,记得source .bashrc即可
14.复制centos7产生的网络问题解决
NetworkManager 和 network冲突
https://www.cnblogs.com/leokale-zz/p/7832576.html
14.linus-centos 向外开放端口
1、开启防火墙
systemctl start firewalld
2、开放指定端口
firewall-cmd --zone=public --add-port=1935/tcp --permanent
命令含义:
--zone #作用域
--add-port=1935/tcp #添加端口,格式为:端口/通讯协议
--permanent #永久生效,没有此参数重启后失效
3、重启防火墙
firewall-cmd --reload
4、查看端口号
netstat -ntlp //查看当前所有tcp端口·
netstat -ntulp |grep 1935 //查看所有1935端口使用情况·
15、查看目录下存在某个字符串的文件名
find . | xargs grep -ri "tez-0.9.2"
吴邪,小三爷,混迹于后台,大数据,人工智能领域的小菜鸟。
更多请关注
大数据开发-linux下常见问题详解的更多相关文章
- 大数据开发-Spark Join原理详解
数据分析中将两个数据集进行 Join 操作是很常见的场景.在 Spark 的物理计划阶段,Spark 的 Join Selection 类会根 据 Join hints 策略.Join 表的大小. J ...
- 【大数据】Linux下安装Hadoop(2.7.1)详解及WordCount运行
一.引言 在完成了Storm的环境配置之后,想着鼓捣一下Hadoop的安装,网上面的教程好多,但是没有一个特别切合的,所以在安装的过程中还是遇到了很多的麻烦,并且最后不断的查阅资料,终于解决了问题,感 ...
- 【转载】Linux下makefile详解--跟我一起写 Makefile
概述 —— 什么是makefile?或许很多Winodws的程序员都不知道这个东西,因为那些Windows的IDE都为你做了这个工作,但我觉得要作一个好的和professional的程序员,makef ...
- Linux 下crontab 详解转
http://yaksayoo.blog.51cto.com/510938/162062 Linux计划任务工具cron用法详解 linux下大名鼎鼎的计划任务工具crontab的使用介绍baidu. ...
- 大数据入门第八天——MapReduce详解(三)MR的shuffer、combiner与Yarn集群分析
/mr的combiner /mr的排序 /mr的shuffle /mr与yarn /mr运行模式 /mr实现join /mr全局图 /mr的压缩 今日提纲 一.流量汇总排序的实现 1.需求 对日志数据 ...
- 大数据开发-linux后台运行,关闭,查看后台任务
在日常开发过程中,除了例行调度的任务和直接在开发环境下比如Scripts,开发,很多情况下是shell下直接搞起(小公司一般是这样),看一下常见的linux后台运行和关闭的命令,这里做一个总结,主要包 ...
- 12 Linux下crontab详解
1. 概述: crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进 ...
- Linux下crontab详解
1.crond介绍 crond是Linux下的任务调度命令,让系统定期执行指定程序.crond命令每分钟都会检查是否有要执行的工作,若有要执行的程序便会自动执行. linux下任务调度工作主要分两类: ...
- 【大数据】Linux下Storm(0.9版本以上)的环境配置和小Demo
一.引言: 在storm发布到0.9.x以后,配置storm将会变得简单很多,也就是只需要配置zookeeper和storm即可,而不再需要配置zeromq和jzmq,由于网上面的storm配置绝大部 ...
随机推荐
- 配合 jekins—springboot脚本
#!/usr/bin/bash # author : renguangyin@yingu.com current=$(cd `dirname $0`; pwd) cd ${current} ext_n ...
- vb.net和C#两兄弟谁的封装性更好?
引言: 虽然没怎样接触过vb.net,但是大概对于vb6还是比较了解的.前者是从后者基础上发展而来的.后来接触了C#编程语言,起初没有太关心她和vb.net有啥不同的地方,话说都是面向对象的,而且都是 ...
- php-浅谈php底层机制
php-浅谈php底层机制 1. PHP的设计理念及特点 多进程模型:由于PHP是多进程模型,不同请求间互不干涉,这样保证了一个请求挂掉不会对全盘服务造成影响,当然,随着时代发展,PHP也早已支持多线 ...
- python内置常量是什么?
摘要:学习Python的过程中,我们会从变量常量开始学习,那么python内置的常量你知道吗? 一个新产品,想熟悉它,最好的办法就是查看说明书! 没错,Python也给我们准备了这样的说明书--Pyt ...
- D - Wireless Network(无线网络)
题意:给你 N 台坏了的电脑的坐标 ,和一个距离范围 d . (在距离范围内的电脑可以相互通信,每台电脑也可以连接两台不同的电脑,使他们之间能够通信) 输入任意次数操作: O x 表 ...
- Codeforces Round #574 (Div. 2) E.OpenStreetMap
题目链接 题目的意思就是给你一个矩阵你要求给定子矩阵的最小值的和 单调队列扫两边即可 #include <bits/stdc++.h> #define ll long long #defi ...
- Gym - 102062A、B、C、D、E、F、G、H
比赛链接:https://vjudge.net/contest/409725#problem 题面点此处进入 Gym - 102062A 题意: 就是说比赛一共发a+b+c+d个牌子,现在不带上主人公 ...
- 一维二维Sparse Table
写在前面: 记录了个人的学习过程,同时方便复习 Sparse Table 有些情况,需要反复读取某个指定范围内的值而不需要修改 逐个判断区间内的每个值显然太浪费时间 我们希望用空间换取时间 ST表就是 ...
- Zabbix 触发器配置多监控项阈值
配置内存自定义监控项 # 监控内存命令 [root@web01 ~]# free -m|awk '/^Mem/{print $NF/$2}' 0.664609 [root@web01 ~]# free ...
- 网络安全-WEB基础,burpsuite,WEB漏洞
1. web基础 HTTP: GET POST REQUEST RESPONSE... JDK robots.txt 网页源代码/注释 目录扫描--御剑,dirmap 端口信息--nmap 备份文件- ...