大数据开发-linux下常见问题详解
1.user ss is currently user by process 3234
问题原因:root --> ss --> root 栈递归一样
解决方式:exit 退出当前到ss再退出到root 然后执行命令即可。
2.列出某目录下的目录而不是文件
参考:ls --https://jingyan.baidu.com/article/e8cdb32b100dd537052badc5.html
3.登录用户与当前用户
whoami 当前用户
who am i 登录用户
其中有root权限才可以对一些非自己创建目录默认写权限,比如登录 root用户 切换到普通hu用户,则不能写/opt下面文件夹,也不能写/home/huhu下面的东西,实际上进不去,读权限都没有。
综上,普通用户只能在/home/当前用户文件夹下面写东西。
4.ll 后面的几个参数的意义
其中链接数是怎么算的:
对于文件来说 就是1
对于目录来说,空目录是2,里面有别的文件夹则加1,有别的文件不加,简单来说就是里面的目录数。
5.ps -aux 每一列字段代表的含义
ps –aux (功能描述:查看系统中所有进程)
USER:该进程是由哪个用户产生的
PID:进程的ID号
%CPU:该进程占用CPU资源的百分比,占用越高,进程越耗费资源;
%MEM:该进程占用物理内存的百分比,占用越高,进程越耗费资源;
VSZ:该进程占用虚拟内存的大小,单位KB;
RSS:该进程占用实际物理内存的大小,单位KB;
TTY:该进程是在哪个终端中运行的。其中tty1-tty7代表本地控制台终端,tty1-tty6是本地的字符界面终端,tty7是图形终端。pts/0-255代表虚拟终端。
STAT:进程状态。常见的状态有:R:运行、S:睡眠、T:停止状态、s:包含子进程、+:位于后台
START:该进程的启动时间
TIME:该进程占用CPU的运算时间,注意不是系统时间
COMMAND:产生此进程的命令名
6.top命令
ps命令:可以查看进程的瞬间信息。
top命令:可以持续的监视进程的信息。
参数:
-d 秒数:指定top命令每隔几秒更新。默认是3秒在top命令的交互模式当中可以执行的命令:
-i:使top不显示任何闲置或者僵死进程。
-p:通过指定监控进程ID来仅仅监控某个进程的状态。
-s : 使top命令在安全模式中运行。这将去除交互命令所带来的潜在危险。
操作选项:
P: 以CPU使用率排序,默认就是此项
M: 以内存的使用率排序
N: 以PID排序
q: 退出top
7.mount 命令
如果有第二行提示说明没有挂载好,重新设置
参考:https://www.cnblogs.com/zwgblog/p/5840611.html
8.键盘上的home按键 和end按键可以对Linux端的命令进行前后移动
9.rsync -rvlrsync 源目录 目的目录
同步是属于增量同步
10.centos图形化界面与命令行的切换(centos7 略有不同)
以管理员权限编辑/etc/inittab把
id:5:initdefault:
改为
id:3:initdefault:
centos7:
1、查看目前默认的启动默认
命令: systemctl get-default
multi-user.target 命令行模式 graphical.target 为图形界面模式
2、按需要修改
设置为图形界面模式
systemctl set-default graphical.target
设置为命令行模式
systemctl set-default multi-user.target
重启 验证
11.linux后台运行进程,及恢复
可参考:https://www.cnblogs.com/kex1n/p/7211008.html
简单版本:https://blog.csdn.net/u012317833/article/details/39249395
(1) CTRL+Z挂起进程并放入后台
(2) jobs 显示当前暂停的进程
(3) bg %N 使第N个任务在后台运行(%前有空格)
(4) fg %N 使第N个任务在前台运行
第二种
使用 screen 很方便,有以下几个常用选项:
用screen -dmS session_name来建立一个处于断开模式下的会话(并指定其会话名)。
用screen -list($screen -ls)来列出所有会话。
用screen -r session_name来重新连接指定会话。
用screen -d session_name 来删除会话
用screen -S session_name 来创建会话
用快捷键CTRL+a d来暂时断开当前会话。
问题:如果正在执行的进程怎么让它进入后台ctrl + z 再加bg
12.【centos7】ifconfig 只显示lo回环,没有网卡也就是eth-xxx这种,需要重启网卡
systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl restart network
重启失败可能会报错:
Job for network.service failed
Job for network.service failed because the control process exited with error code. See "systemctl status network.service" and "journalctl -xe" for details.
so 执行:
journalctl -xe
参考:https://blog.csdn.net/weiyongle1996/article/details/75128239
13.ssh 某台机器后为啥不能在脚本里面执行调用利用java -version这种带环境变量的用户程序
这种情况是无shell的,所以调用的是按配置文件顺序调用最后一层的.bashrc.所以可以将profile里面的数据写入.bashrc中,记得source .bashrc即可
14.复制centos7产生的网络问题解决
NetworkManager 和 network冲突
https://www.cnblogs.com/leokale-zz/p/7832576.html
14.linus-centos 向外开放端口
1、开启防火墙
systemctl start firewalld
2、开放指定端口
firewall-cmd --zone=public --add-port=1935/tcp --permanent
命令含义:
--zone #作用域
--add-port=1935/tcp #添加端口,格式为:端口/通讯协议
--permanent #永久生效,没有此参数重启后失效
3、重启防火墙
firewall-cmd --reload
4、查看端口号
netstat -ntlp //查看当前所有tcp端口·
netstat -ntulp |grep 1935 //查看所有1935端口使用情况·
15、查看目录下存在某个字符串的文件名
find . | xargs grep -ri "tez-0.9.2"
吴邪,小三爷,混迹于后台,大数据,人工智能领域的小菜鸟。
更多请关注
大数据开发-linux下常见问题详解的更多相关文章
- 大数据开发-Spark Join原理详解
数据分析中将两个数据集进行 Join 操作是很常见的场景.在 Spark 的物理计划阶段,Spark 的 Join Selection 类会根 据 Join hints 策略.Join 表的大小. J ...
- 【大数据】Linux下安装Hadoop(2.7.1)详解及WordCount运行
一.引言 在完成了Storm的环境配置之后,想着鼓捣一下Hadoop的安装,网上面的教程好多,但是没有一个特别切合的,所以在安装的过程中还是遇到了很多的麻烦,并且最后不断的查阅资料,终于解决了问题,感 ...
- 【转载】Linux下makefile详解--跟我一起写 Makefile
概述 —— 什么是makefile?或许很多Winodws的程序员都不知道这个东西,因为那些Windows的IDE都为你做了这个工作,但我觉得要作一个好的和professional的程序员,makef ...
- Linux 下crontab 详解转
http://yaksayoo.blog.51cto.com/510938/162062 Linux计划任务工具cron用法详解 linux下大名鼎鼎的计划任务工具crontab的使用介绍baidu. ...
- 大数据入门第八天——MapReduce详解(三)MR的shuffer、combiner与Yarn集群分析
/mr的combiner /mr的排序 /mr的shuffle /mr与yarn /mr运行模式 /mr实现join /mr全局图 /mr的压缩 今日提纲 一.流量汇总排序的实现 1.需求 对日志数据 ...
- 大数据开发-linux后台运行,关闭,查看后台任务
在日常开发过程中,除了例行调度的任务和直接在开发环境下比如Scripts,开发,很多情况下是shell下直接搞起(小公司一般是这样),看一下常见的linux后台运行和关闭的命令,这里做一个总结,主要包 ...
- 12 Linux下crontab详解
1. 概述: crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进 ...
- Linux下crontab详解
1.crond介绍 crond是Linux下的任务调度命令,让系统定期执行指定程序.crond命令每分钟都会检查是否有要执行的工作,若有要执行的程序便会自动执行. linux下任务调度工作主要分两类: ...
- 【大数据】Linux下Storm(0.9版本以上)的环境配置和小Demo
一.引言: 在storm发布到0.9.x以后,配置storm将会变得简单很多,也就是只需要配置zookeeper和storm即可,而不再需要配置zeromq和jzmq,由于网上面的storm配置绝大部 ...
随机推荐
- Linux环境Hive安装配置及使用
Linux环境Hive安装配置及使用 一.Hive Hive环境前提 二.Hive架构原理解析 三.Hive-1.2.2单机安装流程 (1) 解压apache-hive-1.2.2-bin.tar.g ...
- rand()函数 不同区间 整数和浮点数
C++中rand()范围[0,RAND_MAX] 1.生成整数随机数,a b均为整数,且 [a,b)---rand()%(b-a)+a [a,b] ---rand()%(b-a+1)+a (a ...
- java判断是否为整数
/** * 判断是否为整数 * * @param str 传入的字符串 * @return 是整数返回true,否则返回false */ public static boolean isInteger ...
- 理解了这三点,才敢说自己会写Python代码
某同学应聘Python岗位被录用.上班第一天,Leader吩咐他写一个获取次日日期信息的函数.该同学信心满满地写下了这样一段代码, 然后就没有然后了. import time def get_next ...
- spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
转载:https://blog.csdn.net/zimiao552147572/article/details/96482120 nohup spark-submit --master yarn - ...
- ACM 模板库
Template For ACM 一. 字符串 标准库 sscanf sscanf(const char *__source, const char *__format, ...) :从字符串 __s ...
- HDU 1754线段树
第一个自己动手写的线段树,1Y还是有点小激动哈(虽然是模版题) 1 #include<cstdio> 2 #include<cstring> 3 #include<alg ...
- Codeforces Round #660 (Div. 2) C. Uncle Bogdan and Country Happiness (DFS)
题意:有\(n\)个人,每个人居住在某个节点,所有人都在节点\(1\)上班,下班后沿着最短路径回家,在回家途中心情可能会变差(心情只会变差不会变好),每个节点都有一个开心值,开心值等于所有经过时的好心 ...
- Zabbix 监控项更多用法
监控服务端口状态 配置 Zabbix 提供的检测器 配置自定义值映射 查看监控项数据状态 触发器配置 自定义监控项 TCP 11 种状态 TCP 11 种状态 LISTEN - 侦听来自远方TCP端口 ...
- codeforces 758D
D. Ability To Convert time limit per test 1 second memory limit per test 256 megabytes input standar ...