Linux系统优化之网络IO调优】的更多相关文章

修改 vi /etc/sysctl.conf后执行命令 sysctl -p立即生效 首先,系统的不同也会导致 /etc/下的 文件的不同,原本powerpc 环境下 在 /etc/init.d/下有个 bootmisc.sh 的脚本.启动启动的时候会执行该脚本. 但是我现在的 环境是 fedora15 ,找不到 bootmisc.sh 文件了.但是在 /etc/rc.d 中有个 rc.local文件,当正常启动时 会加载该文件,所以在 rc.local 文件中 增加命令 /sbin/sysctl…
LAMP 系统性能调优之网络文件系统调优 2011-03-21 09:35 Sean A. Walberg 网络转载 字号:T | T 使用LAMP系统的用户,都想把自己LAMP性能提高运行的速度提高,那它有一点可以调优: 网络文件系统 ,我们知道网络文件系统是网络共享磁盘的一个系统,我们来进行调优下! AD:2014WOT全球软件技术峰会北京站 课程视频发布 图-LAMP LAMP网络文件系统调优 网络文件系统(NFS)是一种通过网络共享磁盘的方法.NFS 可以帮助确保每个主机具有相同数据的拷…
磁盘优化 1.增加缓存 2.优化磁盘的管理系统 3.设计合理的磁盘存储数据块 4.应用合理的RAID策略 TCP网络参数调优 网络IO优化 1.减少网络交互次数 2.减少网络传输数据量的大小 3.尽量减少编码…
下面分别列出linux分析.诊断及调优时用到的工具,并分别进行说明,以方便自己和其他同学参考学习,禁止转载. 1.top top - 02:06:59 up 4 days, 17:14, 2 users, load average: 0.00, 0.00, 0.00Tasks: 62 total, 1 running, 61 sleeping, 0 stopped, 0 zombieCpu(s): 0.2% us, 0.3% sy, 0.0% ni, 97.8% id, 1.7% wa, 0.0…
大数据集群Linux CentOS 7.6 系统调优篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.设置主机hosts文件 1>.修改主机名 [root@node100.yinzhengjie.org.cn ~]# cat /etc/hostname node100.yinzhengjie.org.cn [root@node100.yinzhengjie.org.cn ~]# 2>. 添加集群各节点主机名称映射关系 [root@node100.yinzhengjie.…
一.myisam的IO调优1.myisam通常在每次写入后把索引的改变刷写到磁盘上.所以批处理通常会更快点.做到这点,可以通过LOCK TABLES,他可以把写入控制到对表解锁.还可以用delay_key_write变量来延迟索引的写入,如果使用他,只有在表关闭的时候写入键缓存.它有以下选项:OFF 每次索引改变后,写入磁盘ON  延迟键开启,但只针对使用DELAY_KEY_WRITE选项创建的表有效ALL 所有myisam表都是用延迟键写入延迟键开启,通常不能带来性能上的飞跃,在数据量小,读取…
Time_wait状态 表示收到了对方的FIN报文,并发送出了ACK报文,就等2MSL后即可回到CLOSED可用状态了. 如果FIN_WAIT_1状态下,收到了对方同时带FIN标志和ACK标志的报文时,可以直接进入到TIME_WAIT状态,而无须经过FIN_WAIT_2状态. Time_wait作用 1)可靠地实现TCP全双工连接的终止TCP协议在关闭连接的四次握手过程中,最终的ACK是由主动关闭连接的一端(后面统称A端)发出的,如果这个ACK丢失,对方(后面统称B端)将重发出最终的FIN,因此…
一 linux服务器性能查看 1.1 cpu性能查看 1.查看物理cpu个数: cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l 2.查看每个物理cpu中的core个数: cat /proc/cpuinfo |grep "cpu cores"|wc -l 3.逻辑cpu的个数: cat /proc/cpuinfo |grep "processor"|wc -l 物理cpu个数*核数=逻辑c…
一 linux服务器性能查看 1.1 cpu性能查看 1.查看物理cpu个数: cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l 2.查看每个物理cpu中的core个数: cat /proc/cpuinfo |grep "cpu cores"|wc -l 3.逻辑cpu的个数: cat /proc/cpuinfo |grep "processor"|wc -l 物理cpu个数*核数=逻辑c…
最近做了一些系统和网络调优相关的测试,达到了期望的效果,有些感悟.同时,我也发现知乎上对Linux服务器低延迟技术的讨论比较欠缺(满嘴高并发现象):或者对现今cpu + 网卡的低延迟潜力认识不足(动辄FPGA现象),比如一篇知乎高赞的介绍FPGA的文章写到“从延迟上讲,网卡把数据包收到 CPU,CPU 再发给网卡,即使使用 DPDK 这样高性能的数据包处理框架,延迟也有 4~5 微秒.更严重的问题是,通用 CPU 的延迟不够稳定.例如当负载较高时,转发延迟可能升到几十微秒甚至更高”,刚好我前几天…
Linux高可用服务器集群解决方案让IT系统管理员可以从容应对许多常见的硬件和软件故障,允许多台计算机一起工作,为关键服务正常运行提供保障,系统管理员可以不中断服务执行维护和升级.Linux服务器有各种用途,如Web服务器或分支机构内部服务器,CMS或CRS服务器,文件服务器(为Windows和/或Linux用户服务),VoIP电话服务器,邮件或域名服务器,数据库服务器,云计算配置中的基础设施节点等. Linux功能丰富.强大.灵活,你可以用它完成各种任务,在这篇文章中,我们将讨论一些提高Lin…
  Linux虚拟内存(swap)调优篇-“swappiness”,“vm.dirty_background_ratio”和“vm.dirty_ratio” 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我的kafka集群在上线一段时间后,发现内存使用达到峰值时系统开始使用swap.在swap的过程中系统性能会有所下降,表现为较大的服务延迟.对这种情况,可以通过调节swappiness内核参数降低系统对swap的使用,从而避免不必要的swap对性能造成的影响.接下来,我们就一…
1>内存子系统 1>组件: slab    allocator buddy    system kswapd pdflush 2>虚拟化环境: PA:进程地址: HA:虚拟机地址: MA:机器地址: 虚拟机转换:PA---->HA GuestOS(来宾主机),OS(宿主主机): Shadow   PT:影子列表 3>Memory: TLB:提升性能:  Hugetable  page: 使用的文件系统:Hugetlbfs;         启用hugepages: 1)修改/…
nvme的设备,可以调优的参数比较少,相关的代码如下: blk_sysfs.c static struct queue_sysfs_entry queue_requests_entry = { .attr = {.name = "nr_requests", .mode = S_IRUGO | S_IWUSR }, .show = queue_requests_show, .store = queue_requests_store, }; static struct queue_sysf…
1.传输数据压缩 网络性能主要受两方面影响:bandwidth和data volume. 在网络层对数据进行压缩,可以减少对网络带宽的需求.而且对应用是透明的. 如果是CPU是瓶颈时开启网络层数据压缩,反会导致问题更严重. 1.1开启压缩 在sqlnet.ora文件中设置以下参数: -sqlnet.compression 开启压缩或关闭压缩.取值为on或者off,默认是off. -sqlnet.compression_levels 设置压缩级别.取值为high或者low,默认是low.datab…
I/O( INPUT OUTPUT),包括文件I/O.网络I/O. 计算机世界里的速度鄙视: 内存读数据:纳秒级别. 千兆网卡读数据:微妙级别.1微秒=1000纳秒,网卡比内存慢了千倍. 磁盘读数据:毫秒级别.1毫秒=10万纳秒 ,硬盘比内存慢了10万倍. CPU一个时钟周期1纳秒上下,内存算是比较接近CPU的,其他都等不起. CPU 处理数据的速度远大于I/O准备数据的速度 . 任何编程语言都会遇到这种CPU处理速度和I/O速度不匹配的问题! 在网络编程中如何进行网络I/O优化:怎么高效地利用…
一.不再为Apache进程淤积.耗尽内存而困扰 0. /etc/my.cnf,在mysqld那一段加上如下一行: log-slow-queries=queries-slow.log 重启MySQL 酌情过上一段时间,执行mysqldumpslow命令,或直接查看datadir/queries-slow.log,从中找出执行超时的SQL语句.其中datadir是MySQL所有数据库的存放路径. 根据上一步找出的SQL语句的内容,找到相应的数据表和脚本文件,查看超时原因所在.可能的原因有:数据量确实…
本文讨论的背景是Linux环境下的network IO. IO发生时涉及的对象和步骤: 对于一个network IO (这里我们以read举例),它会涉及到两个系统对象,一个是调用这个IO的process (or thread),另一个就是系统内核(kernel).当一个read操作发生时,它会等待内核经历两个阶段: 1  内核数据准备 (Waiting for the data to be ready) 2  内核把数据从内核空间,拷贝到用户空间中 (Copying the data from…
Linux 文件时间属性介绍 atime:(access time)显示的是文件中的数据最后被访问的时间,比如系统的进程直接使用或通过一些命令和脚本间接使用.(执行一些可执行文件或脚本) mtime: (modify time)显示的是文件内容被修改的最后时间,比如用vi编辑时就会被改变.(也就是Block的内容) ctime: (change time)显示的是文件的权限.拥有者.所属的组.链接数发 relatime: 从kernel2.6.29开,还默认集成了一个relatime的属性.可能…
Nginx配置文件性能微调 全局的配置 user www-data; pid /var/run/nginx.pid; worker_processes auto; worker_rlimit_nofile 100000; worker_process定义了nginx对外提供Web服务时的worker进程数,起始可以设置为CPU的核数,CPU核数是多少就设置为多少(设置为"auto"将自动检测) worker_rlimit_nofile更改worker进程的最大打开文件限制,如果没设置的…
首先,我给大家看一张图,这张图是数据包从虚拟机开始然后最后到物理网卡的过程. 我们分析下这张图,虚拟机有数据包肯定是先走虚拟机自身的那张虚拟网卡,然后发到中间的虚拟化层,再然后是传到宿主机里的内核网桥中,最后传到物理网卡,这个过程很好理解. 那么我们要做网络的优化,让虚拟机的网络运行得更加高效,我们要想的就是让虚拟机访问到物理网卡的层次要少.或者说能不能让宿主机的物理网卡直接丢给虚拟机用,这样达到最高的网络性能. 那么目前KVM提高网络性能这块有以下四种方法: 使用virtio半虚拟化网卡 使用…
linux的内核将全部的外部设备都看作一个文件来操作,对一个文件的读写操作会调用内核提供的系统命令 ,返回一个file descriptor(fd.文件描写叙述符).而对一个socket的读写也会有对应的描写叙述符.成为socketfd (socket描写叙述符),描写叙述符就是一个数字,它指向内核中的一个结构体(文件路径.数据区等一些属性). 依据unix编程对I/O模型的分类,unix提供了5种I/O模型.各自是: (1)堵塞I/O模型:最常使用的就是堵塞I/O模型,在默认条件下全部的文件操…
先说明下,之所以同类内容分成多篇文章,不是为了凑篇数,而是为了便于自己和大家阅读,下面继续: 7.sar The sar command is used to collect, report, and save system activity information. The sar command consists of three applications: sar, which displays the data, and sa1 and sa2, which are used for c…
Linux 线程栈介绍 栈,就是那些由编译器在需要的时候分配,在不需要的时候自动清除的变量的存储区.里面的变量通常是局部变量.函数参数等:和堆相比,栈通常很小. Linux 查询线程栈 1.查看默认的线程栈大小,单位是字节(KBytes) ulimit -s [root@izbp1932yyli7ap6wopu1ez html]# ulimit -s 8192 输出结果 2.查看单个进程暂用堆栈的信息 strace -f -p 进程PID号 Linux 修改线程栈大小 1.临时修改线程栈大小 u…
Linux系统TCP最大连接数 Linux系统可接连接到最大的TCP连接数,高并发情况下可进行扩展加大,最大为65536. 限制最大TCP连接数 修改文件:/etc/sysctl.conf 生效命令:sysctl -p /etc/sysctl.conf # 最大孤儿套接字(orphan sockets)个数. # 设定系统中最大有多少tcp套接字不被关联到任何一个用户文件句柄上.同时给出警告信息.一般在系统内存比较充足的情况下可以增大该数值,65535为最大值. net.ipv4.tcp_max…
下载地址:http://jmeter-plugins.org/downloads/all/ PerfMon: 用来监控Server的CPU.I/O.Memory等情况 ServerAgent-2.2.1.zip 用法:PerfMon解压后放到被测试的服务器上,并运./startAgent.sh,默认工作在4444端口 1.检查linux上端口是否启动:netstat -apnt|grep 4444 2.检查jmeter机器到linux防火墙:telnet ip 4444 JMeterPlugin…
1:关闭 SELinux 方法一:  #sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config #替换文本参数                 #grep SELINUX=disabled /etc/selinux/config #查文本状态                 #setenforce 0 #关闭当前SELINUX 方法二:vi  /etc/selinux/config 2:运行级别 cat /etc/in…
系统级开启文件句柄  max-file系统级别的能够打开的文件句柄的数量,Centos7默认是794168. Max-file 与 ulimit -n 的区别 max-file 表示系统级别的能够打开的文件句柄的数量.是对整个系统的限制,并不是针对用户或进程的. ulimit -n 控制进程级别能够打开的文件句柄的数量.提供对shell及其启动的进程的可用文件句柄的控制.这是进程级别的. 注:对于服务器来说,file-max和ulimit都需要设置,否则会出现文件描述符耗尽的问题. 查看系统级别…
http://www.360doc.com/content/14/0606/16/3300331_384326124.shtml…