这是学习哈工大李治军在mooc课操作系统时做的实验记录.原实验报告在实验楼上.现转移到这里.备以后整理之用. 完整的实验代码见:实验楼代码 一.tss方式的进程切换 Linux0.11中默认使用的是硬件支持的tss切换,系统为每个进程分配一个tss结构用来存储进程的运行信息(上下文环境),然后通过CPU的一个长跳转指令ljmp来实现进程的切换,这种方式易于实现,但一者不便于管理多CPU进程,二者效率不佳,故此次实验要将系统中使用的tss切换方式修改为栈切换方式.而由于CPU管理方式的原因,tr寄

背景 应用需要对两个集群中的同一目录下的HDFS文件个数和文件总大小进行比对,在测试环境中发现,即使两边HDFS目录下的数据不一样,应用日志显示两边始终比对一致,分下下来发现,应用连的一直是同一个集群.大数据集群:CDH6.2.1 定位分析 应用代码片段 Configuration mainconf = new Configuration(); mainconf.addResource(new Path(main_prefix+"/core-site.xml")); mainconf.

本节内容概要描述了Linux内核从开机引导到系统正常运行过程中对堆栈的使用方式.这部分内容的说明与内核代码关系比较密切,可以先跳过.在开始阅读相应代码时再回来仔细研究. Linux 0.12系统中共使用了4种堆栈.第1种是系统引导初始化时临时使用的堆栈:第2种是进入保护模式之后提供内核程序初始化使用的堆栈,位于内核代码地址空间固定位置处.该堆栈也是后来任务0使用的用户态堆栈:第3种是每个任务通过系统调用,执行内核程序时使用的堆栈,我们称之为任务的内核态堆栈.每个任务都有自己独立的内核态堆栈:第4

从现在开始就是分析最后的核心模块exec.c了,分析完这个文件后,就会和之前的所有分析形成一个环路,从创建进程.加载进程程序到进程调度.内存管理. exec.c的核心do_execve函数很长,而且用到了很多其他的函数,copy_strings就是其中一个,我们这里就先来分析这个函数. 首先看调用处,在main.c中: static char *argv_rc[] = { "/bin/sh", NULL}; // 调用执行程序时参数的字符串数组. static char *envp_r

1)下载Oracle Database 12cRelease 1安装介质 官方的下载地址: 1:http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html 2:https://edelivery.oracle.com/EPD/Download/get_form?egroup_aru_number=16496132 URL地址2需要先注册,然后才能登陆下载,注册登陆界面https://edel

摘要:Hadoop的安装目录了解.etc的核心配置项.hadoop的启动.HDFS文件的block块级副本的存放策略.checkpoint触发设置. 1.hadoop目录了解 bin:可执行文件,命令启动的脚本等 sbin:系统级可执行文件,服务的启动和停止相关 etc:配置文件 lib:native本地平台相关依赖库(windows用win编译的库,linux用linux编译的库) share:doc即文档可删除,hadoop目录即jar包分工程的存放目录 2.etc配置文件核心配置项 (1)

IDM主机上安装融合应用程序配置框架   安装Oracle融合应用程序>设置>身份和访问管理节点安装融合应用程序配置框架 由于我们使用Oracle VirtualBox虚拟机这一次,我们在Windows主机目录创建阶段,我们需要分享这在Linux Guest OS使用共享文件夹. 注意:如果您正在安装的物理主机上,那么你只需创建目录在/舞台位置. 确保IP和主机名等idmhost设置正确 root@idmhost ~ #服务网络重启 让我们从VirtualBox挂载共享目录在Linux上的客人

原文链接 : http://blog.chinaunix.net/uid-23302288-id-3785105.html   awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理,然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file  [-F|-f|-v]   大参数,-F指定分隔符,-f调用脚本,-

使用yum安装CDH Hadoop集群 2013.04.06 Update: 2014.07.21 添加 lzo 的安装 2014.05.20 修改cdh4为cdh5进行安装. 2014.10.22 添加安装 cdh5.2 注意事项. 1.cdh5.2 发布了,其中 YARN 的一些配置参数做了修改,需要特别注意. 2.Hive 的元数据如果使用 PostgreSql9.X,需要设置 standard_conforming_strings 为 off 环境 CentOS 6.4 x86_64 C

sed and awk 背景 awk起源追溯至sed和grep,进而追溯至共同的行编辑器ed.实用工具grep来源于ed命令:g/re/p .实用工具awk和sed有一个共同的选项-f用于指定脚本的名字:$sed -f scriptfile inputfile ,用大致相同的方法调用sed和awk:command [options] script filename 1.使用行编辑器ed 1)用ed打开文件是,它显示了文件这个的字符个数并定位在最后一行,没有提示符: $ ed tes 339 2

(这些往往是经常用到,但是各种网络上的材料都语焉不详的东西,个人认为比较有用) 七种文件类型 d            目录                                                       l             符号链接 s             套接字文件                                           b            块设备文件 c            字符设备文件              

Awk 是一种非常好的语言,同时有一个非常奇怪的名称.在本系列(共三篇文章)的第一篇文章中,Daniel Robbins 将使您迅速掌握 awk 编程技巧.随着本系列的进展,将讨论更高级的主题,最后将演示一个真正的高级 awk 演示程序. 捍卫 awk 在本系列文章中,我将使您成为精通 awk 的编码人员.我承认,awk 并没有一个非常好听且又非常“时髦”的名字.awk 的 GNU 版本(叫作 gawk)听起来非常怪异.那些不熟悉这种语言的人可能听说过 "awk",并可能认为它是一组落

********************************************hive*********************************************** hive.cli.print.current.db; 是否在命令行提示当前数据库,默认为FALSE hive.cli.print.header; 永久配置:$HIVE_CONF_DIR/.hiverc创建在此文件中 hadoop archive -archiveName NAME <src>* <d

.巧用bash的{}扩展备份目录: cp file.txt{,.bak} .利用at执行一次性命令: echo "ls -l" | at midnight #Execute a command at a given time .kill - 或者 kill -HUP 一般用来重新读取配置文件:(一般程序自己实现的) HUP 其实就是给个信号,你的程序可以根据这个信号做一些事情,比如reload进程,或者是rotota日志.例如 squid.Nginx.xinetd. kill就是发送一

wk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理,然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file  [-F|-f|-v]   大参数,-F指定分隔符,-f调用脚本,-v定义变量 var=value '  '          引用代码块 BEGIN   初始化代码块,在对每一行进行处理之前,初始

1.关于run on hadoop的问题: 在未用hadoop eclipse插件前,我以为通过hadoop eclipse 插件不但能够管理hdfs,还能够自己主动打包程序.并帮我自己主动设置Configuration对象的mapred.jar属性值.但用了之后,才发现,这个插件仅仅能管理hdfs.至于打包程序等操作,还得自己手动进行. 我用的hadoop 版本号为1.2.1,hadoop eclipse插件个人亲自编译生成,保证无不论什么问题,我一開始用的是MyEclipse后来换成Ecli

概述:linux内核源码中,有很多C语言中嵌入了汇编语句,如何理解这些汇编语句,对理解内核有很重要的作用. 具有输入和输出参数的嵌入式汇编语句的基本格式为: asm("汇编语句" :输出寄存器 :输入寄存器 :会被修改的寄存器); 除第一行以外,后面带冒号的行若不使用就都可一省略.其中 “asm” 是内联汇编语句关键词."汇编语句"是你写汇编指令的地方.“输出寄存器”表示当这段嵌入汇编执行完之后,那些寄存器用于存放输出数据.这些寄存器会分别对应一C语言表达式值或一个

每次用到正则都要蛋疼一下,索性总结一下在这里. 正则 正則表達式主要分为基础正则和扩展正则.注意,正则和一般命令行输入的命令的通配符不同.正则仅仅使用于支持这样的表示法的工具,如:vi,grep,sed.awk.而ls等命令不支持这样的表示,仅仅能使用bash自身的通配符. 基础部分: [abc] 匹配括号里的一个 [^abc] 匹配非括号里的一个(取反) ^word 以word开头 word$ 以word结尾 [n1-n2] 从n1到n2之间的全部连续字符. 注意:这个连续与否,与ASCII编

awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理,然后输出 awk命令形式: awk [-F|-f|-v] 'BEGIN{} //{command1; command2} END{}' file  [-F|-f|-v]   大参数,-F指定分隔符,-f调用脚本,-v定义变量 var=value '  '          引用代码块 BEGIN   初始化代码块,在对每一行进行处理之前,初

因为本文强调的是不同点,所以先讲述不同点,再讲相同点. 一.不同点 1.创建表时主键id的自增实现方式不一样 mysql数据库的实现方式是auto_increment,示例如下 CREATE TABLE test1 ( id INT NOT NULL auto_increment PRIMARY KEY, NAME VARCHAR (10) NOT NULL DEFAULT '', age INT NOT NULL DEFAULT 0 ) 而sql server数据库的实现方式是identity