序   产品经理(PM)过来找你要最近某某的数据,而你知道这些数据目前只能通过日志文件去分析,因为我们知道,我们不可能把所有数据都放入db中(这不科学啊!).每当有这样任务的时候,你就用php或java(又或c)写一个特殊任务的程序,这真是一件令人头痛的事情.     放入db???   为什么我不建议把数据放入db中呢?优点不言自明,我们可以通过sql语句很容易把数据拿出来. 缺点呢?首先就是我们不能把什么东西都往db里放? 原因,我归纳了以下几点: 1.数据的抽风型: 一般都是某某(不敢…

        8月28号,接到这个问题:现有前缀查询速度较慢,改进此知值求区间问题. 一开始没想到用二分法,更没有想到这个项目用了一个月,这一个月里,我学习并使用了middle框架写出了server供别人调用. 第一阶段: 工程师tomshen同学提供了简单可行的记录分拆法:为保证前多少位一样,在插入记录时将区段分拆以满足之,代价是记录被分拆,数据冗杂.这种方案主要面对的是数据库处理,在实践这个方案的5天当中,每天和写sql和分析数据.有一天周末加班到了11点办才走,询问保安得知腾讯大厦是24…

本文转自:http://coolshell.cn/articles/9070.html 有一些网友看了前两天的<Linux下应该知道的技巧>希望我能教教他们用awk和sed,所以,出现了这篇文章.我估计这些80后的年轻朋友可能对awk/sed这类上古神器有点陌生了,所以需要我这个老家伙来炒炒冷饭.况且,AWK是贝尔实验室1977年搞出来的文本出现神器,今年是蛇年,是AWK的本命年,而且年纪和我相仿,所以非常有必要为他写篇文章. 之所以叫AWK是因为其取了三位创始人 Alfred Aho,Pet…

AWK 简明教程 转自:http://coolshell.cn/articles/9070.html 有一些网友看了前两天的<Linux下应该知道的技巧>希望我能教教他们用awk和sed,所以,出现了这篇文章.我估计这些80后的年轻朋友可能对awk/sed这类上古神器有点陌生了,所以需要我这个老家伙来炒炒冷饭.况且,AWK是贝尔实验室1977年搞出来的文本出现神器,今年是蛇年,是AWK的本命年,而且年纪和我相仿,所以非常有必要为他写篇文章. 之所以叫AWK是因为其取了三位创始人 Alfred…

每次用到正则都要蛋疼一下,索性总结一下在这里. 正则 正則表達式主要分为基础正则和扩展正则.注意,正则和一般命令行输入的命令的通配符不同.正则仅仅使用于支持这样的表示法的工具,如:vi,grep,sed.awk.而ls等命令不支持这样的表示,仅仅能使用bash自身的通配符. 基础部分: [abc] 匹配括号里的一个 [^abc] 匹配非括号里的一个(取反) ^word 以word开头 word$ 以word结尾 [n1-n2] 从n1到n2之间的全部连续字符. 注意:这个连续与否,与ASCII编…

我们生信技能书有一篇介绍bedtools的文章,可以在微信里搜着看下,非常有用. http://bedtools.readthedocs.io/en/latest/ gtf转bed用Linux命令完全可以实现,因为gtf每一行比较规律,不像fasta和fastq. cat gffcmp.combined.gtf | grep -v exon | cut -f1,4,5,9 | cut -f1 -d";" | awk '{print $1, $2, $3, $5}' | sed -e '…

今天写脚本,遇到awk脚本向shell传参的情况,上网谷歌一下,发现都有些麻烦,通过管道,通过eval,感觉都很复杂.于是想到用read来试一下. 首先构造一个测试文件test.txt,里面的内容是1 2 3. 一开始尝试 awk '{print $1 $2 $3}' test.txt | read a b c 可是echo $a,发现为空,失败了. 试了下 echo "1 2 3" | read a b c 也无法给a b c 赋值 看来read不是这样用的,怒谷歌之,在stacko…

[教程主题]:4.awk和sed [主要内容] [1]awk AWK是贝尔实验室1977年搞出来的文本出现神器.之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符.要学AWK,就得提一提AWK的一本相当经典的书<The AWK Programming Language>,它在豆瓣上的评分是9.4分!在亚马逊上居然卖1022.30元. Awk和sed 第二版 我从netstat命令中…

目录 一.jdk工具之jps(JVM Process Status Tools)命令使用 二.jdk命令之javah命令(C Header and Stub File Generator) 三.jdk工具之jstack(Java Stack Trace) 四.jdk工具之jstat命令(Java Virtual Machine Statistics Monitoring Tool) 四.jdk工具之jstat命令2(Java Virtual Machine Statistics Monitori…

命令太多,记不住,组合起来用一把…..示例文件: 1 2 3 4 5 6 7 8 9 10 11 [root@lovedan test]# cat a.txt hello good world hello hello good dandan good hello world 场景/分析: 统计a.txt出现次数前3名的单词 出现次数用awk统计 排名用sort命令排序 取文件前N行用head命令 awk命令 awk是以文件的一行为处理单位的,awk每接收文件的一行,然后执行相应的命令处理文本aw…