val logFile = "./README.md" // Should be some file on your server. val conf = new SparkConf().setAppName("Simple Application").setMaster("local") val sc = new SparkContext(conf) val logData = sc.textFile(logFile, 2).cache()//…

1.从一串字符串中获取特定的信息 要求1:获取本机IP:menu.lst为系统镜象的IP配置文件,需要从中获取到本机IP信息(从文件获取信息) timeout title live find --set-root /casper/vmlinuz kernel /casper/vmlinuz boot=casper ignore_uuid showmounts ip=eth0,10.0.66.66,255.255.240.0,10.0.64.3 initrd /casper/initrd.lz m…

val fileContent=Source.fromFile("/home/soyo/桌面/ss5.txt").getLines.mkString(",") //这里统计文件中每行最后字符是0的个数 println(fileContent.split(",0,").length) if(fileContent.endsWith(",0")) //判断最后一个字符是不是0,不是0:需要总数减1,是0:不需要改变 println…

正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配. Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式. re 模块使 Python 语言拥有全部的正则表达式功能. compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象.该对象拥有一系列方法用于正则表达式匹配和替换. re 模块也提供了与这些方法功能完全一致的函数,这些函数使用一个模式字符串做为它们的第一个参数. 如何利用正则表达式提取文中特定内容呢? 函数…

===================================================== 参考链接 Python 文本文件内容批量抽取:https://blog.csdn.net/qq_22885109/article/details/80819916 python实现根据指定字符截取对应的行的内容:https://blog.csdn.net/xqn2017/article/details/78206988 判断字符串是否为空::https://blog.csdn.net/qi…

读取同一文件夹下多个txt文件中的特定内容并做统计 有网友在问,C#读取同一文件夹下多个txt文件中的特定内容,并把各个文本的数据做统计. 昨晚Insus.NET抽上些少时间,来实现此问题,加强自身的功力.先是准备好几个文本文件.第一个文本文件t1.txt:   Money of Xiaohong(this year) 12 Money of Xiaoma(Last year) 13 sdfgsd Money of Xiaoqiang(this year) 16 Money of Xiaogan…

实例cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100 统计文件中出现次数最多的前10个单词 使用linux命令或者shell实现:文件words存放英文单词,格式为每行一个英文单词(单词可以重复),统计这个文件中出现次数最多的前10个单词. cat words.txt | sort | uniq -c | sort -k1,1nr | head -10 主要考察对sort.uniq命令…

shell编程系列10--文本处理三剑客之sed利用sed查询特定内容 利用sed查找文件内容: pattern种类: .8p .,10p .,+5p ./regexp/p .,/regexp/p ./regexp/,8p .打印/etc/passwd中第10行的内容 sed -n '10p' /etc/passwd .打印/etc/passwd中第8行开始,到第15行结束的内容 sed -n '8,15p' /etc/passwd .打印/etc/passwd中从第8行开始,然后+5行结束的内…

1.使用grep linux grep命令在我的随笔linux分类里有过简单的介绍,这里就只简单的介绍下使用grep命令统计某个文件这某个字符串出现的次数,首先介绍grep命令的几个参数,详细参数请自行找资料学习. -a 或 --text : 不要忽略二进制的数据. -A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外,并显示该行之后的内容. -b 或 --byte-offset : 在显示符合样式的那一行之前,标示出该行第一个字…

本文实例展示了Python统计列表中的重复项出现的次数的方法,是一个很实用的功能,适合Python初学者学习借鉴.具体方法如下:对一个列表,比如[1,2,2,2,2,3,3,3,4,4,4,4],现在我们需要统计这个列表里的重复项,并且重复了几次也要统计出来.方法1:mylist = [1,2,2,2,2,3,3,3,4,4,4,4]myset = set(mylist) #myset是另外一个列表,里面的内容是mylist里面的无重复 项for item in myset: print("th…