目录 步骤 一.准备本地文件以作测试 二.通过 --master启动本地模式 三.开发scala单词统计代码 步骤 一.准备本地文件以作测试 在第一台机器执行 mkdir -p /export/servers/sparkdatas cd /export/servers/sparkdatas/ vim wordcount.txt hello me hello you hello her 二.通过 --master启动本地模式 cd /export/servers/spark-2.2.0-bin-2

在一些项目中可能需要对一段字符串中的单词进行统计,我在这里写了一个简单的demo,有需要的同学可以拿去看一下. 本人没怎么写个播客,如果有啥说的不对的地方,你来打我啊 不说废话了直接贴代码: 实现代码: /** * 统计各个单词出现的次数 * @param text */ public static void findEnglishNum(String text){ //找出所有的单词 String[] array = {".", " ", "?"

实例cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100 统计文件中出现次数最多的前10个单词 使用linux命令或者shell实现:文件words存放英文单词,格式为每行一个英文单词(单词可以重复),统计这个文件中出现次数最多的前10个单词. cat words.txt | sort | uniq -c | sort -k1,1nr | head -10 主要考察对sort.uniq命令

准备工作: 将运行Scala-Eclipse的机器节点(CloudDeskTop)内存调整至4G,因为需要在该节点上跑本地(local)Spark程序,本地Spark程序会启动Worker进程耗用大量内存资源 其余准备工作可参考:scala程序开发之单词出现次数统计(本地运行模式) 1.启动Spark集群 [hadoop@master01 install]$ cat start-total.sh #!/bin/bash echo "请首先确认你已经切换到hadoop用户" #启动zoo

哈希表在查找方面有非常大应用价值,本文记录一下利用哈希散列表来统计文本文件中每个单词出现的重复次数,这个需求当然用NLP技术也很容易实现. 一.基本介绍 1.Hash Key值:将每个单词按照字母组成通过一个乘子循环运算得出一个小于29989的整数,29989是一个比较大的质数.0~29989即为Key值. 2.哈希函数: //哈希函数 unsigned int hashIndex(const char* pWord) //返回hash表的索引(即hash指针数组的下标) { assert(pW

如何判断当前Linux系统是否安装在VMware上面呢? 因为公司大部分服务器位于VMware上,也有小部分系统部署在物理机上面.今天老大要求统计一下VMware和物理机上服务器的数量,个人简单测试.验证了一下,当然也测试验证了多台服务器,但是限于手头的VMware版本以及Linux版本,不代表所有环境都是正确的,下面是演示一下测试结果: 1: 命令vir-what检测 [root@mylnx01 ~]# virt-what vmware 如果Linux服务器位于VMware上面,那么这个命令会

Oracle License的计算有两种方式:按照用户数和CPU个数. 其中按CPU计算方式如下: License Number = The Number of CPU Cores  *  Core Factor 其中Core Factor 可以参考官方文档 Oracle Processor Core Factor . 如果Oracle 安装在VMWARE 上,是否也是按照这个方式计算呢? 也就是说,在虚拟机VMWARE上Oracle的License计算是否也是按照分配CPU核数来计算的呢? 关

由于CentOS-6.5 minimal很多工具都默认没有安装,安装VMwareTools需要用到Perl,所以老伯建议先配置好网络再接着安装. 网络配置方法可以参考在VMware上安装CentOS-6.5 minimal - 配置网络. 安装Perl yum install perl 安装VMware Tools 1 点击VMware菜单上的Install VMware Tools选项后,光驱就会自动加载linux.iso文件. 2 挂载光驱 mount /dev/cdrom /mnt 3 将

1.在不登录,或者没有账号的情况下,进入VMare的驱动下载界面,可以发现有一个大大的Download按钮. 2.点这个按钮,会提示登录. 3.注册账号登录后,回到驱动下载界面,会发现Download按钮消失了.VMware的官方解释是,这些下载只提供给购买了VMware相应产品的客户,才能下载.比如,你有一个账号,该账号购买了VMare的产品(在VMware上注册了该产品),则该账号对这个产品的相关资源才能进行下载. 不过,还有一种方式可以下载(网卡已实测) 1.去VMware注册一个账号,这

在VMware上安装CentOS -7 一.下载好VMware虚拟机 二.准备好CentOS的镜像文件 在这里安装之前博主都已准备好了. 废话就少啰嗦啦!现在开始安装步骤了 1.首先打开VMware创建新的虚拟机 2.选择自定义(高级)后按下一步 3.继续按下一步 4.选择稍后安装操作系统(S),下一步 5.选择客户机操作系统为Linux,版本选CentOS 64位(博主的CentOS是64位),下一步 6.设置虚拟机名称和安装路径 7.分配处理器配置 8.给虚拟机的分配内存 9.此处选择使用网

在网上看了一遍,发现关于在VMware上安装DOS的教程比较少,并且还有很多人发问怎么在VMware上安装DOS.为了方便大家,我便把我实际安装DOS的步骤讲出来分享一下,当然这其中也参考了一些网上资料.好,开始吧. ※所需软件和版本 △虚拟机软件:VMware Workstation 6.5 △DOS安装软盘镜像:MS-DOS 6.22,三张软盘镜像,此外还包括一个小软件. 文件: DOS三张软盘镜像文件dos622.rar 大小: 3589KB 下载: 下载 △DOS的CD-ROM驱动:这个

统计英文article.txt文件中出现hello这个单词的次数 这个是article.txt文件内容 { hello The Royal Navy is trying hello to play hello down the problem, after first trying to hide it. It is clearly embarrassing. They have hello known about the problem for hello some time but they

1. 在虚拟机VMware上配置环境 VMware安装:http://www.zdfans.com/html/5928.html Ubuntu:https://www.ubuntu.com/download/desktop 为了更好地运行DPDK,可以多虚拟化几块网卡和CPU: 只有一张网卡是运行不了DPDK的,最少要两张. 多一点CPU可以在DPDK的程序中多调度一些逻辑核(lcore) 编译所需条件参考:http://www.cnblogs.com/vancasola/p/8881197.h

1:VMware上虚拟机MAC安装前 VMware上安装Xcode之后 2:安装Xcode过程:把Xcode复制到虚拟机桌面上 3:复制完成之后,双击Xcode_6.4.dmg 文件 4:把Xcode.app 拖拽到Applications 5:安装完成后,点击Finder,找到应用程序Xcode.app 6:选中Xcode拖拽到Dock上 7:单机Xcode图标,然后Agree-->输入用户名 密码

Vmware上安装Linux系统 1. 文件菜单选择新建虚拟机 2. 选择经典类型安装,下一步. 3. 选择稍后安装操作系统,下一步. 4. 选择Linux系统,版本选择CentOS 64位. 给虚拟机取一个名字 下一步 继续[下一步] 然后点击[自定义硬件],找到[新 CD/DVD(IDE)],执行安装包所在路径 然后点击关闭后,再点击完成即可 点击[开启此虚拟机] 开启后,按[ENTER]开始安装 选择中文后继续 安装位置可能存在感叹号,点击后会选择自动分区,然后点击[开始安装] 接着点击设

前言 什么是PXE? PXE(Pre-boot Execution Environment,预启动执行环境)协议使计算机可以通过网络启动.协议分client和server. PXE client 在网卡的 ROM 中,当计算机引导时,BIOS 把 PXE client 调入内存执行,由 PXE client 将放置在远端的文件通过网络下载到本地运行. PXE server 需要配置 DHCP 服务器和 TFTP 服务器.DHCP 服务器用来给 PXE client(将要安装系统的主机)分配一个

在VMWare上安装ubuntu及VMWare Tools 一.摘要 该文主要介绍了如何在虚拟机上安装ubuntu,和安装VMWare Tools设置共享文件夹,最后对ubuntu做了简单的介绍. 二.实验平台 1.VMware Workstation 2.Ubuntu10.04 三.在VMWare上安装ubuntu 参考百度文库: http://wenku.baidu.com/view/bdcb9eed102de2bd97058805.html 四.初识ubuntu 1.ubuntu终端 打开

最近在搭建Hadoop集群,1个Master,3个Workers.使用VMware workstations创建Linux虚拟机,版本是CentOS7.安装完成并做了相应的网络配置后,使用VMware自带的克隆功能复制3个Worker节点.下面详细描述了克隆Linux虚拟机及网卡配置的方法. 一.在VMware上克隆Linux虚拟机 1. 右键点击已经安装的虚拟机,选择管理-->克隆,弹出[克隆虚拟机向导]窗口. 点击下一步,选择克隆方法为[创建完整克隆].继续点击下一步. 输入名称,选择克隆到

1. 下载centos7 64位镜像 linux官网下载:https://www.centos.org/download/ 2. 在VMware上安装centos7 2.1 新建虚拟机 打开虚拟机主页,选择创建新的虚拟机,或者是点击虚拟机文件选项,选择新建虚拟机: 选择典型安装,点击下一步: 选择稍后安装操作系统,点击下一步: 选择操作系统为linux,在版本菜单选择centos7 64位,点击下一步: 自定义虚拟机名称和安装位置,点击下一步: 指定磁盘容量,选择默认模式,点击下一步,此处的最大

原文链接:http://www.studyshare.cn/blog-front//software/details/1162/0 一.下载 linux镜像文件下载,此处只提供CentOS 6.8版本的iso镜像文件,7以上的请自行百度搜索. 网盘下载:https://pan.baidu.com/s/1ZKaI1txE7Q0l3mmxjyOQaQ  提取码:iew6 二.安装 1.打开VMWare,点击文件--->新建虚拟机,进入虚拟机向导页 ,VMWare下载安装 参考:http://www.

在实际情况中,很容易有系统硬盘空间不够,然后需要添加新硬盘情况:这里我用vmware来模拟实验: 一:在一个Linux vmware上创建一个虚拟硬盘   1.打开vmware,选择一个已经搭建好的linux虚机,点编辑 2.点击 add 3.选择 hard disk  ,下一步 4. 默认第一个,下一步 5.选择scsi,下一步 6.分配硬盘大小后,下一步 7.给这个虚机起给名字 创建一个虚拟硬盘完成. 二:对硬盘分区 1.打开这个vmware虚拟,登录系统 进入/dev目录下,我们会看到我从