使用shell随机读取文件的一行数据 shuf -n1 file_name…

比如ms sql 2000,随机读取了一行记录: SELECT TOP 1 * FROM [tablename] ORDER BY NEWID() 遇到的问题是,如果这个表记录不多,比如几十或几百.几千行记录,基本上不用1秒时间就出来了. 但我今天需要从一个几十万行记录的表中随机读取一条记录,读取一次需要3 - 5秒. 这效率有点接受不了. 到网上也搜索了一下,有没有更好的办法,没找到好的办法. 关于这个问题的讨论,CSDN: http://topic.csdn.net/u/20100517/1…

需要使用到循环控制器,if控制器,CSV Data Set Config,Random Variable 4个组件 如图 先在线程组下面放一个随机数生成器 然后在同一层级设置一个永久的循环控制器,记住这里最好选择永久或者次数足够大,起码要大于等于参数化文件的行数.这样循环控制器下的参数化文件就可以读到每一行了. 参数化文件放入循环控制器内,并且参数化文件需要设置一列类似于行号的变量. 参数化文件的设置特别需要注意的是上面框里的2个选项,这样设置可以在参数化文件读到最后一行以后就停止循环了,不会再…

具体思路如下,求代码 shell随机读取file.txt文本,file.txt文本有许多行文字 想用shell随机读取file.txt的任意一行文字并且写入到file.php第四行文件. sed -i -e "4s/.*/$(sort -R file.txt | head -1)/" file.php shell 排序去重问题 https://segmentfault.com/q/1010000000665713 shell的touch命令不能拼接路径吗 export mypath=/…

一.需求 参数放在csv文件中,文件格式如下,需求每次从文件中随机读取一行数据. 二.步骤 1.在csv文件中新增加一列,pl 2.新增一个配置原件-随机数,设置如下: 50是文件数据的行数 3.新增一个循环控制器,设置如下 4.在循环控制器中,新增CSV文件,设置如下 5.新增一个if控制器,当文件中的行数pl和随机数plr相等时,执行请求.设置如下 6.新增debug sample,用来调试脚本,实际应用中,可替换为需要使用随机参数的HTTP请求…

在这里,我们会用到DBMS_RANDOM包和CASE WHEN语句,思路如下: 一.利用DBMS_RANDOM.RANDOM函数随机生成数值,然后对数值进行取模,如果我们要在10个元素中随机读取的话,那我们需要对10进行取模. 二.再将取模后的值利用CASE WHEN语句与元素进行关联. 譬如,我有一个组合,里面包含“北京”,“上海”,“广州”,“深圳”,“武汉”五个元素,想从这五个元素中随机读取值来填充表的某个字段. 首先,创建测试表 SQL char)); Table created. 构造…

--sql server 随机读取数据 * FROM [tablename] ORDER BY NEWID() pk from [tablename] ORDER BY NEWID()) --这两个方法都需要排序,因此IO的逻辑读取会比较多,而且CPU占用也多很多 * from tbname TABLESAMPLE(XXX rows) --XXX应该为整数,算法如下: --按照你表的行大小,计算一个数据页大概装多少行,XXX最少为每页的行数,建议填为2-3倍每页行数 --如果不愿意去算这个数,也…

若要在i ≤ R ≤ j 这个范围得到一个随机整数R ,需要用到表达式 FLOOR(i + RAND() * (j – i + 1)).例如, 若要在7 到 12 的范围(包括7和12)内得到一个随机整数, 可使用以下语句: SELECT FLOOR(7 + (RAND() * 6)); 以上摘抄自MySQL手册 从 Mysql 表中随机读取数据不难,方法还挺多的,但是如果要考虑效率,得到一个快速的高效率的方法,那就不是一件简单的事情了(至少对我来说不简单). 随机获得Mysql数据表的一条或多…

原文地址:http://outofmemory.cn/code-snippet/1760/usage-linq-to-sql-suiji-take-yixing-data-method 虽然这看来已经不是真正的原文地址了 在linq to sql中我们可以通过创建一个假的用户自定义函数的方法来实现随机取一行数据的方法. 首先要在DataContext的类中添加用户自定义函数,最好是放在partial class中: partial class MyDataContext { [Function(…

今天在编写微服务程序启动脚本的时候,遇到一个比较奇葩的问题,下面给出具体描述: 目标:通过读取maven插件打包时生成的pom.properties文件,获取里面的应用名称和应用版本号,然后拼接得到serviceName-version.jar格式的jar包名称,从而通过java -jar -xx..  jarPath的方式启动 遇到的问题:通过shell脚本读取pom.properties文件时,由于其key-value格式分行存储,在linux中获取到的value值最后有一个\r参数(可以通…

fscanf(fp, "%s", sLineWord); 以上语句,在读取一行数据时,如何遇到该行数据有空格,那么读到空格处就停止,不再继续向下读. 若想遇到空格继续读取,读取完整的一行数据,则用如下语句: fscanf(fp, "%[^\n]%*c", sLineWord); fscanf用于读取字符串数据流,遇到空白字符(空格' '; 制表符'\t'; 新行符'\n')就停止,若要读取完整的一行数据,可以使用格式控制("%[^\n]%*c")…

今天试着将一个网站使用的mssql转换为Access,但网站首页有一段代码是随机读取n条记录: SQL Server:Select TOP N * From TABLE Order By NewID()转换成Access后,这句就不能使用了,后来到百度搜索了一下,找到一个解决办法: Access:Select TOP N * From TABLE Order By Rnd(ID)Rnd(ID) 其中的ID是自动编号字段,可以利用其他任何数值来完成,比如用姓名字段(UserName)Select…

文章转自 http://blog.efbase.org/2006/10/16/244/如何实现MySQL表数据随机读取?从mysql表中读取随机数据?以前在群里讨论过这个问题,比较的有意思.mysql的语法真好玩.他们原来都想用PHP的实现随机,但取出多条好像要进行两次以上查询.翻了手册,找到了下面这个语句,可以完成任务了. SELECT * FROM table_name ORDER BY rand() LIMIT 5; rand在手册里是这么说的: RAND() ,RAND(N) :返回在范…

Mysql中随机获取一行数据: SELECT * FROM table ORDER BY RAND() limit 1 SQLite中随机获取一行数据: SELECT * FROM table ORDER BY RANDOM() limit 1 limit后面跟你要随机生成多少的数据…

文件内容 23 21 4 1 1 0 114 1 1 1 8 112 5 0 0 0 114 1 0 0 0 115 52 4 1 0 1 134 4 0 1 12 131 4 1 1 0 133 5 1 1 7 13 一.格式读取 1. C语言 FILE * f_in = fopen("1.txt", "r"); int k; int m, n; ]; fscanf(f_in, "%d", &k); while (k--) { fsca…

//读取一行 func myReadLine(paths string) error { //先获取到文件信息 fileinfo, err := os.Stat(paths) if err != nil { return fmt.Errorf("get file info error") } //判断是否是目录 if fileinfo.IsDir() { return fmt.Errorf("paths is dir") } f, err := os.Open(pa…

若要在i ≤ R ≤ j 这个范围得到一个随机整数R ,需要用到表达式 FLOOR(i + RAND() * (j – i + 1)).例如, 若要在7 到 12 的范围(包括7和12)内得到一个随机整数, 可使用以下语句: SELECT FLOOR(7 + (RAND() * 6)); 以上摘抄自MySQL手册 从 Mysql 表中随机读取数据不难,方法还挺多的,但是如果要考虑效率,得到一个快速的高效率的方法,那就不是一件简单的事情了(至少对我来说不简单). 随机获得Mysql数据表的一条或多…

问题:大家在学习Java读取数据的时候一般都是使用Scanner方法读取数据,但是其中有一个小问题大家可能不知道, 就是我们在使用scanner的时候如果你先读取一个数字,在读取一行带有空格的字符串,势必会出错或者字符串读不到, 那么这篇文章就是解决此类问题的 ,希望对大家有所帮助. 错误代码: public static void main(String[] args) { Scanner scanner = new Scanner(System.in); int x = scanner.ne…

package com.swift; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStreamReader; import java.io.OutputStreamWriter; public…

C 语言实例 - 从文件中读取一行 从文件中读取一行. 文件 runoob.txt 内容: $ cat runoob.txt runoob.com google.com 实例 #include <stdio.h> #include <stdlib.h> // exit() 函数 int main() { ]; FILE *fptr; if ((fptr = fopen("runoob.txt", "r")) == NULL) { printf…

#include <iostream> using namespace std; double harmonicMean(double x, double y); int main() { double x, y; while (cin >> x >> y) { // 这一步是读取一行的两个数 if (0 == x || 0 == y) break; cout << harmonicMean(x, y) << endl; } return 0;…

package com.loaderman.test; import java.util.HashSet; import java.util.Scanner; public class Test2 { /** * * 使用Scanner从键盘读取一行输入,去掉其中重复字符, 打印出不同的那些字符 * aaaabbbcccddd * * 分析: * 1,创建Scanner对象 * 2,创建HashSet对象,将字符存储,去掉重复 * 3,将字符串转换为字符数组,获取每一个字符存储在HashSet集…

RandomAccessFile 相对其它流多了一个seek() 方法指定指针的偏移量. 1.指定起始位置读取剩余内容 public static void test01() throws IOException { RandomAccessFile raf = new RandomAccessFile("src/com/xzlf/io/CopyFile.java", "r"); // 随机读取 raf.seek(2); byte[] flush = new byt…

标准输入输出与标准错误输出 标准输入/输出可能是软件工具设计原则里最主要的观念了.他的构想是:程序应有一个数据来源,数据出口(数据要去哪里),以及报告问题的地方.他们分别叫做标准输入,标准输出和标准错误输出.程序应该不知道也不在意其输入与输出背后是还有一个运行的程序!程序能够预期,在他启动的时候,这些标准位置都已打开,且已经准备好能够使用了. 默认情况下,程序会读取标准输入,写入标准输出,并将错误信息传递给标准错误输出.这种程序我们称为过滤器,由于他们过滤数据流,每个都会在数据流上运行某种运算,…

工作中需要判断某个文本中的URL是否能正常访问,并且随机获取其中N行能正常访问的URL数据,我的思路是:读取文本每一行数据,用urlopen访问,将返回状态码为200的URL保存到一个列表,获得列表长度,使用random产生一个随机值作为列表下标,获取该行数据.具体实现如下: import urllib2,random from sets import Set def get_responses(url): global good_list global bad_list if not url.…

shell-mysql 脚本背景 因为要在Linux上.远程读取mysql的表的数据,然后做一定清洗后.把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了.得在Win上开发好,还得打成jar包.上传到Linux上,假设那里出了问题.还得反复这样,很不方便,那就用shell写一个吧.也不须要什么jdbc驱动包,仅仅须要在Linux上装个MySQL的client就可以.用一行yum命令就可以搞定,所以就花了点时间.封装了一个小脚本 功能介绍 直接在Linux下使用shell脚本远程分页读…

参考:https://www.imzcy.cn/1553.html while和for对文件的读取是有区别的: 1. for对文件的读是按字符串的方式进行的,遇到空格什么后,再读取的数据就会换行显示 2. while对文件读是逐行读完后跳转到下行,while相对for的读取很好的还原数据原始性   正常情况下我们按行读取文件都直接用while来实现的,但是在某些特殊情况下使用while可能会出现问题(例如while循环里嵌套sshpass命令时,while在从文件读取数据时,只读取第一行数据就自…

1. 面向行的输入:getline()getline()函数读取整行,它使用通过回车键输入的换行符来确定输入结尾. cin.getline(Arr, 20) // Arr为用来输入行的数组的名称:                      //20包括19个字符和1个空字符 2. 面向行的输入:get()与getline()的工作方式类似,接受参数相同,但get()并不再读取并丢弃换行符,而是将其留在输入队列中.可如下使用: cin.get(Arr1, ArSize); // 读第一行cin.g…

Saiku数据库迁移后的刷新脚本 之前有谈过对saiku中的数据进行刷新,因为saiku默认会从缓存中查询数据,但是配置不使用缓存又会效率低下... 所以这里就需要做一个数据刷新,每次ETL之后都需要执行一遍数据刷新脚本. 刷新脚本主要分为两部分 1.使用shell命令从数据库中读取已有的用户信息 (因为已经做过数据迁移,数据库已经从h2转为我们自己的mysql) saikuRefresh.sh #!/bin/bash #数据库连接信息 HOSTNAME="10.11.22.33" #…

方法1:while循环中执行效率最高,最常用的方法. function while_read_line_bottom(){ while read line do echo $line done < $FILENAME } 注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样. 方法2 : 重定向法:管道法: cat $FILENAME | while read LINE function while_read_line(){ c…