• 建表,多设置一个字段id_tmp
      create table if not exists mall_data.dtw_mall2_adm_customer_d_tmp(
      id_tmp string comment '临时创建的id',
      mac_addr string comment 'Mac地址',
      customer_id string comment '客户ID',
      name string comment '姓名',
      gender string comment '性别',
      age string comment '年龄',
      phone string comment '手机',
      email string comment '邮箱',
      birthday string comment '生日',
      city string comment '省份城市',
      has_car string comment '是否有车',
      member_id string comment '会员号',
      member_point string comment '会员积分',
      member_status string comment '会员状态',
      member_activate_time string comment '激活时间',
      customer_type string comment '客户类型',
      customer_life_cycle string comment '生命周期',
      customer_new_old string comment '新老客户',
      customer_level string comment '客户等级',
      worth_consume_level string comment '消费层级',
      shopping_feature string comment '购物特征',
      character_all string comment '性格特征',
      food_style string comment '偏好菜系',
      food_price string comment '偏好用餐价位',
      food_taste string comment '偏好口味',
      food_time string comment '偏好用餐时间',
      food_type string comment '偏好餐饮类型',
      mall_visit_times_all string comment '到访次数',
      mall_stay_time_all string comment '总停留时长',
      mall_stay_time_avg string comment '平均停留时长',
      shop_visit_num string comment '到访店铺数',
      shop_stay_time_avg string comment '到店平均停留时长',
      mall_last_visit_time string comment '上次到访时间',
      pay_mall_all string comment '交易总额',
      pay_num_mall_all string comment '交易笔数',
      pay_per_deal_avg string comment '平均每笔交易金额',
      pay_shop_num_all string comment '成交店铺数',
      pay_per_shop_avg string comment '成交店铺平均单价',
      pay_commodity_num_all string comment '成交商品数',
      pay_commodity_per_unit_avg string comment '成交商品平均单价',
      pay_last_time string comment '上次交易时间'
      )
      comment '用户表'
      partitioned by (ds string comment '分区', tenantId int comment '租户id' , mallName string comment '商场名称')
      stored as parquet;
    • 创建临时表 tmp_count_control,用于辅助数据的插入
      create table tmp_count_control(id int);

      insert into table tmp_count_control values(1),(2),(3),(4),(5),(6),(7),(8),(9),(10),(11),(12),(13),(14),(15),(16);

      select * from tmp_count_control;

    • 插入数据到
      insert into mall_data.dtw_mall2_adm_customer_d_tmp partition(ds='20180615', tenantid=1, mallname='big')
      select
      id,
      cast(rand()*1000000 as int)+1000000,
      cast(rand()*1000000 as int)+1000000,
      concat(
      split('a b c d e f g h i g k l m n o p q r s t u v w x y z',' ')[cast(rand()*26 as int)],
      split('a b c d e f g h i g k l m n o p q r s t u v w x y z',' ')[cast(rand()*26 as int)],
      split('a b c d e f g h i g k l m n o p q r s t u v w x y z',' ')[cast(rand()*26 as int)],
      split('a b c d e f g h i g k l m n o p q r s t u v w x y z',' ')[cast(rand()*26 as int)],
      split('a b c d e f g h i g k l m n o p q r s t u v w x y z',' ')[cast(rand()*26 as int)],
      split('a b c d e f g h i g k l m n o p q r s t u v w x y z',' ')[cast(rand()*26 as int)],
      split('a b c d e f g h i g k l m n o p q r s t u v w x y z',' ')[cast(rand()*26 as int)]
      ),
      split('m f notclear',' ')[cast((rand()*3) as int)],
      cast((rand()*40) as int)+10,
      13344455666,
      'dtw123@dtw-inc.com',
      concat(concat(199,split('0 1 2 3 4 5 6 7 8 9',' ')[cast(rand()*10 as int)]),
      split('01 02 03 04 05 06 07 08 09 10 11 12',' ')[cast(rand()*12 as int)],
      concat(split('0 1 2',' ')[cast(rand()*3 as int)],split('1 2 3 4 5 6 7 8',' ')[cast(rand()*8 as int)])
      ),
      split('北京 上海 广州 深圳 杭州 厦门 福州 济南 青岛 烟台 济宁 临沂 莱芜 曲阜 平壤 太原 阜阳 合肥 嵊州 平度 拉萨 昆明 沈阳 长春 哈尔滨',' ')[cast(rand()*25 as int)],
      split('有 无 不确定',' ')[cast((rand()*3) as int)],
      cast(rand()*1000000 as int)+1000000,
      cast(rand()*100000 as int),
      split('未激活 已激活',' ')[cast(rand()*2 as int)],
      concat(concat(201,split('0 1 2 3 4 5 6 7',' ')[cast(rand()*8 as int)]),
      split('01 02 03 04 05 06 07 08 09 10 11 12',' ')[cast(rand()*12 as int)],
      concat(split('0 1 2',' ')[cast(rand()*3 as int)],split('1 2 3 4 5 6 7 8',' ')[cast(rand()*8 as int)])
      ),
      split('到访客户 成交客户 会员客户',' ')[cast(rand()*3 as int)],
      split('新客 活跃客户 忠诚客户 流失客户 回头客',' ')[cast(rand()*5 as int)],
      split('新客户 老客户',' ')[cast(rand()*2 as int)],
      split('初级访客 中级访客 高级访客 初级会员 中级会员 高级会员',' ')[cast(rand()*6 as int)],
      split('低 中 高',' ')[cast(rand()*3 as int)],
      concat(
      '{',
      split('花卉一族 摄影一族 健美一族 果粉 电影派 阅读者 舞林人士 乐器迷 爱听音乐 童心未泯',' ')[cast(rand()*10 as int)],
      ',',
      split('御宅族 白富美 高帅富 呼朋唤友 休闲大咖 装修一族 甜蜜新人 户外一族 网络一族 酒品人生',' ')[cast(rand()*10 as int)],
      ',',
      split('有型潮男 拜金主义 数码达人 家有儿女 养生专家 运动一族 车友派 家有宠物 游戏人生 爱家人士',' ')[cast(rand()*10 as int)],
      '}'
      ),
      concat(
      '{',
      split('明确果断 犹豫再三 喜新厌旧 货比三家',' ')[cast(rand()*4 as int)],
      ',',
      split('只逛不买 虚荣型 忠诚型',' ')[cast(rand()*3 as int)],
      ',',
      split('挑剔型 将就型 跟风型',' ')[cast(rand()*3 as int)],
      '}'
      ),
      split('川菜 粤菜 淮扬菜 浙菜 湘菜 徽菜 闽菜 日本菜 台湾菜 韩国菜',' ')[cast(rand()*10 as int)],
      split('低 中 高',' ')[cast(rand()*3 as int)],
      split('油 清淡 辣 麻 咸',' ')[cast(rand()*5 as int)],
      split('上午 中午 下午 黄昏 傍晚 晚上',' ')[cast(rand()*6 as int)],
      split('中餐 西餐 自助餐 小吃快餐 饮品店 面包甜点 火锅 特色菜 烧烤',' ')[cast(rand()*9 as int)],
      cast(rand()*50 as int),
      round(rand()*50,1)+5,
      round(rand()*5,1),
      cast(rand()*10 as int),
      round(rand()*5,1)+1,
      concat(concat(201,split('6 7 8',' ')[cast(rand()*3 as int)]),
      split('01 02 03 04 05 06 07 08 09 10 11 12',' ')[cast(rand()*12 as int)],
      concat(split('0 1 2',' ')[cast(rand()*3 as int)],split('1 2 3 4 5 6 7 8',' ')[cast(rand()*8 as int)])
      ),
      round(rand()*5000,1)+5000,
      cast(rand()*50 as int),
      round(rand()*1000,1)+500,
      cast(rand()*20 as int),
      round(rand()*500,1)+50,
      cast(rand()*20 as int),
      round(rand()*100,1)+50,
      concat(concat(201,split('6 7 8',' ')[cast(rand()*3 as int)]),
      split('01 02 03 04 05 06 07 08 09 10 11 12',' ')[cast(rand()*12 as int)],
      concat(split('0 1 2',' ')[cast(rand()*3 as int)],split('1 2 3 4 5 6 7 8',' ')[cast(rand()*8 as int)])
      )

      from tmp_count_control [limit 5000];

    •   OK,完成数据的插入!!!
    • 通过新建临时表来辅助实现插入数据条数的控制,否则就得通过insert into tablename values (******),(******)......形式,写多次上面蓝色的sql(上面80行sql仅仅插入1条数据)

  

mock数据,尽量随机,1次插入多条的更多相关文章

  1. mock数据,尽量随机,采用中间表的方式实现

    开发平台上的sql不能超过1000行,而为了插入尽可能随机的数据,sql比较长---插入一行数据就需要执行80行sql,因此执行insert into mall_data.dtw_mall2_tmp ...

  2. json-server mock数据

    前言: 项目开发中,影响项目进程的常常是由于在前后端数据交互的开发流程中停滞,前端完成静态页面的开发后,后端迟迟未给到接口.而现在,我们就可以通过根据后端接口字段,建立一个REST风格的API接口,进 ...

  3. vue-cli 本地开发mock数据使用方法

    vue-cli 中可以通过配置 proxyTable 解决开发环境的跨域问题,具体可以参考这篇文章: Vue-cli proxyTable 解决开发环境的跨域问题 如果后端接口尚未开发完成,前端开发一 ...

  4. mock数据(模拟后台数据)

    mock数据(模拟后台数据) - Emily恩 - 博客园 https://www.cnblogs.com/enboke/p/vue.html Mock.js http://mockjs.com/ 前 ...

  5. 用一条mysql语句插入多条数据

    这篇文章主要介绍了在mysql中使用一条sql语句插入多条数据,效率非常高,但是原理其实很简单,希望对大家有所帮助 假如有一个数据表A: id name title addtime 如果需要插入n条数 ...

  6. Electron-vue实战(二)— 请求Mock数据渲染页面

    Electron-vue实战(二)— 请求Mock数据渲染页面 作者:狐狸家的鱼 本文链接 GitHub:sueRimn 一.环境搭建 1.安装Mock.js 如果仅仅用作脱离后台的模拟数据,就安装在 ...

  7. mock 数据 解决方案

    前端工程化之--Mock解决方案   https://www.jianshu.com/p/720b12b5d120 一.为什么要使用mock数据: 1.后端接口数据没有的时候,前端根据接口文档,使用 ...

  8. mysql如果数据不存在,则插入新数据,否则更新的实现方法

    mysql如果数据不存在,则插入新数据,否则更新的实现方法 //如果不存在,则插入新数据 $sql = "INSERT INTO {$ecs->table('cat_lang')} ( ...

  9. SQL---一次插入多条数据【使用Union】

    --做测试的时候使用.--缺点:结果集的数量,类型都要一样.INSERT INTO Student ( StudentID, StudentName, StduentAge, StudentBirth ...

随机推荐

  1. java字符串截取指定下标位置的字符串

    public class A { public static void main(String[] args) { //定义的字符串 String s = "Hello World" ...

  2. v模拟器(华为、H3C)点滴

    华为模拟器:eNSP V100R002C00B500 安装问题: 1)环境为WIN10,64位专业版 2)安装完成后可以打开界面,但是新建一个设备后,打不开,一直不停的#号 3)解决:手工点击Virt ...

  3. presto 判断数据量是否大于一个比较小的值的优化

    问题来源于以下场景: 我们需要对一张数据表做导出文件操作,需要判断如果数据量不多的时候,直接导出提供下载,如果数据量超过一定数值,则异步处理导出和下载. 这里就引入一个问题,如果我们直接count一张 ...

  4. 基于mykernel完成多进程的简单内核

    学号351 原创作品转载请注明出处 + https://github.com/mengning/linuxkernel/ mykernel简介 mykernel是由孟宁老师建立的一个用于开发您自己的操 ...

  5. java基本类型和数字类及其相关计算

    --- java 八大基本类型 byte  short int long double float boolean char --对应的包装类 Byte Short Integer Long Doub ...

  6. jQuery获取name相同被选中的多选框的值

    var name= "";            $("input:checkbox[name='AllElection']:checked").each(fu ...

  7. 考研计算机复试笔试(数据结构/C语言简答题篇)

    1.比较顺序存储结构和链式存储结构的优缺点,什么情况下链表比顺序表好? 顺序存储时相邻元素的存储单元的地址也相连,可以随机存取.优点是存储密度大,空间利用率高:缺点是插入或删除时不方便. 链式存储时相 ...

  8. 4 扩展库Scipy

    https://www.scipy.org/ 1. numpy    矩阵 2. matplotlib 绘图库 3. pandas 高效的Series和DataFrame数据结构 4.5 ndarry ...

  9. Mac下部署Ionic环境

    1.下载安装nodejs,可以到官网http://nodejs.org/en/download/上去下载最新版本安装,比较无脑.如果官网打不开的话可以到中文网站去下载http://nodejs.cn/ ...

  10. 集合练习 练习:每一个学生Student都有一个对应的归属地定义为String类型。学生属性:姓名,年龄 注意:姓名和年龄相同的视为同一个学生。保证学生的唯一性。 1、描述学生。 2、定义Map容器,将学生作为键,地址作为值存入集合中。 3、获取Map中的元素并进行排序。

    package com.rf.xs.map; public class Student implements Comparable<Student> { private String na ...