上一篇介绍过数据差距与数据岛的背景,这里不再赘述,请翻阅上一文.此篇在Sqlserver上给大家演示1000万条记录的计算性能. 测试电脑软硬件说明 一般般的笔记本电脑,2017年7月,价格:4500+. 数据构造 1000万行数据,由10万个用户+每用户100条记录组成,同样使用书中所提及的构造序列的表值函数轻松构造完成. 使用循环和随机函数,实现删除10万条数据,因测试时先建了索引再删除数据,慢得一塌糊涂,最终中途中止了,没有实际删除这么多数据. 关系型数据库,性能优化的核心是适当的索引,此…
最近看到PowerBI圈子在讨论最大连续区间段的问题,即某人最大的全勤时间,某人的最长的连续打卡时间等问题的计算,佐罗老师给出了10万倍性能的答案.这个问题也引发了笔者一些兴趣,隐约记得以前看过Sqlserver的窗口函数的应用场景中有这方面的知识,这周末也花了一天时间重新温故了一翻,非常有味道,在此打算和大家一同分享一下.时间有限,首篇只能抛出问题,下一篇再贴出答案. 在此强烈推荐一下此书,老外Sqlserver的MVP写的,非常精彩.正因为看过这相关的书籍,才不断地向身边人推荐,做数据分析的…
为AssetBundles准备资源 使用AssetBundles时,您可以随意将任何Asset分配给所需的任何Bundle.但是,在设置Bundles时,需要考虑一些策略.这些分组策略可以使用到任何你认为适合的特定项目中.你可以随心所欲地混合和匹配这些策略. 逻辑实体分组 逻辑实体分组是根据其所代表的项目的功能部分将资产分配给AssetBundles的.这包括诸如用户界面.人物.环境以及在整个应用程序的整个生命周期中频繁出现的其他部分. 例子 把用户界面的所有纹理和布局数据打包到一起 把人物角色…
AssetBundles AssetBundle是一个存档文件,其中包含平台在运行时加载的特定资产(模型,纹理,预制,音频剪辑,甚至整个场景).AssetBundles可以表示彼此之间的依赖关系;例如AssetBundle A中的一个材质可以引用AssetBundle B中的一个纹理.为了通过网络进行有效的传递,可以根据用例要求,选择内置算法(LZMA和LZ4)来对AssetBundles进行压缩. AssetBundles可用于可下载内容(DLC),减少初始安装大小,加载为最终用户平台优化的资…
「JSOI2013」游戏中的学问 传送门 考虑 \(\text{DP}\) 设 \(dp_{i, j}\) 表示将前 \(i\) 个人分成 \(j\) 个集合,并且第 \(i\) 个人在第 \(j\) 个集合的方案数. 转移就是: \[ dp_{i, j} = dp_{i - 1, j} \times (i - 1) + dp_{i - 3, j - 1} \times {i - 1 \choose 2} \times 2 \] 其中前面那一项就是加入一个人,感觉有点像第一类斯特林数递推式中的一…
在消费Kafka中分区的数据时,我们需要跟踪哪些消息是读取过的.哪些是没有读取过的.这是读取消息不丢失的关键所在. Kafka是通过offset顺序读取事件的.如果一个消费者退出,再重启的时候,它知道从哪儿继续读取消息进行处理.所以,消费者需要「提交」属于它们自己的偏移量.如果消费者已经提交了偏移量,但消息没有得到有效处理,此时就会造成消费者消息丢失.所以,我们应该重视偏移量提交的时间点以及提交的方式. Kafka消费者的可靠性配置 1.group.id 如果两个消费者有相同的 group.id…
Django 中使用数据库的 9 个小技巧. 1. 过滤器聚合 在 Django 2.0 之前,如果你想得到“用户总数”.“活跃用户总数”等信息时,你不得不使用条件表达式. Django 2.0 中,通过在聚合函数中添加一个过滤器使这种问题变得更加简单.容易处理: 怎么样? 看起来很简洁明了吧. 如果你使用的是 PostgreSQL 的话,若要进行这种查询,查询程序如下: 可以看到,在第二个查询语句中,使用 FILTER(WHERE) 过滤语句. 2. 将查询结果变为 namedtuples 形…
一.前言 在工作中经常要与mysql打交道,但是对mysql的各个字段类型一直都是一知半解,因此写本文总结记录一番. 二.简介 对于int类型的一些基础知识其实上图已经说的很明白了,在这里想讨论下常用的int(11)代表什么意思,很长时间以来我都以为这代表着限制int的长度为11位,直到有天看到篇文章才明白,11代表的并不是长度,而是字符的显示宽度,在字段类型为int时,无论你显示宽度设置为多少,int类型能存储的最大值和最小值永远都是固定的,这里贴一些原文片段 The number in th…
Flink中的时间类型和窗口是非常重要概念,是学习Flink必须要掌握的两个知识点. Flink中的时间类型 时间类型介绍 Flink流式处理中支持不同类型的时间.分为以下几种: 处理时间 Flink程序执行对应操作的系统时间.所有基于时间的操作(例如:时间窗口)都将使用运行相应operator的系统时间.例如:每个小时的处理时间窗口包括在系统时间范围内所有operator接收到的记录.例如:如果应用程序在09:15开始运行,则第一个滚动时间窗口将包括:09:15 – 10:00 之间的处理事件…
vs2017,sqlserver2017(localdb)调试通过.在sqlserver中创建数据库d1,表t1如下: 录入数据如下: 在vs新建任意项目,此处以控制台为例.添加数据模型Model1: 为了尽量少写代码,选择下图内容(该模式似乎没有迁移问题,挺好的): 说明:连接字符串可以在代码中自行设置,所以下面选了“否”并且没有勾选复选框. 选择需要使用的表:完成 项目里自动添加Model1.cs和t1.cs.一个是数据库对象(含表),一个是表里的记录对象. 把Model1.cs当中的‘ba…