【原创】10万条数据采用存储过程分页实现(Mvc+Dapper+存储过程)
有时候大数据量进行查询操作的时候,查询速度很大强度上可以影响用户体验,因此自己简单写了一个demo,简单总结记录一下:
技术:Mvc4+Dapper+Dapper扩展+Sqlserver
目前主要实现了两种分页:一种采用 PagedList.Mvc 实现的分页
两外一种采用 ajax异步加载分页 采用比较常用的jquery.pagination 分页插件。
功能相对比较简单仅供学习交流。
通用存储过程
USE [MvcProcPageDB]
GO /****** Object: StoredProcedure [dbo].[ProcViewPager] Script Date: 2017/4/23 16:41:16 ******/
SET ANSI_NULLS ON
GO SET QUOTED_IDENTIFIER ON
GO CREATE PROCEDURE [dbo].[ProcViewPager] (
@recordTotal INT OUTPUT, --输出记录总数
@viewName VARCHAR(800), --表名
@fieldName VARCHAR(800) = '*', --查询字段
@keyName VARCHAR(200) = 'Id', --索引字段
@pageSize INT = 20, --每页记录数
@pageNo INT =1, --当前页
@orderString VARCHAR(200), --排序条件
@whereString VARCHAR(800) = '1=1' --WHERE条件
)
AS
BEGIN
DECLARE @beginRow INT
DECLARE @endRow INT
DECLARE @tempLimit VARCHAR(200)
DECLARE @tempCount NVARCHAR(1000)
DECLARE @tempMain VARCHAR(1000)
--declare @timediff datetime set nocount on
--select @timediff=getdate() --记录时间 SET @beginRow = (@pageNo - 1) * @pageSize + 1
SET @endRow = @pageNo * @pageSize
SET @tempLimit = 'rows BETWEEN ' + CAST(@beginRow AS VARCHAR) +' AND '+CAST(@endRow AS VARCHAR) --输出参数为总记录数
SET @tempCount = 'SELECT @recordTotal = COUNT(*) FROM (SELECT '+@keyName+' FROM '+@viewName+' WHERE '+@whereString+') AS my_temp'
EXECUTE sp_executesql @tempCount,N'@recordTotal INT OUTPUT',@recordTotal OUTPUT --主查询返回结果集
SET @tempMain = 'SELECT * FROM (SELECT ROW_NUMBER() OVER (order by '+@orderString+') AS rows ,'+@fieldName+' FROM '+@viewName+' WHERE '+@whereString+') AS main_temp WHERE '+@tempLimit --PRINT @tempMain
EXECUTE (@tempMain)
--select datediff(ms,@timediff,getdate()) as 耗时 set nocount off
END GO
Dapper
/// <summary>
/// 查询所有用户
/// </summary>
/// <returns></returns>
public List<UserInfo> GetAllList()
{
var list = new List<UserInfo>();
//string sql = @"select Id,UserName,Nation,TrueName,Birthday,LocalAddressGender from UserInfo";
using (SqlConnection conn = new SqlConnection(constr))
{
conn.Open();
//标准写法
//list = conn.Query<UserInfo>(sql,commandType: CommandType.Text).AsList();
//dapper扩展写法
list = conn.GetList<UserInfo>().AsList();
conn.Close();
}
return list;
}
Dapper分页
/// <summary>
/// 采用存储过程分页
/// </summary>
/// <param name="page"></param>
/// <param name="pageSize"></param>
/// <returns></returns>
public UserPage GetPageByProcList(int page=,int pageSize=)
{
UserPage model = new UserPage();
var list = new List<UserInfo>();
//string sql = @"select Id,UserName,Nation,TrueName,Birthday,LocalAddressGender from UserInfo";
using (SqlConnection conn = new SqlConnection(constr))
{
conn.Open();
DynamicParameters parm = new DynamicParameters();
parm.Add("viewName", "UserInfo");
parm.Add("fieldName", "*");
parm.Add("keyName", "Id");
parm.Add("pageSize", pageSize);
parm.Add("pageNo", page);
parm.Add("orderString", "Id");
parm.Add("recordTotal", , DbType.Int32, ParameterDirection.Output);
//参数名得和存储过程的变量名相同(参数可以跳跃传,键值对方式即可)
//强类型
//list = conn.Query<UserInfo>("P_GridViewPager", new { viewName = "Edu_StudentSelectedCourse", fieldName = "*", keyName = "Id", pageSize = 20, pageNo = 1, orderString = "id" }, commandType: CommandType.StoredProcedure).ToList();
//标准写法
//list = conn.Query<UserInfo>(sql,commandType: CommandType.Text).AsList();
//dapper扩展写法
//list = conn.GetList<UserInfo>().AsList();
list = conn.Query<UserInfo>("ProcViewPager", parm, commandType: CommandType.StoredProcedure).AsList();
int totalCount = parm.Get<int>("@recordTotal");//返回总页数
model.user = list;
model.TotalCount = totalCount;
conn.Close();
}
return model;
}
public ActionResult Index(int page=)
{ #region 插入10条数据 //for (int i = 1; i <= 100000; i++)
//{
// list.Add(
// new UserInfo
// {
// Id = Guid.NewGuid().ToString(),
// UserName = "xiaoming" + i,
// Birthday = Convert.ToDateTime("1987-12-11"),
// Gender = 1,
// LocalAddress = "河南省",
// TrueName = "小明" + i,
// Nation = "汉族"
// });
//}
//ss.InsertAll(list);
#endregion
var pagelist = service.GetAllList().ToPagedList(page,);
return View(pagelist);
}
public ActionResult ProcPageIndex(int page=)
{
var list = service.GetPageByProcList(page,);
return View();
}
public JsonResult GetProList(int page=,int pagesize=)
{
var model = service.GetPageByProcList(page, pagesize);
return Json(model, JsonRequestBehavior.AllowGet);
}
View
@{
Layout = null;
}
<link href="~/Content/bootstrap.css" rel="stylesheet" />
<link href="~/Content/PagedList.css" rel="stylesheet" />
<link href="~/Scripts/pagination.css" rel="stylesheet" />
<div class="well">
<table class="table">
<thead>
<tr>
<th>用户名</th>
<th>真实姓名</th>
<th>出生日期</th>
<th>地址</th>
</tr>
</thead>
<tbody id="tbodylist"></tbody> </table> </div>
<div id="Pagination" class="pagination"> </div>
<script src="~/Scripts/jquery-1.9.1.min.js"></script>
<script src="~/Scripts/jquery.pagination.js"></script>
<script src="~/Scripts/bootstrap.js"></script>
<script type="text/javascript">
//分页查询开始
$(document).ready(function () {
getDataList(0, null);
}); var pagesize = 50;
var page = 1;
var initFlag = true; function getDataList(currPage, jg) { $.ajax({
url: "/Home/GetProList",
type: "get",
dataType: 'json',
data: { pagesize: pagesize, page: currPage + 1 },
contentType: "application/x-www-form-urlencoded; charset=utf-8",
success: function (response) {
if (response.user != null && response.user != "" && response.TotalCount != undefined && response.TotalCount > 0) {
if (initFlag) {
$("#Pagination").pagination(
response.TotalCount,
{
items_per_page: pagesize,
num_edge_entries: 1,
num_display_entries: 8,
callback: getDataList//回调函数
});
initFlag = false;
}
$("#tbodylist").html("");
loadDataList(response.user);
} else { } }
});
} function loadDataList(listdata) { var tbody = "";
$(listdata).each(function (i, n) {
//表格
tbody += "<tr>" +
"<td>" + n.UserName + "</td>" +
"<td>" + n.TrueName + "</td>" +
"<td>" + n.Birthday + "</td>" +
"<td>" + n.LocalAddress + "</td>" +
"</tr>";
});
$("#tbodylist").html(html); } 84 //分页查询结束
</script>
截图
项目地址:https://github.com/hgmsq/mvcprocpage
【原创】10万条数据采用存储过程分页实现(Mvc+Dapper+存储过程)的更多相关文章
- Mvc+Dapper+存储过程分页10万条数据
10万条数据采用存储过程分页实现(Mvc+Dapper+存储过程) 有时候大数据量进行查询操作的时候,查询速度很大强度上可以影响用户体验,因此自己简单写了一个demo,简单总结记录一下: 技术:Mvc ...
- 性能优化:虚拟列表,如何渲染10万条数据的dom,页面同时不卡顿
列表大概有2万条数据,又不让做成分页,如果页面直接渲染2万条数据,在一些低配电脑上可能会照成页面卡死,基于这个需求,我们来手写一个虚拟列表 思路 列表中固定只显示少量的数据,比如60条 在列表滚动的时 ...
- MariaDB(MySql)使用储存过程和随机函数插入10万条数据
))default charset =utf8; #定义一个随机切割字符串的函数 delimiter // create function randStr() ) begin ) default 'A ...
- 最短时间(几秒内)利用C#往SQLserver数据库一次性插入10万条数据
用途说明: 公司要求做一个数据导入程序,要求将Excel数据,大批量的导入到数据库中,尽量少的访问数据库,高性能的对数据库进行存储.于是在网上进行查找,发现了一个比较好的解决方案,就是采用SqlBul ...
- PHP MySQL 快速导入10万条数据
项目背景 数据来源:所有数据均为外部导入,最大数据量在10w+ 输出数据:导出经过业务处理之后的数据 使用框架:fastadmin 涉及的问题: 1.数据读取 2.数据保存 使用数据:10w+ 解决方 ...
- C# 使用EPPlus 秒导出10万条数据
1.先要引用dll文件,可以直接使用vs自带的包管理,如下图: 输入 EPPlus 我这里是安装过了的所以这里显示的是卸载而不是安装. 安装成功了之后会看到这个dll文件 代码如下: //导出Exce ...
- 使用virustotal VT 查询情报——感觉远远没有微步、思科好用,10万条数据查出来5万条都有postives >0的记录,尼玛!!!
1399 git clone https://github.com/VirusTotal/c-vtapi.git 1400 cd c-vtapi/ 1402 sudo apt-get install ...
- java 批量插入10万条数据
for (int i = 0; i < 100000; i++) { dbHelper.insert("INSERT aaa(name) Values ('1')"); } ...
- 绝对干货,教你4分钟插入1000万条数据到mysql数据库表,快快进来
我用到的数据库为,mysql数据库5.7版本的 1.首先自己准备好数据库表 其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下: ...
随机推荐
- vbs文件小技巧
vbs文件介绍: VBS是基于Visual Basic的脚本语言.VBS的全称是:Microsoft Visual Basic Script Editon.(微软公司可视化BASIC脚本版). 可以新 ...
- Insertion Sort List Leetcode
Sort a linked list using insertion sort. 这个题我巧妙的设置了一个临时头结点 class Solution { public: ListNode* insert ...
- 基于 Koa平台Node.js开发的KoaHub.js的模板引擎代码
koahub-handlebars koahub-handlebars koahub handlebars templates Installation $ npm install koahub-ha ...
- 百度api使用心得体会
最近项目中在使用百度地图api,对于其中的一些有用的点做一些归纳整理,如有不对的地方,欢迎各位大神纠正指出. 一定要学会查找百度地图api提供的类参考网站:http://lbsyun.baidu.co ...
- github多用户git push错误remote: Permission to user1/z.git denied to user2
背景:同一台电脑的public key同时添加到了github的两个账户,导致user1的仓库没法正常提交. 解决办法:为两个账户分别配置ssh key,配置~/.ssh/config文件(windo ...
- fastjson过滤不需要的属性
以下是一个通用的对象转json的方法,使用的fastjson的SimplePropertyPreFilter 对象,个人感觉比使用PropertyPreFilter的匿名内部类形式的过滤器更好用!直接 ...
- python计算文件夹大小(linux du命令 简化版)
C盘又满了,怎么办?用了一些垃圾清理软件(或者bat脚本),但是还是不理想,那么具体哪些文件夹下面有巨大的文件呢?windows并不能通过详细信息看到每个文件夹的大小(PS:这里所谓的文件夹的大小是指 ...
- calendar.js(日历组件封装)
最近一直闲来无事,便寻思着做一下自己的个人项目,也想说能使用现在比较流行的一些mvvm框架来做,于是就选用了这样的一个技术栈vue2.0+vue-router+vuex+webpack来做,做得也是多 ...
- javascript与jQuery选项卡效果
HTML结构: <!doctype html><html><head><meta charset="utf-8"><title ...
- js华氏度转为摄氏度
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...