SAP ABAP将大数据量排序后输入到内表
要向内表读入3百50万条数据,如果一次读入就会产生运行错误,错误提示为,没有内存对于扩展
内表。 我考虑使用SELECT...INTO TABLE...PACKAGE SIZE 和ENDSELECT来解决这个问题,每次比
如只让10000条数据读入。第二次再让10000条数据读入等等。 现在我有个问题,对于3百50万 条
数据最后输出是应该有顺序的。 但是每次SELECT和ENDSELECT之中只能对10000条数据进行排序,
第二次循环又有10000条新的,并且代替了老的10000,这样导致了只能对内表的10000条数据进行
排序。
You might do your sorting upon the database side.
Here are my two "forms" for your reference. If they don't work for you, mind letting
me take a look at your code here?
*&---------------------------------------------------------------------*
*& Form implicit_cursor
*&---------------------------------------------------------------------*
* text
*----------------------------------------------------------------------*
FORM implicit_cursor.
DATA lt_billing TYPE TABLE OF zbilling.
SELECT * FROM zbilling INTO TABLE lt_billing
PACKAGE SIZE pk_size
WHERE vbeln IN vbeln
AND aubel IN aubel
AND erfdate IN erfdate
AND fkdat IN fkdat
ORDER BY aubel aupos augrp erfdate DESCENDING erftime DESCENDING.
PERFORM process_data TABLES lt_billing.
ENDSELECT.
ENDFORM. "implicit_cursor
*&---------------------------------------------------------------------*
*& Form explicit_cursor
*&---------------------------------------------------------------------*
* text
*----------------------------------------------------------------------*
FORM explicit_cursor.
DATA a_cursor TYPE cursor.
DATA lt_billing TYPE TABLE OF zbilling.
OPEN CURSOR a_cursor FOR
SELECT * FROM zbilling
WHERE vbeln IN vbeln
AND aubel IN aubel
AND erfdate IN erfdate
AND fkdat IN fkdat
ORDER BY aubel aupos augrp erfdate DESCENDING erftime DESCENDING.
CHECK sy-subrc = 0.
DO.
FETCH NEXT CURSOR a_cursor INTO TABLE lt_billing
PACKAGE SIZE pk_size.
IF sy-subrc <> 0.
EXIT. " done Fetch
ENDIF.
PERFORM process_data TABLES lt_billing.
ENDDO.
CLOSE CURSOR a_cursor.
ENDFORM. "explicit_cursor
谢谢你的回复。请看我的部分代码:
loop at g_t_grid into wa_g_t_grid.
s_grid-y = wa_g_t_grid-y.
s_grid-x = wa_g_t_grid-x.
s_grid-data = wa_g_t_grid-data.
if s_grid-data(1) = m1. "删除冒号
shift s_grid-data.
endif.
INSERT INTO zubpgrid VALUES s_grid. "运行错误在这里,以前我是直接把3百50万
数据插入到内表,现在我想用一个数据库来代替.
endloop.
refresh g_t_grid.
CLEAR s_grid.
SELECT * FROM zubpgrid INTO TABLE ii_grid PACKAGE SIZE 10000."这里从数据库倒入到内
表,并且限制每次的数量.
SORT ii_grid BY y.
LOOP AT ii_grid.
at new y. "行号
refresh i_quellzeile.
endat. "new y
i_quellzeile-x = ii_grid-x.
i_quellzeile-data = ii_grid-data.
append i_quellzeile.
at end of y.
.....对属于同个行号的信息进行汇总.
ENDSELECT.
在这个案例中我觉得不需要cursor 和 fetch; 现在我需要整个内表都是有循序的,我想只要在
select后面加上order by y 就可以了.不只到是否正确.但是对于AT NEW y and AT END OF
y,应该在加入if语句,因为每次只要10000条数据进来,在下一次10000可能还有相同
Y 的信息.
请shaw1236帮我看看.谢谢.
==>在这个案例中我觉得不需要cursor 和 fetch; 现在我需要整个内表都是有循序的,我想只要
在select后面加上order by y 就可以了.不只到是否正确.
[Shaw1236] Yes. I think so. No explicit cursor is need.
I am not sure that you are able to loop table "ii_grid" by using "at new y" and "at
end of y" due to the package restriction. Can you simply use "on change of ii_grid-
y" after sorting(order by) data from the database?
下面是引用shaw1236于2008-4-7 19:20发表的回复::
==>在这个案例中我觉得不需要cursor 和 fetch; 现在我需要整个内表都是有循序的,我想只要
在select后面加上order by y 就可以了.不只到是否正确.
[Shaw1236] Yes. I think so. No explicit cursor is need.
I am not sure that you are able to loop table "ii_grid" by using "at new y" and "at
.......
What's the length of each row? I think you will be fine. Probably you need check the
table technical setting and monitor the table space.
Hi,
each row consists of x(int4 10), y( int4 10) and data(Char 73). I have set the
information about table technical Setting eg. Maximum data entries:
1,900,000 to 3,800,000
I am not sure if an error for inserting in Databank table occurs?
3500000 * (10 + 10 + 73) is roughly 310MB.
I think you will be fine. Ensure the table buffer is turned off. Just curious why
you save so much data into a z-table.
Maximum data entries: 1,900,000 to 3,800,000 is only a threshold number, which won't
absolutely block the size growing.
转自:http://11643599.blog.hexun.com/37289101_d.html
SAP ABAP将大数据量排序后输入到内表的更多相关文章
- [SAP ABAP开发技术总结]CLEAR、REFRESH、FREE内表清理区别
声明:原创作品,转载时请注明文章来自SAP师太技术博客( 博/客/园www.cnblogs.com):www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将 ...
- SAP ABAP ALV构建动态输出列与构建动态内表(包留备用),包含操作abap元类型表及类
https://blog.csdn.net/zhongguomao/article/details/51095946
- MySQL数据库如何解决大数据量存储问题
利用MySQL数据库如何解决大数据量存储问题? 各位高手您们好,我最近接手公司里一个比较棘手的问题,关于如何利用MySQL存储大数据量的问题,主要是数据库中的两张历史数据表,一张模拟量历史数据和一张开 ...
- 利用MySQL数据库如何解决大数据量存储问题?
提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如何做,对于一个存储设计,必须考虑业务特点,收集的信息如下:1.数据的容量:1-3年内会大概多少条数据,每条 ...
- MySQL数据库解决大数据量存储问题
转载自:https://www.cnblogs.com/ryanzheng/p/8334915.html 提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如 ...
- jquery.datatable.js与CI整合 异步加载(大数据量处理)
http://blog.csdn.net/kingsix7/article/details/38928685 1.CI 控制器添加方法 $this->show_fields_array=arra ...
- php 大数据量及海量数据处理算法总结
下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题.下面的一些问题基本直接来源于公司的面试笔试题目, ...
- 【1】MySQL大数据量分页查询方法及其优化
---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千 ...
- java大数据量调优
从总体上来看,对于大型网站,比如门户网站,在面对大量用户访问.高并发请求方面,基本的解决方案集中在这样几个环节:1.首先需要解决网络带宽和Web请求的高并发,需要合理的加大服务器和带宽的投入,并且需要 ...
随机推荐
- 机器学习&数据挖掘笔记_24(PGM练习八:结构学习)
前言: 本次实验包含了2部分:贝叶斯模型参数的学习以及贝叶斯模型结构的学习,在前面的博文PGM练习七:CRF中参数的学习 中我们已经知道怎样学习马尔科夫模型(CRF)的参数,那个实验采用的是优化方法, ...
- mysql的collation
mysql的collation大致的意思就是字符序.首先字符本来是不分大小的,那么对字符的>, = , < 操作就需要有个字符序的规则.collation做的就是这个事情,你可以对表进行字 ...
- javascrpt插入html中中文字符乱码问题记录
问题就是我使用js做这么个事情: var description = [ '你好', '你好', '你好', '你好' ]; var link = ''; var logLink = ''; ; i ...
- 【转】ASP.NET"正在中止线程"错误原因
最近做的系统中老出现的一些问题不太明白,在使用 Response.End.Response.Redirect 或 Server.Transfer 时出现 ThreadAbortException , ...
- ASP.NET Core 开发-中间件(StaticFiles)使用
ASP.NET Core 开发,中间件(StaticFiles)的使用,我们开发一款简易的静态文件服务器. 告别需要使用文件,又需要安装一个web服务器.现在随时随地打开程序即可使用,跨平台,方便快捷 ...
- 【处理手记】Configuration system failed to initialize异常的另类原因
有个c#程序在某台电脑上,执行某个操作时,总是会报如图错误: 度娘一番,发现市面上常见的原因是配置文件中的特定节点的位置不对,或者配置文件损坏等等,而这个程序根本没有使用内置的配置文件方案,而是用的i ...
- Github的第三方验证
Github的第三方验证 随着近年来网络安全越来越受到重视,对于用户认证和用户信息保存模块的开发也提升到了一个新的高度. 一般小型网站开发的时候,由于技术水平和时间成本有限,很有可能会开发出一些或大或 ...
- 炉石传说 C# 设计文档(序)
经过3个月的开发,有很多感触. 以前一直以为技术是开发成败的第一因素,现在发现,等到你代码写的时间够长,经验够丰富,什么功能都能随手完成,对于业务的分析能力变成了第一位. 炉石山寨版的BS版本用到的H ...
- jquery简单原则器(匹配索引大于指定值的元素)
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...
- Java并发编程:线程间协作的两种方式:wait、notify、notifyAll和Condition
Java并发编程:线程间协作的两种方式:wait.notify.notifyAll和Condition 在前面我们将了很多关于同步的问题,然而在现实中,需要线程之间的协作.比如说最经典的生产者-消费者 ...