SAP ABAP将大数据量排序后输入到内表
要向内表读入3百50万条数据,如果一次读入就会产生运行错误,错误提示为,没有内存对于扩展
内表。 我考虑使用SELECT...INTO TABLE...PACKAGE SIZE 和ENDSELECT来解决这个问题,每次比
如只让10000条数据读入。第二次再让10000条数据读入等等。 现在我有个问题,对于3百50万 条
数据最后输出是应该有顺序的。 但是每次SELECT和ENDSELECT之中只能对10000条数据进行排序,
第二次循环又有10000条新的,并且代替了老的10000,这样导致了只能对内表的10000条数据进行
排序。
You might do your sorting upon the database side.
Here are my two "forms" for your reference. If they don't work for you, mind letting
me take a look at your code here?
*&---------------------------------------------------------------------*
*& Form implicit_cursor
*&---------------------------------------------------------------------*
* text
*----------------------------------------------------------------------*
FORM implicit_cursor.
DATA lt_billing TYPE TABLE OF zbilling.
SELECT * FROM zbilling INTO TABLE lt_billing
PACKAGE SIZE pk_size
WHERE vbeln IN vbeln
AND aubel IN aubel
AND erfdate IN erfdate
AND fkdat IN fkdat
ORDER BY aubel aupos augrp erfdate DESCENDING erftime DESCENDING.
PERFORM process_data TABLES lt_billing.
ENDSELECT.
ENDFORM. "implicit_cursor
*&---------------------------------------------------------------------*
*& Form explicit_cursor
*&---------------------------------------------------------------------*
* text
*----------------------------------------------------------------------*
FORM explicit_cursor.
DATA a_cursor TYPE cursor.
DATA lt_billing TYPE TABLE OF zbilling.
OPEN CURSOR a_cursor FOR
SELECT * FROM zbilling
WHERE vbeln IN vbeln
AND aubel IN aubel
AND erfdate IN erfdate
AND fkdat IN fkdat
ORDER BY aubel aupos augrp erfdate DESCENDING erftime DESCENDING.
CHECK sy-subrc = 0.
DO.
FETCH NEXT CURSOR a_cursor INTO TABLE lt_billing
PACKAGE SIZE pk_size.
IF sy-subrc <> 0.
EXIT. " done Fetch
ENDIF.
PERFORM process_data TABLES lt_billing.
ENDDO.
CLOSE CURSOR a_cursor.
ENDFORM. "explicit_cursor
谢谢你的回复。请看我的部分代码:
loop at g_t_grid into wa_g_t_grid.
s_grid-y = wa_g_t_grid-y.
s_grid-x = wa_g_t_grid-x.
s_grid-data = wa_g_t_grid-data.
if s_grid-data(1) = m1. "删除冒号
shift s_grid-data.
endif.
INSERT INTO zubpgrid VALUES s_grid. "运行错误在这里,以前我是直接把3百50万
数据插入到内表,现在我想用一个数据库来代替.
endloop.
refresh g_t_grid.
CLEAR s_grid.
SELECT * FROM zubpgrid INTO TABLE ii_grid PACKAGE SIZE 10000."这里从数据库倒入到内
表,并且限制每次的数量.
SORT ii_grid BY y.
LOOP AT ii_grid.
at new y. "行号
refresh i_quellzeile.
endat. "new y
i_quellzeile-x = ii_grid-x.
i_quellzeile-data = ii_grid-data.
append i_quellzeile.
at end of y.
.....对属于同个行号的信息进行汇总.
ENDSELECT.
在这个案例中我觉得不需要cursor 和 fetch; 现在我需要整个内表都是有循序的,我想只要在
select后面加上order by y 就可以了.不只到是否正确.但是对于AT NEW y and AT END OF
y,应该在加入if语句,因为每次只要10000条数据进来,在下一次10000可能还有相同
Y 的信息.
请shaw1236帮我看看.谢谢.
==>在这个案例中我觉得不需要cursor 和 fetch; 现在我需要整个内表都是有循序的,我想只要
在select后面加上order by y 就可以了.不只到是否正确.
[Shaw1236] Yes. I think so. No explicit cursor is need.
I am not sure that you are able to loop table "ii_grid" by using "at new y" and "at
end of y" due to the package restriction. Can you simply use "on change of ii_grid-
y" after sorting(order by) data from the database?
下面是引用shaw1236于2008-4-7 19:20发表的回复::
==>在这个案例中我觉得不需要cursor 和 fetch; 现在我需要整个内表都是有循序的,我想只要
在select后面加上order by y 就可以了.不只到是否正确.
[Shaw1236] Yes. I think so. No explicit cursor is need.
I am not sure that you are able to loop table "ii_grid" by using "at new y" and "at
.......
What's the length of each row? I think you will be fine. Probably you need check the
table technical setting and monitor the table space.
Hi,
each row consists of x(int4 10), y( int4 10) and data(Char 73). I have set the
information about table technical Setting eg. Maximum data entries:
1,900,000 to 3,800,000
I am not sure if an error for inserting in Databank table occurs?
3500000 * (10 + 10 + 73) is roughly 310MB.
I think you will be fine. Ensure the table buffer is turned off. Just curious why
you save so much data into a z-table.
Maximum data entries: 1,900,000 to 3,800,000 is only a threshold number, which won't
absolutely block the size growing.
转自:http://11643599.blog.hexun.com/37289101_d.html
SAP ABAP将大数据量排序后输入到内表的更多相关文章
- [SAP ABAP开发技术总结]CLEAR、REFRESH、FREE内表清理区别
声明:原创作品,转载时请注明文章来自SAP师太技术博客( 博/客/园www.cnblogs.com):www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将 ...
- SAP ABAP ALV构建动态输出列与构建动态内表(包留备用),包含操作abap元类型表及类
https://blog.csdn.net/zhongguomao/article/details/51095946
- MySQL数据库如何解决大数据量存储问题
利用MySQL数据库如何解决大数据量存储问题? 各位高手您们好,我最近接手公司里一个比较棘手的问题,关于如何利用MySQL存储大数据量的问题,主要是数据库中的两张历史数据表,一张模拟量历史数据和一张开 ...
- 利用MySQL数据库如何解决大数据量存储问题?
提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如何做,对于一个存储设计,必须考虑业务特点,收集的信息如下:1.数据的容量:1-3年内会大概多少条数据,每条 ...
- MySQL数据库解决大数据量存储问题
转载自:https://www.cnblogs.com/ryanzheng/p/8334915.html 提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如 ...
- jquery.datatable.js与CI整合 异步加载(大数据量处理)
http://blog.csdn.net/kingsix7/article/details/38928685 1.CI 控制器添加方法 $this->show_fields_array=arra ...
- php 大数据量及海量数据处理算法总结
下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题.下面的一些问题基本直接来源于公司的面试笔试题目, ...
- 【1】MySQL大数据量分页查询方法及其优化
---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千 ...
- java大数据量调优
从总体上来看,对于大型网站,比如门户网站,在面对大量用户访问.高并发请求方面,基本的解决方案集中在这样几个环节:1.首先需要解决网络带宽和Web请求的高并发,需要合理的加大服务器和带宽的投入,并且需要 ...
随机推荐
- 理论到实践,A/B测试不得不直面的4个统计学问题
有放回?无放回? 从总体中随机抽取一个容量为n的样本,当样本容量 n足够大(通常要求n ≥30)时,无论总体是否符合正态分布,样本均值都会趋于正态分布.期望和总体相同,方差为总体的1/n.这即是中心极 ...
- kqueue用法简介
1.什么是kqueue和IO复用 kueue是在UNIX上比较高效的IO复用技术. 所谓的IO复用,就是同时等待多个文件描述符就绪,以系统调用的形式提供.如果所有文件描述符都没有就绪的话,该系统调用阻 ...
- Azure ARM (8) ARM Template - VS Code
<Windows Azure Platform 系列文章目录> 在上一节内容中,笔者介绍了如何使用Visual Studio来编辑ARM Template. 但是在某些时候,Visual ...
- java设计模式(二)---工厂方法模式
2普通工厂方法模式 就是建立一个工厂类,对实现了同一接口的一些类进行实例的创建. 2.1创建接口 /** * 发送接口 * Created by mrf on 2016/2/25. */ public ...
- Theano入门神经网络(四)
这一部分主要介绍用Theano 实现softmax函数. 在多分类任务中经常用到softmax函数,首先上几个投影片解释一下 假设目标输出是y_hat ,激活函数后的Relu y 一个是1.2 一个是 ...
- Theano入门神经网络(一)
Theano是一个Python库,专门用于定义.优化.求值数学表达式,效率高,适用于多维数组.特别适合做机器学习.一般来说,使用时需要安装python和numpy. 首先回顾一下机器学习的东西,定义一 ...
- SQL Server安全(8/11):数据加密(Data Encryption)
在保密你的服务器和数据,防备当前复杂的攻击,SQL Server有你需要的一切.但在你能有效使用这些安全功能前,你需要理解你面对的威胁和一些基本的安全概念.这篇文章提供了基础,因此你可以对SQL Se ...
- Python访问剪切板
剪切板访问工具 ----pyperclip he purpose of Pyperclip is to provide a cross-platform Python module for copyi ...
- MYSQL 函数 字符串到整数
SELECT CAST('002' AS signed) 结果为2 SELECT CAST('125e342.83' as signed) 结果为 125
- 【WebService】WebService的创建和使用——文件名称生成器
简介 之前做过一个文件名称生成器,通过Webservice读取XML文件并将其通过Json传到客户端中的combobx,用户通过combobox选择要生成文件的名称模板,点击生成则会产生一个文件名称并 ...