一、描述

最近在批量上传文件时网关出现了异常,后面发现上传大文件也会出现文件超过256发生异常,异常信息如下:

org.springframework.core.io.buffer.DataBufferLimitException: Exceeded limit on max bytes to buffer : 262144 at org.springframework.core.io.buffer.LimitedDataBufferList.raiseLimitException(LimitedDataBufferList.java:101)

二、解决

1. 在配置文件中配置 max-in-memory-size: 1024MB

  1. spring:
  2. codec:
  3. max-in-memory-size: 1024MB

结果:无效

2. 配置类中加大缓存

  1. @Configuration
  2. @EnableWebFlux
  3. public class WebFluxWebConfig implements WebFluxConfigurer {
  4. @Override
  5. public void configureHttpMessageCodecs(ServerCodecConfigurer configurer) {
  6. configurer.defaultCodecs().maxInMemorySize(2 * 1024 * 1024);
  7. }
  8. }

结果:无效

3. 对网关过滤器或拦截器RequestBodyRoutePredicateFactory的操作

原代码:

  1. public class RequestBodyRoutePredicateFactory
  2. extends AbstractRoutePredicateFactory<RequestBodyRoutePredicateFactory.Config> {
  3. protected static final Log LOGGER = LogFactory.getLog(RequestBodyRoutePredicateFactory.class);
  4. private final List<HttpMessageReader<?>> messageReaders;
  5. public RequestBodyRoutePredicateFactory() {
  6. super(RequestBodyRoutePredicateFactory.Config.class);
  7. this.messageReaders = HandlerStrategies.withDefaults().messageReaders();
  8. }
  9. public RequestBodyRoutePredicateFactory(List<HttpMessageReader<?>> messageReaders) {
  10. super(RequestBodyRoutePredicateFactory.Config.class);
  11. this.messageReaders = messageReaders;
  12. }
  13. public static final String REQUEST_BODY_ATTR = "requestBodyAttr";
  14. @Override
  15. public AsyncPredicate<ServerWebExchange> applyAsync(Config config) {
  16. return exchange -> {
  17. if (!"POST".equals(exchange.getRequest().getMethodValue()) && !"PUT".equals(exchange.getRequest().getMethodValue())) {
  18. return Mono.just(true);
  19. }
  20. Object cachedBody = exchange.getAttribute(REQUEST_BODY_ATTR);
  21. if (cachedBody != null) {
  22. try {
  23. return Mono.just(true);
  24. } catch (ClassCastException e) {
  25. if (LOGGER.isDebugEnabled()) {
  26. LOGGER.debug("Predicate test failed because class in predicate does not match the cached body object",
  27. e);
  28. }
  29. }
  30. return Mono.just(true);
  31. } else {
  32. return ServerWebExchangeUtils.cacheRequestBodyAndRequest(exchange, (serverHttpRequest) -> ServerRequest.create(exchange.mutate().request(serverHttpRequest).build(),
  33. //this.messageReaders 的默认缓存还是256k
  34. this.messageReaders).bodyToMono(String.class).defaultIfEmpty("").doOnNext((objectValue) -> {
  35. if (StringUtils.isBlank(objectValue)) {
  36. exchange.getAttributes().put(REQUEST_BODY_ATTR, JSON.toJSONString(exchange.getRequest().getQueryParams()));
  37. } else {
  38. exchange.getAttributes().put(REQUEST_BODY_ATTR, objectValue);
  39. }
  40. }).map((objectValue) -> true));
  41. }
  42. };
  43. }
  44. ....
  45. }

原因:原代码中获取body后,重新创建ServerRequest时,org.springframework.core.io.buffer.LimitedDataBufferList中判断接收数据大小超过制,org.springframework.core.codec.AbstractDataBufferDecoder中的默认262144。

具体可参考DataBufferLimitException: Exceeded limit on max bytes to buffer : 262144

解决办法:注入ServerCodecConfigurer,使用ServerCodecConfigurer.getReaders()获取相关配置。

  1. public class RequestBodyRoutePredicateFactory
  2. extends AbstractRoutePredicateFactory<RequestBodyRoutePredicateFactory.Config> {
  3. protected static final Log LOGGER = LogFactory.getLog(RequestBodyRoutePredicateFactory.class);
  4. //注入spring.codec.max-in-memory-size
  5. @Autowired
  6. ServerCodecConfigurer codecConfigurer;
  7. private final List<HttpMessageReader<?>> messageReaders;
  8. public RequestBodyRoutePredicateFactory() {
  9. super(RequestBodyRoutePredicateFactory.Config.class);
  10. this.messageReaders = HandlerStrategies.withDefaults().messageReaders();
  11. }
  12. public RequestBodyRoutePredicateFactory(List<HttpMessageReader<?>> messageReaders) {
  13. super(RequestBodyRoutePredicateFactory.Config.class);
  14. this.messageReaders = messageReaders;
  15. }
  16. public static final String REQUEST_BODY_ATTR = "requestBodyAttr";
  17. @Override
  18. public AsyncPredicate<ServerWebExchange> applyAsync(Config config) {
  19. return exchange -> {
  20. if (!"POST".equals(exchange.getRequest().getMethodValue()) && !"PUT".equals(exchange.getRequest().getMethodValue())) {
  21. return Mono.just(true);
  22. }
  23. Object cachedBody = exchange.getAttribute(REQUEST_BODY_ATTR);
  24. if (cachedBody != null) {
  25. try {
  26. return Mono.just(true);
  27. } catch (ClassCastException e) {
  28. if (LOGGER.isDebugEnabled()) {
  29. LOGGER.debug("Predicate test failed because class in predicate does not match the cached body object",
  30. e);
  31. }
  32. }
  33. return Mono.just(true);
  34. } else {
  35. return ServerWebExchangeUtils.cacheRequestBodyAndRequest(exchange, (serverHttpRequest) ->
  36. //codecConfigurer.getReaders(),来获取spring.codec.max-in-memory-size的配置
  37. ServerRequest.create(exchange.mutate().request(serverHttpRequest).build(),codecConfigurer.getReaders()).bodyToMono(String.class).defaultIfEmpty("").doOnNext((objectValue) -> {
  38. if (StringUtils.isBlank(objectValue)) {
  39. exchange.getAttributes().put(REQUEST_BODY_ATTR, JSON.toJSONString(exchange.getRequest().getQueryParams()));
  40. } else {
  41. exchange.getAttributes().put(REQUEST_BODY_ATTR, objectValue);
  42. }
  43. }).map((objectValue) -> true));
  44. }
  45. };
  46. }
  47. .....
  48. }

结果:成功

批量上传文件或者上传大文件时 gateWay报错DataBufferLimitException: Exceeded limit on max bytes to buffer : 262144的更多相关文章

  1. ThinkPHP 中入口文件中的APP_DEBUG为TRUE时不报错,改为FALSE时报错

    今天好不容易将一个新闻网做好了(ThinkPHP框架做的),但是,当我将入口文件中定义调试模式设为FALSE,即define('APP_DEBUG',False),然后再刷新网站的时候,就提示报错,报 ...

  2. Loadrunner上传文件解决办法(大文件)

    Loadrunner上传文件解决办法(大文件) 最近再做一个跟海量存储相关的项目测试,需要通过LR模拟用户大量上传和下载文件,请求是Rest或Soap,同时还要模拟多种大小尺寸不一的文件 通常情况下, ...

  3. Python组织文件 实践:查找大文件、 用Mb、kb显示文件尺寸 、计算程序运行时间

    这个小程序很简单原本没有记录下来的必要,但在编写过程中又让我学到了一些新的知识,并且遇到了一些不能解决的问题,然后,然后就很有必要记录一下. 这个程序的关键是获取文件大小,本来用 os.path.ge ...

  4. 转:Loadrunner上传文件解决办法(大文件)

    最近再做一个跟海量存储相关的项目测试,需要通过LR模拟用户大量上传和下载文件,请求是Rest或Soap,同时还要模拟多种大小尺寸不一的文件 通常情况下,都是使用简单的post协议即可: 方法一: we ...

  5. GitHub限制上传单个大于100M的大文件

    工作中遇到这个问题,一些美术资源..unitypackage文件大于100M,Push到GitHub时被拒绝.意思是Push到GitHub的每个文件的大小都要求小于100M. 搜了一下,很多解决办法只 ...

  6. Facebook图片存储系统Haystack——存小文件,本质上是将多个小文件合并为一个大文件来降低io次数,meta data里存偏移量

    转自:http://yanyiwu.com/work/2015/01/04/Haystack.html 一篇14页的论文Facebook-Haystack, 看完之后我的印象里就四句话: 因为[传统文 ...

  7. 【laravel5.4】git上clone项目到本地,配置和运行 项目报错:../vendor/aotuload.php不存在

    1.一般我们直接使用git clone 将git的项目克隆下来,在本地git库和云上git库建立关联关系 2.vendor[扩展]文件夹是不会上传的,那么下载下来直接运行项目,会报错: D:phpSt ...

  8. 【JavaNIO的深入研究4】内存映射文件I/O,大文件读写操作,Java nio之MappedByteBuffer,高效文件/内存映射

    内存映射文件能让你创建和修改那些因为太大而无法放入内存的文件.有了内存映射文件,你就可以认为文件已经全部读进了内存,然后把它当成一个非常大的数组来访问.这种解决办法能大大简化修改文件的代码.fileC ...

  9. 【基础巩固】文件流读写、大文件移动 FileStream StreamWriter File Path Directory/ ,m资料管理器(递归)

    C#获取文件名 扩展名 string fullPath = @"d:\test\default.avi"; string filename = Path.GetFileName(f ...

随机推荐

  1. jenkins-learning

    常规的打包方式: 提交代码 拉去代码并打包:war包和jar包 上传到服务器 关闭当前程序 启动新的jar包 查看新的jar包是否起作用 jenkins自动化流程: CI(Continuous int ...

  2. Spring根据路径前缀获取不同Resource

    相关文章:https://www.jianshu.com/p/5bab9e03ab92 官方文档:https://docs.spring.io/spring/docs/current/spring-f ...

  3. thymeleaf调用静态类

    为啥需要调用本地静态方法 Thymeleaf模板里面有时候需要使用本地静态常量,要是每次都在控制层传一遍很麻烦 我们需要在Thymeleaf模板我们使用比如 1代表一年级,2代表二年级,3代表三年级等 ...

  4. jsp报错问题之“使用jstl的c标签choose报错Illegal text inside "c:choose" tag问题”

    一.报错 [bessky_it][ERROR][2022-03-25 17:19:07] | PLATFORM | ):[c]鍜孾/com.bessky.pss.portal/purchase/sam ...

  5. 运筹学之"最大最大决策标准"和"最大最小决策标准"

    一.最大最大决策标准的解题思路就是:先比较出所有行的最大值,在最大值中选出最大值,最后这个最大是那行的就选哪个方案 二.最大最小决策标准的解题思路就是:先比较出所有行的最小值,在最小值中选出最大值,最 ...

  6. 【Visual Studio】VS 提示图标的含义

    一.前言 vs 中提示图标是什么意思 二.正文 信号图标 以下信号图标应用于所有原有的图标并指示它们的辅助功能. 图标 描述 <No Signal Icon> Public. 可从此组件中 ...

  7. 六、cadence叠层和布线前规则设置详细步骤

    一.叠层设置 1.颜色设置 2.层叠设置setup-cross section,如下图: 3.布线规则设置 a>线宽设置 b>添加差分对logic-Assign Differenital ...

  8. 国际化相对时间格式化API:Intl.RelativeTimeFormat

    原文:The Intl.RelativeTimeFormat API 作者:Mathias Bynens(@mathias) 现代 Web 应用程序通常使用"昨天","4 ...

  9. [翻译]Service workers:PWA背后的英雄

    原文地址:https://medium.freecodecamp.org/service-workers-the-little-heroes-behind-progressive-web-apps-4 ...

  10. show binary logs

    列出服务器上的二进制日志文件.该语句用作" purge binary logs语句"中描述的过程的一部分,该过程显示了如何确定可以清除哪些日志. show binary logs ...