转自 http://topcat.iteye.com/blog/1293650

问题


lucene使用排序时会将被排序字段全部加入内存再进行排序,当多次使用不同字段进行排序时会造成OOM问题

解决方案


修改lucene源码在每次查询完成后将排序所使用的FieldCache里的缓存清空

分别需要修改两个工程
  1. lucene2.4
  2. solr1.3

Lucene2.4中要修改的类或接口有


  • org.apache.lucene.index.IndexReader
添加成员变量
public String m_cacheKey = "cmhk_oom_bugfix";
  • org.apache.lucene.search.Searcher
添加抽象方法

abstract public void release();
在它的实现类中除org.apache.lucene.search.IndexSearcher外的都加上一个这个抽象方法的空实现
  • org.apache.lucene.search.IndexSearcher
添加方法
public void release() {
// 清除缓存数据
if (null !=
reader.m_cacheKey && !"".equals(reader.m_cacheKey))
{
if (null != FieldSortedHitQueue.Comparators)
{
FieldSortedHitQueue.Comparators.ReleaseCache(reader.m_cacheKey);
}
FieldCache.DEFAULT.ReleaseFieldCache(reader.m_cacheKey);
ExtendedFieldCache.EXT_DEFAULT.ReleaseExtendedFieldCache(reader.m_cacheKey);
// 立即回收垃圾
//
System.gc();
}
}
  • org.apache.lucene.search.FieldCache
添加方法
void ReleaseFieldCache(String
strCacheKey);
  • org.apache.lucene.search.FieldCacheImpl
添加方法
public void
ReleaseFieldCache(String strCacheKey)
{
bytesCache.ReleaseCache(strCacheKey);
shortsCache.ReleaseCache(strCacheKey);
intsCache.ReleaseCache(strCacheKey);
floatsCache.ReleaseCache(strCacheKey);
stringsCache.ReleaseCache(strCacheKey);
stringsIndexCache.ReleaseCache(strCacheKey);
autoCache.ReleaseCache(strCacheKey);
customCache.ReleaseCache(strCacheKey);
}

  • org.apache.lucene.search.FieldCacheImpl.Cache
添加方法
// 用于清除缓存
public
void ReleaseCache(String strCacheKey)
{
if (null != readerCache) {
synchronized (readerCache) {
if (null !=
readerCache.get(strCacheKey)) {
((Map)
readerCache.get(strCacheKey)).clear();
}
}
}
}
修改org.apache.lucene.search.FieldCacheImpl.Cache.get(IndexReader,
Object)方法
public Object get(IndexReader reader, Object key)
throws IOException {
Map
innerCache;
Object value;
synchronized (readerCache) {
//改键值为静态值
innerCache = (Map)readerCache.get(reader.m_cacheKey);
// innerCache = (Map)
readerCache.get(reader);
if
(innerCache == null) {
innerCache = new
HashMap();
//改键值为静态值
readerCache.put(reader.m_cacheKey,innerCache);
//readerCache.put(reader, innerCache);
value
= null;
} else {
value = innerCache.get(key);
}
if (value == null)
{
value = new
CreationPlaceholder();
innerCache.put(key,
value);
}
}
if
(value instanceof CreationPlaceholder)
{
synchronized (value)
{
CreationPlaceholder progress =
(CreationPlaceholder) value;
if
(progress.value == null)
{
progress.value = createValue(reader,
key);
synchronized
(readerCache) {
innerCache.put(key,
progress.value);
}
}
return
progress.value;
}
}
return
value;
}
}
  • org.apache.lucene.search.ExtendedFieldCache
添加方法
//用于清除缓存
void
ReleaseExtendedFieldCache(String
strCacheKey);
  • org.apache.lucene.search.ExtendedFieldCacheImpl
添加方法
// 用于清除缓存
public
void ReleaseExtendedFieldCache(String
strCacheKey)
{
longsCache.ReleaseCache(strCacheKey);
doublesCache.ReleaseCache(strCacheKey);
autoCache.ReleaseCache(strCacheKey);
}

solr1.3中要修改的类或接口


  • org.apache.solr.search.SolrIndexSearcher
添加方法
public void
release(){
searcher.release();
}
  • org.apache.solr.core.SolrCore
修改私有方法
private RefCounted<SolrIndexSearcher>
newHolder(SolrIndexSearcher newSearcher) {
RefCounted<SolrIndexSearcher> holder
= new
RefCounted<SolrIndexSearcher>(newSearcher) {
public void
close() {
try {
synchronized(searcherLock) {
// it's possible for someone to get a reference via the _searchers
queue
// and increment the refcount
while RefCounted.close() is being called.
// we check the refcount again to see if this has happened and
abort the close.
// This relies on the
RefCounted class allowing close() to be called every
// time the counter hits
zero.
resource.release();//释放FieldCache中的内存
if (refcount.get() >
0) return;
_searchers.remove(this);
}
resource.close();
}
catch (IOException e)
{
log.severe("Error closing searcher:"
+
SolrException.toStr(e));
}
}
};
holder.incref();
// set ref count to 1 to account for
this._searcher
return
holder;
}
  • org.apache.solr.util.RefCounted<Type>

修改方法org.apache.solr.util.RefCounted.decref()
public void
decref() {
// if (refcount.decrementAndGet() == 0)
{
close();
//
}
}

(转)solr排序OOM解决方法的更多相关文章

  1. php数组怎么根据其中的一个值进行排序?解决方法

    有一个数组如下 我想对其进行一个排序,按照其“sort”的值的大小进行排序,3->4->7. 解决方法如下: 1.首先介绍php的两个方法 方法一:array_column() 返回输入数 ...

  2. oracle数据库对date字段类型存在空值进行排序的处理方法

    oracle数据库对date字段类型存在空值进行排序的处理方法      oracle 数据库,如果表中有一个字段类型为date,且该字段类型存在空值,并且需要排序,     解决方法为使用oracl ...

  3. Spark java.lang.outofmemoryerror gc overhead limit exceeded 与 spark OOM:java heap space 解决方法

    引用自:http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed4fece7631046893b4c4380146d96864968d4e414c42246 ...

  4. 无法解决 equal to 运算中 "Chinese_PRC_CI_AS" 和 "Chinese_PRC_90_CI_AI" 之间的排序规则冲突。的解决方法

    在SQL SERVICE的查询的时候遇到了“无法解决 equal to 运算中 "Chinese_PRC_CI_AS" 和 "Chinese_PRC_90_CI_AI&q ...

  5. Java中关于OOM的场景及解决方法

    原文地址:http://developer.51cto.com/art/201112/305696.htm 1.OOM for Heap=>例如:java.lang.OutOfMemoryErr ...

  6. Java中关于OOM的场景及解决方法(转)

    http://developer.51cto.com/art/201112/305696.htm 1.OOM for Heap=>例如:java.lang.OutOfMemoryError: J ...

  7. layui表格点击排序按钮后,表格绑定事件失效解决方法

    最近项目使用layui较为频繁,遇到了一个麻烦的问题,网上搜索也没有看到同类型的问题,故此记下来. 需求是点击上图右侧表格中某一个单元格,会触发点击事件如下代码: $("table>t ...

  8. Spark面对OOM问题的解决方法及优化总结 (转载)

    转载地址: http://blog.csdn.net/yhb315279058/article/details/51035631     Spark中的OOM问题不外乎以下两种情况 map执行中内存溢 ...

  9. [转载] java中关于OOM的场景及解决方法

    1.OOM for Heap=>例如:java.lang.OutOfMemoryError: Java heapspace[分析] 此OOM是由于JVM中heap的最大值不满足需要,将设置hea ...

随机推荐

  1. EXTJS 4.2 资料 控件之Grid 添加行,编辑行,删除行

    //SiteVariableConfigValue类,创立一个模型类 Ext.define("SiteVariableConfigValue", { extend: "E ...

  2. EntityFramework.Extended

    记录 Entity Framework扩展,可以实现批量更新.删除,但需要EntityFramework6.0支持,需要支持低版本的EF,可下载该扩展的低版本. https://www.nuget.o ...

  3. iOS 深复制&浅复制

        1.无论是深复制还是浅复制,被复制的对象类型是不变的.此对象类型具有什么功能就具有什么功能,不会因为自行修改了返回对象的指针类型而改变.   比如: 这里的str和str1的值和指针地址完全一 ...

  4. Java中的IO流系统详解

    Java 流在处理上分为字符流和字节流.字符流处理的单元为 2 个字节的 Unicode 字符,分别操作字符.字符数组或字符串,而字节流处理单元为 1 个字节,操作字节和字节数组. Java 内用 U ...

  5. EF当实体模型与数据库的架构不同时要删除数据库时的报错问题

    当使用的EF的时候,我们都知道EF当实体模型与数据库的架构不同时要删除数据库,这是会把错: 无法创建与 'master' 数据库之间的连接,这是因为已打开原始数据库连接,并且已从连接字符串中删除凭据. ...

  6. 使用Schtasks命令的注意事项

    在使用Schtasks命令时遇到了两个棘手的问题,耗费了一点时间,出现这个问题的时候查找网络资源也找不到真正的解决方案,最后还是自己悟出来了原因,所以在此把这些问题记录下来.如下: 服务器环境:win ...

  7. iOS开发进阶 - 使用shell脚本自动打包上传到fir.im上-b

    用fir.im测试已经好长时间了,感觉每次打包上传都很麻烦,想着是不是可以用脚本自动打包,在网上搜了一下确实有,下面总结一下如何使用脚本自动打包上传到fir.im,以及打包过程中遇到的问题和解决办法 ...

  8. No qualifying bean of type [com.shyy.web.service.TreeMapper] found for dependency

    异常信息: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'com.sp ...

  9. oracle新建用户

    说明:以下命令在PLSQL中运行 一.以管理员身份登录PLSQL scott/root as sysdba 二.创建新用户 create user extjsTest1 identified by r ...

  10. PAT-乙级-1029. 旧键盘(20)

    1029. 旧键盘(20) 时间限制 200 ms 内存限制 65536 kB 代码长度限制 8000 B 判题程序 Standard 作者 CHEN, Yue 旧键盘上坏了几个键,于是在敲一段文字的 ...