公司开发使用的搜索引擎核心是Solr,但是应为业务原因,需要相对复杂权限机制。

1)通过Solr的filterQuery可以实现field过滤,实现过滤项的效果。
索引
A{filter1:a,field2:a,field3:a,field4:1}
B{filter1:b,field2:b,field3:b,field4:2}
C{filter1:c,field2:c,field3:c,field4:3}
过滤条件
fq=field:b
结果
B{filter1:b,field2:b,field3:b,field4:b}

2)通过Solr的数字区间,也能方便实现密级的权限方式。
索引
A{filter1:a,field2:a,field3:a,field4:1}
B{filter1:b,field2:b,field3:b,field4:2}
C{filter1:c,field2:c,field3:c,field4:3}
过滤条件
fq=field4:[2 TO *]
结果
B{filter1:b,field2:b,field3:b,field4:2}
C{filter1:c,field2:c,field3:c,field4:3}

3)但是真正常用的是多条件的、并集式的过滤项的效果(如:过滤出包涵filed1:a和filed1:b的所有索引)。
      在网上搜索了很久,也问了一些做搜索很长时间的同事,都没有找到解决方法,郁闷啊!最后决定自己仔细的把Solr源码读一读,看看有没有解决方法(一直觉得开发Solr大牛不太可能没有开发这个功能),功夫不负有心人,花了1天时间终于找到了完美的解决方法。

先说一下Solr的过滤机制是怎么实现的:
1、查询时将参数传入Request,经过处理,会调用SolrCore.execute()方法。
2、SolrCore.execute()会调用RequestHandlerBase.handleRequest()方法。
3、RequestHandlerBase.handleRequest()会调用Component,默认有6个Component。分别是QueryComponent、FacetComponent、MoreLikeThisComponent、HighlightComponent、StatsComponent、DebugComponent
4、fq是在QueryComponent解析的,

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
String[] fqs = req.getParams().getParams(CommonParams.FQ);
if (fqs!=null && fqs.length!=0) {
  List<Query> filters = rb.getFilters();
  if (filters==null) {
    filters = new ArrayList<Query>(fqs.length);
  }
  for (String fq : fqs) {
    if (fq != null && fq.trim().length()!=0) {
      QParser fqp = QParser.getParser(fq, null, req);
      filters.add(fqp.getQuery());
    }
  }
  // only set the filters if they are not empty otherwise
  // fq=&someotherParam= will trigger all docs filter for every request
  // if filter cache is disabled
  if (!filters.isEmpty()) {
    rb.setFilters( filters );
  }
}

实现对fq的解析,往里跟踪发现,是通过QueryParser.parse()将过滤条件转换成Query的。这个就是问题关键,既然filed:value形式的过滤条件可以实现,那filed:{value1 or value2}不就可以实现我想要的多值并集试的过滤吗?(QueryParser.parse()支持查询语法).

问题又来了,通过多次测试,发现value不能支持写查询表达式(纠结啊)。再一次耐心把代码看一下,突然发现一段奇怪的代码,QueryParsing.parseLocalParams()方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
int off = start;
if (!txt.startsWith(LOCALPARAM_START, off)) return start;
StrParser p = new StrParser(txt, start, txt.length());
p.pos += 2; // skip over "{!"
 
for (; ; ) {
  /*
  if (p.pos>=txt.length()) {
    throw new ParseException("Missing '}' parsing local params '" + txt + '"');
  }
  */
  char ch = p.peek();
  if (ch == LOCALPARAM_END) {
    return p.pos + 1;
  }
 
  String id = p.getId();
  if (id.length() == 0) {
    throw new ParseException("Expected identifier '}' parsing local params '" + txt + '"');
 
  }
  String val = null;
 
  ch = p.peek();
  if (ch != '=') {
    // single word... treat {!func} as type=func for easy lookup
    val = id;
    id = TYPE;
  } else {
    // saw equals, so read value
    p.pos++;
    ch = p.peek();
    boolean deref = false;
    if (ch == '$') {
      p.pos++;
      ch = p.peek();
      deref = true// dereference whatever value is read by treating it as a variable name
    }
 
    if (ch == '\"' || ch == '\'') {
      val = p.getQuotedString();
    } else {
      // read unquoted literal ended by whitespace or '}'
      // there is no escaping.
      int valStart = p.pos;
      for (; ; ) {
        if (p.pos >= p.end) {
          throw new ParseException("Missing end to unquoted value starting at " + valStart + " str='" + txt + "'");
        }
        char c = p.val.charAt(p.pos);
        if (c == LOCALPARAM_END || Character.isWhitespace(c)) {
          val = p.val.substring(valStart, p.pos);
          break;
        }
        p.pos++;
      }
    }
 
    if (deref) {  // dereference parameter
      if (params != null) {
        val = params.get(val);
      }
    }
  }
  if (target != null) target.put(id, val);
}

仔细看了一下,发现用于解析类似{!dismax v=$auth}这样的字符传(一直都不太想看这段代码,太长了),作用是将$auth替换为传入solr的参数,解析为{!dismax v=field4:2},后用dismax转换为Query,添加到过滤查询里。

最终解决方法是:
索引
A{filter1:a,field2:a,field3:a,field4:1}
B{filter1:b,field2:b,field3:b,field4:2}
C{filter1:c,field2:c,field3:c,field4:3}

1
2
3
4
5
Map<String,Object> paramMap = new HashMap<String,Object>();
SearchParams params = new SearchParams(paramMap) ;
paramMap.put("auth","filed4:1 filed4:3"); //将过滤查询语句放入参数里
query.add(params);
query.addFilterQuery("{!dismax v=$auth}");//通过dismax转换为query,加入查询语句,大功告成

结果:
A{filter1:a,field2:a,field3:a,field4:1}
C{filter1:c,field2:c,field3:c,field4:3}

附录

文中使用类的全路径

1
2
3
4
5
6
7
8
9
10
11
12
13
org.apache.solr.core.SolrCore
org.apache.solr.handler.StandardRequestHandler
org.apache.solr.handler.RequestHandlerBase.handleRequest
org.apache.solr.handler.StandardRequestHandler
org.apache.solr.handler.component.SearchHandler.handleRequestBody
org.apache.solr.handler.component.QueryComponent
org.apache.solr.handler.component.FacetComponent
org.apache.solr.handler.component.MoreLikeThisComponent
org.apache.solr.handler.component.HighlightComponent
org.apache.solr.handler.component.StatsComponent
org.apache.solr.handler.component.DebugComponent
org.apache.lucene.queryParser.QueryParser
org.apache.solr.search.QueryParsing
 
 

Solr实现 并集式、多值、复杂 过滤查询的权限【转】的更多相关文章

  1. NYOJ 35 表达式求值(逆波兰式求值)

    http://acm.nyist.net/JudgeOnline/problemset.php?typeid=4 NYOJ 35 表达式求值(逆波兰式求值) 逆波兰式式也称后缀表达式. 一般的表达式求 ...

  2. 编写高质量代码改善C#程序的157个建议——建议8: 避免给枚举类型的元素提供显式的值

    建议8: 避免给枚举类型的元素提供显式的值 一般情况下,没有必要给枚举类型的元素提供显式的值.创建枚举的理由之一,就是为了代替使用实际的数值.不正确地为枚举类型的元素设定显式的值,会带来意想不到的错误 ...

  3. SDUT 2133 数据结构实验之栈三:后缀式求值

    数据结构实验之栈三:后缀式求值 Time Limit: 1000ms   Memory limit: 65536K  有疑问?点这里^_^ 题目描述 对于一个基于二元运算符的后缀表示式(基本操作数都是 ...

  4. nyoj 35-表达式求值(stack, 栈的应用)

    35-表达式求值 内存限制:64MB 时间限制:3000ms Special Judge: No accepted:37 submit:53 题目描述: ACM队的mdd想做一个计算器,但是,他要做的 ...

  5. C#程序编写高质量代码改善的157个建议【4-9】[TryParse比Parse、使用int?来确保值类型也可以为null、readonly和const、0值设为枚举的默认值、避免给枚举类型的元素提供显式的值、习惯重载运算符]

    建议4.TryParse比Parse好 如果注意观察,除string之外的所有的基元类型.会发现它们都有两个将字符串转换为自身类型的方法:Parse和TryParse.以类型double为例. 两者最 ...

  6. SDUT-2133_数据结构实验之栈与队列三:后缀式求值

    数据结构实验之栈与队列三:后缀式求值 Time Limit: 1000 ms Memory Limit: 65536 KiB Problem Description 对于一个基于二元运算符的后缀表示式 ...

  7. Solr基础理论与维护管理快速上手(含查询参数说明)

    1. solr基础 因为 Solr 包装并扩展了 Lucene,所以它们使用很多相同的术语.更重要的是,Solr 创建的索引与 Lucene 搜索引擎库完全兼容.通过对 Solr 进行适当的配置,某些 ...

  8. 【EF6学习笔记】(三)排序、过滤查询及分页

    本篇原文地址:Sorting, Filtering, and Paging 说明:学习笔记参考原文中的流程,为了增加实际操作性,并能够深入理解,部分地方根据实际情况做了一些调整:并且根据自己的理解做了 ...

  9. EF6 学习笔记(三):排序、过滤查询及分页

    EF6 学习笔记索引目录页: ASP.NET MVC5 及 EF6 学习笔记 - (目录整理) 上篇:EF6 学习笔记(二):操练 CRUD 增删改查 本篇原文地址:Sorting, Filterin ...

随机推荐

  1. javascript基础 思维导图2

    来源于:http://www.cnblogs.com/xianyulaodi/p/5886128.html 1.javascript数据类型 2.javascript数组 3.javascript运算 ...

  2. Java 过滤特殊字符的 正则表达式

    Java正则表达式学习: 因为正则表达式是一个很庞杂的体系,此例仅举些入门的概念,更多的请参阅相关书籍及自行摸索. \\ 反斜杠 \t 间隔 ('\u0009') \n 换行 ('\u000A') \ ...

  3. HDU 4585 Shaolin (STL)

    Shaolin Time Limit: 3000/1000 MS (Java/Others)    Memory Limit: 65535/32768 K (Java/Others)Total Sub ...

  4. Using Repository Pattern in Entity Framework

    One of the most common pattern is followed in the world of Entity Framework is “Repository Pattern”. ...

  5. linux服务器rz命令上传文件

    1.首先,要是服务器不支持rz命令的话,需要安装执行 yum -y install lrzsz  2.再输入rz -be命令,选择需要上传的本地文件 

  6. FFmpeg 滤镜及其效果

    原文地址:https://blog.csdn.net/dangxw_/article/details/49001413 代码中使用滤镜参见上一篇博客:http://blog.csdn.net/dang ...

  7. 开源的PaaS平台

    原文地址:https://blog.csdn.net/mypods/article/details/9366465 1.Stackato Stackato 是一个应用平台,用来创建私有.安全和灵活的企 ...

  8. Spark+Hadoop+IDE环境搭建

    下载地址:https://download.csdn.net/download/u014028392/8841545

  9. Docker 的技术组件

    Docker可以运行于任何安装了现代Linux内核的x64主机上.推荐的内核版本是3.8或者更高.Docker的开销比较低,可用于服务器.台式机或者笔记本.它包括以下几个部分. 一个原生的Linux容 ...

  10. 【转】Tesla autopilot 引起致命车祸

    Tesla autopilot 引起致命车祸 好一段时间没关心 Tesla 了,今天才发现他们的 autopilot 终于引起了致命的车祸.这场 Model S 撞上18轮大卡车的车祸,发生于5月7号 ...