马云说:大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了. 然而,我看到的是:在PC时代搞PC的,移动互联网时代搞移动互联网的,大数据时代搞大数据的,都是同一伙儿人. 我就是一个做业务方向的,而回忆起真正做技术的时光,也就是大数据时代刚来临的时候做搜索了. 搜索用的是solr框架,solr就是包装了lucene实现了近实时索引.所以源头还是lucene.而且lucene是java写的全文检索库,源码是一定要研究一下的. 刚才提到全文检索,要说它的概念先来谈谈数

Lucene是一个基于Java的高效的全文检索库.那么什么是全文检索,为什么需要全文检索?目前人们生活中出现的数据总的来说分为两类:结构化数据和非结构化数据.很容易理解,结构化数据是有固定格式和结构的或者有限长度的数据,比如数据库,元数据等.非结构化数据则是不定长或者没有固定格式的数据,如图片,邮件,文档等.还有一种较少的分类为半结构化数据,如XML,HTML等,在一定程度上我们可以将其按照结构化数据来处理,也可以抽取纯文本按照非结构化数据来处理.非结构化数据又称为全文数据.,对其搜索主要有两种

1.全文索引相对于顺序扫描的优势:一次索引,多次使用 2.创建索引的步骤:(1)要索引的原文档 (2)将原文档传给分词组件(Tokenizer)分词组件会做如下事情:(此过程称为Tokenize)a.将文档分成一个一个的单词b.去除标点符号c.去除停词(Stop Word)  **停词就是语句中无意义的词汇,英语中比如 the is of  每一种分词组件(Tokenize)都有一个停词集合经过分词组件分词后得到的结果称为(词元)Token (3).将得到的词元传给语言处理组件(Linguist

http://www.cnblogs.com/forfuture1978/category/300665.html

目录 文章目录 目录 前文列表 冷迁移代码分析(基于 Newton) Nova 冷迁移实现原理 热迁移代码分析 Nova 热迁移实现原理 向 libvirtd 发出 Live Migration 指令 监控 libvirtd 的数据迁移状态 NUMA 亲和.CPU 绑定.SR-IOV 网卡的热迁移问题 最后 参考资料 前文列表 <OpenStack 虚拟机的磁盘文件类型与存储方式> <Libvirt Live Migration 与 Pre-Copy 实现原理> <OpenS

前言 上一篇文章中,对union注入.报错注入.布尔盲注等进行了分析,接下来这篇文章,会对堆叠注入.宽字节注入.cookie注入等进行分析.第一篇文章地址:SQL注入原理及代码分析(一) 如果想要了解Access的详细手工注入过程,可以看我的这篇文章:https://www.cnblogs.com/lxfweb/p/12643011.html 如果想要了解MySQL的详细手工注入过程,可以看我的这篇文章:https://www.cnblogs.com/lxfweb/p/12655316.html

前言 XSS又叫跨站脚本攻击,是一种对网站应用程序的安全漏洞攻击技术.它允许恶意用户将代码注入网页,其他用户在浏览网页时就会受到影响.XSS分为三种:反射型,存储型,和DOM型.下面我会构造有缺陷的代码,从代码分析这三种类型. 如果想要了解XSS基础的可以看我的这篇文章:XSS(跨站脚本攻击)简单讲解 如果想要了解SQL注入原理的可以看我的这两篇文章:SQL注入原理及代码分析(一) SQL注入原理及代码分析(二) 参考文献:<Web安全攻防> 反射型XSS 反射型XSS又叫非持久型XSS,这种

原理 http://www.cnblogs.com/skynet/p/4173450.html 快速通用网关接口(Fast Common Gateway Interface/FastCGI)是通用网关接口(CGI)的改进,描述了客户端和服务器程序之间传输数据的一种标准.FastCGI致力于减少Web服务器与CGI程式之间互动的开销,从而使服务器可以同时处理更多的Web请求.与为每个请求创建一个新的进程不同,FastCGI使用持续的进程来处理一连串的请求.这些进程由FastCGI进程管理器管理,而

前言 我们都知道,学安全,懂SQL注入是重中之重,因为即使是现在SQL注入漏洞依然存在,只是相对于之前现在挖SQL注入变的困难了.而且知识点比较多,所以在这里总结一下.通过构造有缺陷的代码,来理解常见的几种SQL注入.本文只是讲解几种注入原理,没有详细的利用过程. 如果想要了解Access的详细手工注入过程,可以看我的这篇文章https://www.cnblogs.com/lxfweb/p/12643011.html 如果想要了解MySQL的详细手工注入过程,可以看我的这篇文章https://w

一.AQS简介 AbstractQueuedSynchronizer(AQS)是java.util.concurrent并发包下最基本的同步器,其它同步器实现,如ReentrantLock类,ReentrantReadWriteLock类,Semaphore类(计数信号量),CountDownLatch类,FutureTask类和SynchronousQueues类都是基于它来实现的(各个实现类在内部持有了一个实现AQS的内部类,然后通过代理对外提供同步器的功能).AQS会维护一个同步状态(st

最近的一个项目,需要实现一个工作任务流(task pipeline),基于之前CICD的经验,jenkins pipeline和drone的pipeline进入候选. drone是基于go的cicd解决方案,github上有1.6万+star,本文简单对比了其和jenkins的区别,重点介绍了drone的pipeline原理,并简单分析了代码. jenkins 与 drone 对比项 jenkins drone pipeline定义 编写jenkinsfile 编写流程yml 运行方式 在一个p

WordPress强大的插件机制让我们可以自由扩展功能.网上对插件的使用以及开发方法都有大量资料可以查询. 今天我们就分析一下四个主要函数的代码,包括: add_action.do_action.add_filter.apply_action. 一.add_action和add_filter 为什么把这两个函数放在一起讲呢?其实我们看看add_action函数的定义(图一)就可以知道,其实跟add_filter是同一个函数,执行的是相同的操作.只是把action和filter区分开,让开发者能更

当内核无法查找到流表项的时候,则会通过upcall来调用用户态ovs-vswtichd中的flow table. 会调用ofproto-dpif-upcall.c中的udpif_upcall_handler函数. static void * udpif_upcall_handler(void *arg) {     struct handler *handler = arg;     struct udpif *udpif = handler->udpif;       while (!latc

  上一节我们讲了ovs-vswitchd,其中虚拟网桥初始化的时候,对调用内核模块来添加虚拟网卡.   我们从openvswitch内核模块的加载过程,来看这个过程.   在datapath/datapath.c中会调用module_init(dp_init);来初始化内核模块.   static int __init dp_init(void) {    int err;      BUILD_BUG_ON(sizeof(struct ovs_skb_cb) > FIELD_SIZEOF(s

ovs-vswitchd.c的main函数最终会进入一个while循环,在这个无限循环中,里面最重要的两个函数是bridge_run()和netdev_run().     Openvswitch主要管理两种类型的设备,一个是创建的虚拟网桥,一个是连接到虚拟网桥上的设备.   其中bridge_run就是初始化数据库中已经创建的虚拟网桥.   一.虚拟网桥的初始化bridge_run   bridge_run会调用bridge_run__,bridge_run__中最重要的是对于所有的网桥,都调

  一.Opevswitch总体架构   Openvswitch的架构网上有如下的图表示:       每个模块都有不同的功能 ovs-vswitchd 为主要模块,实现交换机的守护进程daemon   在Openvswitch所在的服务器进行ps aux可以看到以下的进程 root 1008 0.1 0.8 242948 31712 ? S<Ll Aug06 32:17 ovs-vswitchd unix:/var/run/openvswitch/db.sock -vconsole:emer

有时候我们需要自定义一些自己的action,根据包头里面的信息,做一些自己的操作.   例如添加一个action名为handle_example   第一.修改ofp-actions.c文件   首先在ofp-actions.c里面添加Openflow各个版本的这个action static const struct ofpact_map * get_ofpact_map(enum ofp_version version) {     /* OpenFlow 1.0 actions. */   

添加一个flow,调用的命令为 ovs-ofctl add-flow hello "hard_timeout=0 idle_timeout=0 priority=1 table=21 pkt_mark=0x55 tun_id=0x55 actions=mod_nw_dst:192.168.56.101,output:2" 这里调用的是调用ovs/utilities/ovs-ofctl.c的命令行工具 这个命令行工具支持的所有的命令及处理函数定义如下: static const stru

  当一个数据包到达网卡的时候,首先要经过内核Openvswitch.ko,流表Flow Table在内核中有一份,通过key查找内核中的flow table,即可以得到action,然后执行action之后,直接发送这个包,只有在内核无法查找到流表项的时候,才会到用户态查找用户态的流表.仅仅查找内核中flow table的情况被称为fast path.     第一步:从数据包中提取出key   实现函数为int ovs_flow_key_extract(const struct ip_tun

  在上一节提到,Openvswitch的内核模块openvswitch.ko会在网卡上注册一个函数netdev_frame_hook,每当有网络包到达网卡的时候,这个函数就会被调用.   static struct sk_buff *netdev_frame_hook(struct sk_buff *skb) {    if (unlikely(skb->pkt_type == PACKET_LOOPBACK))       return skb;      port_receive(skb)

关键词: js手风琴 js百叶窗 js百页窗 实现原理解读 使用两层for循环实现, 第一层有三个功能,分别给第个li: 添加索引 预设位置 添加事件 第二层有两个功能,整理图片位置: 鼠标的li,以及前面那些li的位置 鼠标后面那些li的位置 HTML/CSS 解读:略 HTML/CSS代码: <!-- Author: XiaoWen Create a file: 2016-12-14 09:41:11 Last modified: 2016-12-15 12:56:23 Start to w