文章相关度匹配的一些思路---"压缩"预料库,即提取用特征词或词频,量化后以“列向量”形式保存到数据库:按前N组词拼为向量组供查询使用,即组合为1到N字的组合,量化后以“行向量”形式保存到数据库(目前是用MYSQL),计算和查询相似度的时候先提取特征,然后量化,再查询各Long型数值字段,速度应该会较一般查询要快一些. 应用举例:[这些都是推测,实际希望会有比较好的结果] 假设查询以下特征 Dictionary<string, int> words = new Dictio…

需求,最近实现了文章的原创度检测功能,处理思路一是分词之后做搜索引擎匹配飘红,另一方面是量化词组,按文章.段落.句子做数据库查询,功能基本满足实际需求. 接下来,还需要在海量大数据中快速的查找到与一句或者一段话最相关的文章.段落. 上一篇随笔里记录有当时的一些想法,今天下午按想法具体实现并测试了一次,速度比直接分组查询肯定快了很多很多,回顾下我的实现步骤: 压缩"语料库,即提取特征词或词频,做量化处理之后以“列向量”形式保存到数据库:然后按前N组词拼为向量组,以供查询使用,即组合为1到N字的组合…

Mysql名词解释/含义/读书笔记 MVCC(Multiversion concurrency control) MySQL InnoDB存储引擎,实现的是基于多版本号的并发控制协议--MVCC (Multi-Version Concurrency Control) (注:与MVCC相对的.是基于锁的并发控制,Lock-Based Concurrency Control).MVCC最大的优点.相信也是耳熟能详:读不加锁.读写不冲突.在读多写少的OLTP应用中.读写不冲突是非常重要的,极大的添加了…

转:  MySql安全建议    http://www.cnblogs.com/crystal189/p/3492640.html…

MySQL系列: MySQL CREATE TABLE语法 MySQL 复制表结构 MySQL 对比数据库表结构 MySQL 处理插入过程中的主键唯一键重复值办法 MySQL 启动原理剖析 MySQL mysqldump MySQL 提高Insert性能 MySQL 正则表达式 MySQL MVCC(多版本并发控制) MySQL 变量和条件 MySQL 存储过程和函数 MySQL 触发器 MySQL 游标(PREPARE预处理语句) MySQL InnoDB存储引擎 MySQL 安全管理 MyS…

记录下,在上2回的数据基础之上,附带一个互信息(MI,Mutual Information)可以计算词之间的相关度 标准互信息 MI(X,Y)=log2p(x,y)/p(x)p(y) 值越大于0 则趋于更相关,反之则互补. 通过查询得到词的数据,以及词组的共现数量,然后到Matlabe里计算下. 我选择了其中一个总词量为30993453的库做为源 通过查询可知以下内容, 北京(词数)=40998 喜爱(词数)=878 联合(共现数)=75 相关度计算结果 log10(30993453/40998…

http://mp.weixin.qq.com/s/a8klpzM5iam0_JYSw7-U4g 我们在设计数据库的时候,是否会突破常规,找到最适合自己需求的设计方案,下面来举个例子: 常用的邻接表设计,都会添加 一个 parent_id 字段,比如区域表(国.省.市.区): CREATE TABLE Area ( [id] [int]  NOT NULL, [name] [nvarchar]  (50) NULL, [parent_id] [int]  NULL, [type] [int]  …

<?php namespace app\common\controller; use think\App; use think\facade\Cache; use think\facade\Db; /** * redis 点赞/收藏模块 * @package app\admin\controller * @author 宁佳兵 */ class Praise { private $redis = null; private $member_id; //用户id private $customer…

hi 原来今天是感恩节.虽然一直没有过这个节日的习惯,但仅仅是听到感恩的消息,都能想到一幅幅画面.愿大家安好! 下午开题会议还是有所收获,悄悄的,就变向那个不喜欢自己的人了. 一.Linux基础(二) -----Linux常用命令(二)----- 3.文件搜索命令 3.1 文件搜索命令locate --优点: 搜索速度快(在学习中,要把眼光放远.放大一点,设想数据量很大的情况或是规模很大的问题的情况) locate 文件名 --工作原理: 在后台数据库按文件名搜索 所以,新创建的文件往往搜索不到…

今天刚刚申请了一个新的域名,在申请完域名刚准备绑定给小伙伴分享注册新域名的喜悦时,刚把网站发到我们小伙伴们的讨论群里,却发现访问不了了,提示,数据库连接失败! 真的时一个尴尬.....    所有人都进不了我的网站,然后登录centos后台,发现了这样的提示 out of memory !  Kill   process (Mysqld)  我英语未过四级,但是这个简单英文还是能看懂的,大致意思时内存不够了,然后把mysql的进程给杀掉了,阿西吧!!! 尴尬了,怎么办?  小伙伴们不能让我太尴尬…