TF的概念是Term Frequent,是一个单词出现的频率,是一个局部概念,就是这个单词在指定文件中出现的频率,公式如下: 但是呢,这个TF其实很没有说服力,比如the,a之类的频率很高,但是其实不能实现很好地分类标志,尽管可以在停用词中进行禁用,但是很多单词还是无法全部禁用干净:这个时候就引入了IDF,Inverse Document Frequent,反向文档频率(我称之为区分度公式),公式是 idf = log(N/d) N是文档数量,存在该单词的文档的个数,这里IDF是一个全局概念,是…

mysql的日志分类: (1)错误日志:记录mysql服务的启动,运行,停止mysql服务时出现的问题 [mysqld] log_error=[/path/filename] (2)通用查询日志:记录建立的客户端链接和执行语句 [mysqld] log= 通用查询日志记录mysql用户所有用户操作,包括启动.关闭服务,执行查询和更新语句等 (3)二进制日志:记录所有更改数据的语句,可用于数据复制(默认关闭) 配置:[mysqld] log-bin = [/]   文件目录 expire_logs…

说明:很遗憾,IDEA中无法实现日志分类查看,比如只能显示INFO级别的,但是可以有搜索功能[Ctrl]+[F].好像找不到好用的插件,Andorid Studio好像有一个插件可以. 解决方式: 直接使用IDEA导入输出的日志文件,就可以实现比如logback配置了不向上传递导致控制台不能输出日志的查看. 参考: http://blog.csdn.net/yang292292/article/details/53353774 https://www.jetbrains.com/help/ide…

第一篇 数据清洗与分析部分 第二篇 可视化部分, 第三篇 朴素贝叶斯文本分类 支持向量机分类 支持向量机 网格搜索 临近法 决策树 随机森林 bagging方法 import pandas as pd import numpy as np import matplotlib.pyplot as plt import time df=pd.read_excel("all_data_meituan.xlsx")[["comment","star"]]…

背景 在程序中,我们调试运行时信息,Log4Net是一个不错的解决方案.不知道是我用的不好,用到最后反而都不想看日志了.原因是因为我n个功能使用的默认的Logger来记录日志,这样以来,所有功能记录的信息都依赖同一个配置,于是所有的信息都在一个文件中,有时候查找起来,极其不方便. 我想,能不能按照功能分类呢?如果通过配置不同的logger,然后功能根据不同的LoggerName加载Ilog实例,是可以做到.但由于这些功能的log配置差异性极小,也许仅仅就是文件名不同.于是想通过代码进行配置. 解…

目录 简介 TFIDF 朴素贝叶斯分类器 贝叶斯公式 贝叶斯决策论的理解 极大似然估计 朴素贝叶斯分类器 TextRNN TextCNN TextRCNN FastText HAN Highway Networks 简介 通常,进行文本分类的主要方法有三种: 基于规则特征匹配的方法(如根据喜欢,讨厌等特殊词来评判情感,但准确率低,通常作为一种辅助判断的方法) 基于传统机器学习的方法(特征工程 + 分类算法) 给予深度学习的方法(词向量 + 神经网络) 自BERT提出以来,各大NLP比赛基本上已经…

综合:Tomcat下相关的日志文件 Cataline引擎的日志文件,文件名catalina.日期.log Tomcat下内部代码丢出的日志,文件名localhost.日期.log(jsp页面内部错误的异常,org.apache.jasper.runtime.HttpJspBase.service类丢出的,日志信息就在该文件!) Tomcat下默认manager应用日志,文件名manager.日期.log 控制台输出的日志,Linux下默认重定向到catalina.out Access日志(Ser…

1. 案例场景 A.B两台日志服务机器实时生产日志主要类型为access.log.nginx.log.web.log 现在要求: 把A.B 机器中的access.log.nginx.log.web.log 采集汇总到C机器上然后统一收集到hdfs中. 但是在hdfs中要求的目录为: /source/logs/access/20160101/** /source/logs/nginx/20160101/** /source/logs/web/20160101/** 2. 场景分析 3. 数据流程处…

一.Oracle日志分类 分三大类: Alert log files--警报日志,Trace files--跟踪日志(用户和进程)和            redo log 重做日志(记录数据库的更改). 本文主要关注Oracle的重做日志. 重做日志分为在线重做日志和归档重做日志.    online Redo log files--在线重做日志,又称联机重做日志,指Oracle以SQL脚本的形式实时记录数据库的数据更新,换句话说,实时保存已执行的SQL脚本到在线日志文件中(按特定的格式). …

接下来,目的就是要将训练集所有文本文件(词向量)统一到同一个词向量空间中.在词向量空间中,事实上不同的词,它的权重是不同的,它对文本分类的影响力也不同,为此我们希望得到的词向量空间不是等权重的空间,而是不同权重的词向量空间.我们把带有不同权重的词向量空间叫做"加权词向量空间",也有的技术文档将其称为"加权向量词袋",一个意思. 计算文本的权重向量,应该选择一个有效的权重方案,最流行的方案是TF-IDF权重策略.其含义是词频逆文档频率,也就是说:如果某个词或者短语在一…