调试 shell # bash -x script.sh 设置终端背景色 setterm -background black 一.网络 1.网卡状态 mii-tool -v ethtool eth0 2.网络状态 iptraf netstat htop ifconfig tcpdump ifup ifdown ifstat 二.文件操作 1.隐含权限操作 将文件与目录区别开 # ls -F 将文件设为不可更改:不可以重命名.删除.修改文本内容 # chattr +i file 将文件设为只可追加…

前言: 上一篇比较详细的介绍了卡方检验和卡方分布.这篇我们就实际操刀,找到一些训练集,正所谓纸上得来终觉浅,绝知此事要躬行.然而我在躬行的时候,发现了卡方检验对于文本分类来说应该把公式再变形一般,那样就完美了. 目录: 文本分类学习(一)开篇 文本分类学习(二)文本表示 文本分类学习(三)特征权重(TF/IDF)和特征提取        文本分类学习(四)特征选择之卡方检验 文本分类学习(五)机器学习SVM的前奏-特征提取(卡方检验续集) 一,回顾卡方检验 1.公式一: 先回顾一下卡方检验: 卡…

前言: 经历过文本的特征提取,使用LibSvm工具包进行了测试,Svm算法的效果还是很好的.于是开始逐一的去了解SVM的原理. SVM 是在建立在结构风险最小化和VC维理论的基础上.所以这篇只介绍关于SVM的理论基础.参考this paper: https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/svmtutorial.pdf 目录: 文本分类学习(一)开篇 文本分类学习(二)文本表示 文本分类学习(三)特征权重…

前言: 对于SVM的了解,看前辈写的博客加上读论文对于SVM的皮毛知识总算有点了解,比如线性分类器,和求凸二次规划中用到的高等数学知识.然而SVM最核心的地方应该在于核函数和求关于α函数的极值的方法:SMO算法(当然还有很多别的算法.libsvm使用的是SMO,SMO算法也是最高效和简单的),还有松弛变量..毕设答辩在即,这两个难点只能拖到后面慢慢去研究了. 于是我便是用了LibSvm,也就是台湾大学某某教授写的一个专门用于svm的工具包,其中有java语言的,python语言的,c语言的.我只…

首先科普一下python里面对于数组的处理,就是如果获取数组大小,以及数组元素数量,这个概念是不一样的,就是一个size和len处理不用.老规矩,上代码: arr2 = np.array([-19.51679711, -18.06166131, -16.65282549, 8.70287809,9.9485567 , 11.23867649, 3,4]) pprint(arr2.size) pprint(len(arr2)) >>8 >>8 貌似两者没啥区别,但是真的是这样吗? C…

TensorFlow基础笔记(3) cifar10 分类学习 CIFAR-10 is a common benchmark in machine learning for image recognition. http://www.cs.toronto.edu/~kriz/cifar.html Code in this directory demonstrates how to use TensorFlow to train and evaluate a convolutional neural…

这段时间学习Mahout有喜有悲.在这里首先感谢樊哲老师的指导.以下列出关于这次Mahout分类的学习和遇到的问题,还请大家多多提出建议:(全部文件操作都使用是在hdfs上边进行的). (本人用的环境是Mahout0.9+hadoop-2.2.0) 一.首先将预分类文件转换为序列化化存储: 下边图片列出的是使用的20newsgroup数据(我使用的linux上的eclipse.然后在eclipse上边安装的eclipse-hadoop插件),数据图片例如以下: watermark/2/text/…

指令分类: 1.算数和逻辑指令 2.比较指令 3.跳转指令 4.移位指令 5.程序状态字访问指令 6.存储器访问指令 ++++++++++++++++++++++++++++++++++++++++++++++++++ 学习指令的资料<arm汇编手册(中文版).chm> ,注:这个资料是 ARM汇编手册,我们用的是GNU的汇编,所以语法 大小写上是有差别的. 使用上一篇文章中的汇编程序来,学习使用每个指令的用法. 一.算数和逻辑指令 1.mov指令 作用.格式.例子 从另一个寄存器.被移位的寄…

上一篇中,主要说的就是词袋模型.回顾一下,在进行文本分类之前,我们需要把待分类文本先用词袋模型进行文本表示.首先是将训练集中的所有单词经过去停用词之后组合成一个词袋,或者叫做字典,实际上一个维度很大的向量.这样每个文本在分词之后,就可以根据我们之前得到的词袋,构造成一个向量,词袋中有多少个词,那这个向量就是多少维度的了.然后就把这些向量交给计算机去计算,而不再需要文本啦.而向量中的数字表示的是每个词所代表的权重.代表这个词对文本类型的影响程度. 在这个过程中我们需要解决两个问题:1.如何计算出适…

直接从特征提取,跳到了BoostSVM,是因为自己一直在写程序,分析垃圾文本,和思考文本分类用于识别垃圾文本的短处.自己学习文本分类就是为了识别垃圾文本. 中间的博客待自己研究透彻后再补上吧. 因为获取垃圾文本的时候,发现垃圾文本不是简单的垃圾文本,它们具有多个特性: 1. 种类繁多,难有共同的特征.涵盖各行各业的广告,或者政治敏感内容,或者色情信息.不像对文本分类那样,属于一类的文本,他们的内容都属于那个领域之内,特征提取就很方便 2. 具有一定的伪装性,表面上看80%的内容都属于正常,只有2…

A Plug for UNIX Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 14786 Accepted: 4994 Description You are in charge of setting up the press room for the inaugural meeting of the United Nations Internet eXecutive (UNIX), which has an interna…

Linux常用命令大全(非常全!!!) 系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示CPU info的信息 cat /proc/interrupts 显示中断 …

SVM 和线性分类器是分不开的.因为SVM的核心:高维空间中,在线性可分(如果线性不可分那么就使用核函数转换为更高维从而变的线性可分)的数据集中寻找一个最优的超平面将数据集分隔开来. 所以要理解SVM首先要明白的就是线性可分和线性分类器. 可以先解释这张图,通过这张图就可以了解线性分类器了. 这是一个在二维平面的图.其中实心点和空心点是分别属于两类的,Origin 是原点. 先看中间那条直线,中间的直线就是一条可以实心点和空心点分隔开来的直线,所以上图中的数据点是线性可分的. 这条直线其实就是线…

写在前面的话 MNIST教程是tensorflow中文社区的第一课,例程即训练一个 手写数字识别 模型:http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.html 参考视频:https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/5-01-classifier/ MNIST编程 代码全文 import tensorflow as tf from tensor…

(1) 最简单的神经网络分类器 # encoding: UTF-8 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data as mnist_data print("Tensorflow version " + tf.__version__) print(tf.__path__) tf.set_random_seed(0) # 输入mnist数据 mnist = mnist_d…

1. 查看系统有哪些可用的shell cat /etc/shell 2. 每种shell都有一个特殊内置变量来存上一条命令的退出状态,例: C/TC shell $status % cp fx fy % echo $status   # 显示cp的退出状态,0成功,1失败 Bourne,Bash,Korn Shells $? $ cp fx fy $ echo $?        # 显示cp的退出状态,0成功,1失败 C shell, TC shell编程语法与结构 1. shbang行 是脚…

代码: <h1>这是一级分类吗</h1> <h2>这是二级分类吗</h2> <h3>这是三级分类吗 </h3> 效果: 介绍: <abbr>(表示缩写),<em>(表示强调).<strong>(表示更强地强调),<cite>(表示引用),<address>(表示地址)等等.这些标签不是为了定义显示效果而存在的.所以从浏览器里看它们可能没有不论什么效果,也可能不同的浏览器对这些…

1 算术移位寄存器和逻辑指令 1.1 mov 传送(Move) Mov {条件} {S} <dest>, <op_1> MOV从另一个寄存器.被移位的寄存器.或者一个立即数装载一个值到目的寄存器.还可以指定相同的寄存器来实 NOP 指令 MOV R0, R0 ; R0 = R0 等于 NOP 指令 MOV R0, R0, LSL#3 ; R0 = R0 * 8 如果 R15 是目的寄存器,将修改程序计数器或标志.这用于返回到调用代码,方法是把连接寄存器的内容传送到 R15: MOV…

算术和逻辑指令 1.mov 格式:mov {条件}{s} <dest>, <op> 作用:把一个值从一个地方移动到另一个地方,<dest>必须是寄存器 示例: @mov指令范例   “@”表示注释 mov r1, #8 mov r2, r1 2.mvn 格式:mvn {条件}{s} <dest>, <op> 作用:把一个值取反后从一个地方移动到另一个地方,<dest>必须是寄存器 示例: @“0b”表示二进制,”0x”表示十六进制,什…

上一篇说到SVM需要求出一个最小的||w|| 以得到最大的几何间隔. 求一个最小的||w|| 我们通常使用 来代替||w||,我们去求解 ||w||2 的最小值.然后在这里我们还忽略了一个条件,那就是约束条件,在上一篇的公式(8)中的不等式就是n维空间中数据点的约束条件.只有在满足这个条件下,求解||w||2的最小值才是有意义的.思考一下,若没有约束条件,那么||w||2的最小值就是0,反应在图中就是H1和H2的距离无限大那么所有点都会在二者之间,都属于同一类,而无法分开了. 求最小值的目标函数…

matlab2016版本无法兼容matlab2018版本Classification Learner创建的分类器 在java环境下,使用matlab2016版本调用matlab2018版本Classification Learner创建的分类器,步骤如下: 保持matlab java版本与系统版本一致,eclipse版本可不一致 1. 提取模型:使用显式函数调用模型(类似MATLAB Coder方式,因为java不支持函数句柄) saveCompactModel(trainedModel.Cla…

1.算术和逻辑指令 mov.mvn.cmp.tst.sub.add.and.bic 2.比较指令 cmp和tst 3.跳转指令 b和bl 4.移位指令 lsl和ror 5.程序状态字访问指令 msr与mrs指令 6.存储器访问指令 ldr和str…

笔者这几天在跟着莫烦学习TensorFlow,正好到迁移学习(至于什么是迁移学习,看这篇),莫烦老师做的是预测猫和老虎尺寸大小的学习.作为一个有为的学生,笔者当然不能再预测猫啊狗啊的大小啦,正好之前正好有做过猫狗大战数据集的图像分类,做好的数据都还在,二话不说,开撸. 既然是VGG16模型,当然首先上模型代码了: def conv_layers_simple_api(net_in): with tf.name_scope('preprocess'): # Notice that we inclu…

本例模拟一个多标签文档分类问题.数据集基于下面的处理随机生成: 选取标签的数目:泊松(n~Poisson,n_labels) n次,选取类别C:多项式(c~Multinomial,theta) 选取文档长度:泊松(k~Poisson,length) k次,选取一个单词:多项式(w~Multinomial,theta_c) 在上面的处理中,拒绝抽样用来确保n大于2,文档长度不为0.同样,我们拒绝已经被选取的类别.被同事分配给两个分类的文档会被两个圆环包围. 通过投影到由PCA和CCA选取进行可视化…

花了一段时间看完了<UNIX编程艺术>,但不是看得特别仔细,尤其是后面作者通过对工具的讲解来阐述其设计思想,因为很多工具能未曾接触过,难免就会产生一些乏味的感觉.其实就像译者姜宏在译序里说的一样,本书并不是什么UNIX编程手册,而是对UNIX历史上众多成功经验和失败教训的一个总结.而且在读这本书的过程中,你会发现很多地方并没有什么绝对的对与错,我想这也是作者ESR的意图之一,让读者自己去思考,才能从中掌握一些技巧.相对来说,阅读这类描述编程思想的书籍比阅读充满代码的指导类书籍要困难一些,但也要…

也没啥原创,就是在学习深度学习的过程中丰富一下我的博客,嘿嘿. 不喜勿喷! Hinton是深度学习方面的大牛,跟着大牛走一般不会错吧-- 来源:A fast learning algorithm for deep belief nets 看着引用次数,什么时候我也能来一篇(不要笑我这个学渣). 摘要中出现的几个词就让我有点茫然: complementary priors,这是一个启发规则还是什么鬼的 explaining away effects,没听说过这个效应捏 据说他的这种快速的贪心算法(…

多分类问题:有N个类别C1,C2,...,Cn,多分类学习的基本思路是"拆解法",即将多分类任务拆分为若干个而分类任务求解,最经典的拆分策略是:"一对一","一对多","多对多" (1)一对一 给定数据集D={(x1,y1),(x2,y2),...,(xn,yn)},yi€{c1,c2,...,cN},一对一将这N个类别两两配对,从而产生N(N-1)/2个二分类任务,在测试阶段新样本将同时提交给所有的分类器,于是将得到N(n-…

http://www.cnblogs.com/forlina/archive/2011/06/29/2093332.html 引言 通过前面两篇: Android 开发之旅:环境搭建及HelloWorld Android 开发之旅:HelloWorld项目的目录结构 我 们对android有了个大致的了解,知道如何搭建android的环境及简单地写一个HelloWorld程序,而且知道一个android项目包括哪 些文件夹和文件及相应的作用.本篇将站在顶级的高度——架构,来看android.我开…

随着Linux应用的扩展许多朋友开始接触Linux,根据学习Windwos的经验往往有一些茫然的感觉:不知从何处开始学起.这里介绍学习Linux的一些建议. 一.从基础开始:常常有些朋友在Linux论坛问一些问题,不过,其中大多数的问题都是很基础的.例如:为什么我使用一个命令的时候,系统告诉我找不到该目录,我要如何限制使用者的权限等问题,这些问题其实都不是很难的,只要了解了 Linux 的基础之后,应该就可以很轻易的解决掉这方面的问题.而有些朋友们常常一接触Linux 就是希望构架网站,根本没有…

一.从基础开始 常常有些朋友在 Linux 论坛问一些问题,不过,其中大多数的问题都是很基础的.例如为什么我使用一个命令的时候,系统告诉我找不到该目录,我要如何限制使用者的权限等问题,这些问题其实都不是很难的,只要了解了Linux 的基础之后,应该就可以很轻易的解决掉这方面的问题.而有些朋友们常常一接触Linux 就是希望构架网站,根本没有想到要先了解一下 Linux 的基础.这是相当困难的. 二.Linux 命令是必须学习的 虽然 Linux 桌面应用发展很快,但是命令在 Linux 中依然有…