機器學習基石 (Machine Learning Foundations) 作业1 Q15-17的C++实现
大家好,我是Mac Jiang。今天和大家分享Coursera-台湾大学-機器學習基石 (Machine Learning Foundations) -作业1的Q15-17题的C++实现。
这部分作业的任务主要是写一个PLA分类器,用于解决一个4维数据的分类问题。
我的代码或许能较好的运行PLA算法。但它不一定是最好最快的实现过程,假设各位博友有更好的思路。请留言联系,谢谢!希望我的博客能给您带来一些学习上的帮助!
其它解答请看汇总帖:http://blog.csdn.net/a1015553840/article/details/51085129
PLA是一种十分简单。高速的分类算法,有速度快、实现简单的特点。特别适用于样本是线性可分的情况。对于线性可分的样本。PLA的实现过程为:
{
1.寻找w(t)的下一个错误分类点(x,y)(即sign(w(t)’*x)!=y);
2.纠正错误:w(t+1) = w(t) + y*x;
}until(每一个样本都无错)
1.第15题
(1)题意:从https://d396qusza40orc.cloudfront.net/ntumlone%2Fhw1%2Fhw1_15_train.dat 下为训练数据,他的x是4维的。并且这个数据集是线性可分的,编写PLA算法进行分类,问迭代多少次后算法结束?
(2)代码实现
#include<fstream>
#include<iostream>
#include<vector>
using namespace std;
#define DEMENSION 5
double weight[DEMENSION];//权重值
int step = 0;//改动次数
int n = 0;//训练样本数
char *file = "training_data.txt";//读取文件名称
//存储训练样本,input为x,output为y
struct record{
double input[DEMENSION];
int output;
};
//把记录存在向量里而不是存在结构体数组内。这样能够依据实际一项项加入
vector<record> trainingSet;
//将数据读入训练样本向量中
void getData(ifstream &datafile)
{
while(!datafile.eof())
{
record curRecord;
curRecord.input[0] = 1;
int i;
for(i = 1; i < DEMENSION; i++){
datafile>>curRecord.input[i];
}
datafile>>curRecord.output;
trainingSet.push_back(curRecord);
}
datafile.close();
n = trainingSet.size();
}
//计算sign值
int sign(double x){
if(x <= 0)return -1;
else return 1;
}
//两向量相加(实际为数组相加),将结果保存在第一个数组内。用于计算w(i+1)=w(i)+y*x
void add(double *v1,double *v2,int demension){
int i;
for(i = 0;i < demension; i++)v1[i] += v2[i];
}
//计算两数值相乘值,用于推断w*x是否小于0。若小于0要运行修正算法
double multiply(double *v1,double *v2,int demension){
double temp = 0.0;
int i;
for(i = 0; i < demension; i++)temp += v1[i] * v2[i];
return temp;
}
//计算实数num与向量乘积放在result中,用于计算y*x
void multiply(double *result,double *v,int demension,int num){
int i;
for(i = 0; i < demension; i++)result[i] = num * v[i];
}
void PLA()
{
int correctNum = 0;//当前连续正确样本数,当等于n则表明轮完一圈。则表示所有正确。算法结束
int index = 0;//当前正在计算第几个样本
bool isFinished = 0;//算法是否所有完毕的表示,=1表示算法结束
while(!isFinished){
if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错,连续正确样本数+1
else{//出错,运行修正算法
double temp[DEMENSION];
multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x
add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x
step++;//进行一次修正,修正次数+1
correctNum = 0;//因为出错了。连续正确样本数归0
cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;
}
if(index == n-1)index = 0;
else index++;
if(correctNum == n)isFinished = 1;
}
cout<<"total step:"<<step<<endl;
}
void main()
{
ifstream dataFile(file);
if(dataFile.is_open()){
getData(dataFile);
}
else{
cout<<"出错,文件打开失败!
"<<endl;
exit(1);
}
int i;
for(i = 0; i < DEMENSION; i++)weight[i] = 0.0;
PLA();
}
(3)实验结果:
45次
2.第16题
(1)题意:因为样本的排列顺序不同,终于完毕PLA分类的迭代次数也不同。这道题要求我们打乱训练样本的顺序,进行2000次PLA计算。得到平均迭代次数。
在C++中自带打乱顺序的算法:random_shuffle函数,在调用之前,须要#include
(2)实现:
#include<fstream>
#include<iostream>
#include<vector>
#include<algorithm>
using namespace std;
#define DEMENSION 5
double weight[DEMENSION];//权重值
int step = 0;//改动次数
int totalStep = 0;
int n = 0;//训练样本数
char *file = "training_data.txt";//读取文件名称
//存储训练样本,input为x,output为y
struct record{
double input[DEMENSION];
int output;
};
//把记录存在向量里而不是存在结构体数组内,这样能够依据实际一项项加入
vector<record> trainingSet;
//将数据读入训练样本向量中
void getData(ifstream &datafile)
{
while(!datafile.eof())
{
record curRecord;
curRecord.input[0] = 1;
int i;
for(i = 1; i < DEMENSION; i++){
datafile>>curRecord.input[i];
}
datafile>>curRecord.output;
trainingSet.push_back(curRecord);
}
datafile.close();
n = trainingSet.size();
}
//计算sign值
int sign(double x){
if(x <= 0)return -1;
else return 1;
}
//两向量相加(实际为数组相加),将结果保存在第一个数组内,用于计算w(i+1)=w(i)+y*x
void add(double *v1,double *v2,int demension){
int i;
for(i = 0;i < demension; i++)v1[i] += v2[i];
}
//计算两数值相乘值,用于推断w*x是否小于0。若小于0要运行修正算法
double multiply(double *v1,double *v2,int demension){
double temp = 0.0;
int i;
for(i = 0; i < demension; i++)temp += v1[i] * v2[i];
return temp;
}
//计算实数num与向量乘积放在result中,用于计算y*x
void multiply(double *result,double *v,int demension,double num){
int i;
for(i = 0; i < demension; i++)result[i] = num * v[i];
}
void PLA()
{
int correctNum = 0;//当前连续正确样本数,当等于n则表明轮完一圈。则表示所有正确。算法结束
int index = 0;//当前正在计算第几个样本
bool isFinished = 0;//算法是否所有完毕的表示,=1表示算法结束
while(!isFinished){
if(trainingSet[index].output == sign(multiply(weight,trainingSet[index].input,DEMENSION)))correctNum++;//当前样本无错,连续正确样本数+1
else{//出错,运行修正算法
double temp[DEMENSION];
multiply(temp,trainingSet[index].input,DEMENSION,trainingSet[index].output);//计算y*x
add(weight,temp,DEMENSION);//计算w(i+1)=w(i)+y*x
step++;//进行一次修正,修正次数+1
correctNum = 0;//因为出错了。连续正确样本数归0
//cout<<"step"<<step<<":"<<endl<<"index="<<index<<" is wrong"<<endl;
}
if(index == n-1)index = 0;
else index++;
if(correctNum == n)isFinished = 1;
}
}
void main()
{
ifstream dataFile(file);
if(dataFile.is_open()){
getData(dataFile);
}
else{
cout<<"出错。文件打开失败!"<<endl;
exit(1);
}
int i;
for(i = 0; i < 2000; i++)
{
random_shuffle(trainingSet.begin(), trainingSet.end());
int j;
for(j = 0; j < DEMENSION; j++)weight[j] = 0.0;
PLA();
totalStep += step;
cout<<"第"<<i<<"次迭代的step:"<<step<<endl;
step = 0;
}
cout<<"average step:"<<totalStep/2000<<endl;
}
(3)实验结果:
平均40次
3.第17题
这道题实现更加简单,仅仅要在num之前*0.5就能够了
void multiply(double *result,double *v,int demension,double num){
int i;
for(i = 0; i < demension; i++)result[i] = num * v[i];
}
大约为40次
from:http://blog.csdn.net/a1015553840/article/details/50979434
其它解答请看汇总帖:http://blog.csdn.net/a1015553840/article/details/51085129
機器學習基石 (Machine Learning Foundations) 作业1 Q15-17的C++实现的更多相关文章
- 機器學習基石(Machine Learning Foundations) 机器学习基石 课后习题链接汇总
大家好,我是Mac Jiang,非常高兴您能在百忙之中阅读我的博客!这个专题我主要讲的是Coursera-台湾大学-機器學習基石(Machine Learning Foundations)的课后习题解 ...
- 機器學習基石(Machine Learning Foundations) 机器学习基石 作业三 课后习题解答
今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业三的习题解答.笔者在做这些题目时遇到非常多困难,当我在网上寻找答案时却找不到,而林 ...
- 機器學習基石(Machine Learning Foundations) 机器学习基石 作业四 Q13-20 MATLAB实现
大家好,我是Mac Jiang,今天和大家分享Coursera-NTU-機器學習基石(Machine Learning Foundations)-作业四 Q13-20的MATLAB实现. 曾经的代码都 ...
- 機器學習基石 机器学习基石 (Machine Learining Foundations) 作业2 Q16-18 C++实现
大家好,我是Mac Jiang,今天和大家分享Coursera-NTU-機器學習基石(Machine Learning Foundations)-作业2 Q16-18的C++实现.尽管有非常多大神已经 ...
- 機器學習基石 机器学习基石(Machine Learning Foundations) 作业2 第10题 解答
由于前面分享的几篇博客已经把其他题的解决方法给出了链接,而这道题并没有,于是这里分享一下: 原题: 这题说白了就是求一个二维平面上的数据用决策树来分开,这就是说平面上的点只能画横竖两个线就要把所有的点 ...
- 機器學習基石 机器学习基石(Machine Learning Foundations) 作业1 习题解答 (续)
这里写的是 习题1 中的 18 , 19, 20 题的解答. Packet 方法,我这里是这样认为的,它所指的贪心算法是不管权重更新是否会对train data有改进都进行修正,因为这里面没有 ...
- 用例圖學習實例 / Learning Use Case Diagram by Examples
什麼是用例圖? 用例描述了一個演員和感興趣的系統之間的一系列交互,以達到某種特定目標,並由某種觸發事件引發.用例滿足需求或為演員解決問題.用例圖包含一組用例,可以通過從每個角色的不同角度講述系統將如何 ...
- 机器学习(Machine Learning)&深度学习(Deep Learning)资料
机器学习(Machine Learning)&深度学习(Deep Learning)资料 機器學習.深度學習方面不錯的資料,轉載. 原作:https://github.com/ty4z2008 ...
- 【机器学习Machine Learning】资料大全
昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machi ...
随机推荐
- CSS3 动画 animation和@keyframes
CSS3 @keyframes 规则 如需在 CSS3 中创建动画,您需要学习 @keyframes 规则. @keyframes 规则用于创建动画.在 @keyframes 中规定某项 CSS 样式 ...
- 简单了解split()函数的性质
当分割的字符在字符串中间时,分割字符前面为一部分,后面为一部分.如: st='abccd' print(st.split('b')) 输出为:['a', 'ccd'] 当分隔符在字符串最前面或最后面时 ...
- linux7.2系统中安装Nmon并使用
前提 安装linux系统中遇到一个问题,设置ip以后则ping不通,简单总结几步: 1.设置ip 进入 /etc/sysconfig/network-scripts目录下,修改文件名为ifcfg-en ...
- [转载] 使用 Twitter Storm 处理实时的大数据
转载自http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/ 流式处理大数据简介 Storm 是一个开源的.大数据处理系统,与 ...
- ssh相关原理学习与常见错误总结
欢迎和大家交流技术相关问题: 邮箱: jiangxinnju@163.com 博客园地址: http://www.cnblogs.com/jiangxinnju GitHub地址: https://g ...
- SDRAM操作说明
SDRAM是做嵌入式系统中,常用是的缓存数据的器件.基本概念如下(注意区分几个主要常见存储器之间的差异): SDRAM(Synchronous Dynamic Random Access Memory ...
- sqlmap命令
-u #注入点 -f #指纹判别数据库类型 -b #获取数据库版本信息 -p #指定可测试的参数(?page=1&id=2 -p "page,id") -D "& ...
- [拓扑排序]Ordering Tasks UVA - 10305
拓扑排序模版题型: John has n tasks to do.Unfortunately, the tasks are not independent and the execution of o ...
- npoi导入导出
NPOI是指构建在POI 3.x版本之上的一个程序,NPOI可以在没有安装Office的情况下对Word或Excel文档进行读写操作. NPOI是一个开源的Java读写Excel.WORD等微软OLE ...
- Android APK反编译 apktool使用教程
2017年棋牌游戏突然就火了,正所谓春江水暖鸭先知本猿处在软件行业中就能清晰的感受到市场的变化,最近老家那边也是玩的风生水起,于是最近闲暇时光想到反编译下这些棋牌软件,看看代码实现的思路 (注:反编译 ...