逻辑回归 C++
#include <iostream>
#include <string>
#include <fstream>
#include <sstream>
#include <vector>
#include <cmath>
template <typename DataType>
double sigmoid(DataType z) {
return 1.0/(1+exp((-1)*z));
}
template <typename DataType, typename WeightType>
double getMatResult(typename::std::vector<DataType> &data, typename::std::vector<WeightType> &weights) {
double result=0.0;
for(size_t i=0;i<data.size();++i) {
result+=data.at(i)*weights.at(i);
}
return result;
}
template <typename DataType>
void DisplayData(typename::std::vector<std::vector<DataType> > &vv) {
std::cout<<"the number of data: "<<vv.size()<<std::endl;
for(size_t i=0;i<vv.size();++i) {
for(typename::std::vector<DataType>::iterator it=vv[i].begin();it!=vv[i].end();++it) {
std::cout<<*it<<" ";
}
std::cout<<std::endl;
}
}
template <typename DataType, typename WeightType>
double CostFun(typename::std::vector<std::vector<DataType> > &vv, typename::std::vector<WeightType> &v_weights) {
double J=0.0;
typename::std::vector<DataType> v_x;
for(size_t i=0;i<vv.size();++i) {
v_x.clear();
v_x.push_back(vv[i][0]);
v_x.push_back(vv[i][1]);
v_x.push_back(vv[i][2]);
double z=getMatResult(v_x,v_weights);
J=J+vv[i][3]*log2(sigmoid(z))+(1-vv[i][3])*log2(1-sigmoid(z));
}
J=-J/vv.size();
return J;
}
int main() {
std::ifstream infile_feat("train.data");
std::string feature;
float feat_onePoint;
std::vector<float> lines;
std::vector<double> v_weights;
std::vector<std::vector<float> > lines_feat;
lines_feat.clear();
v_weights.clear();
for(size_t i=0;i<3;++i) {
v_weights.push_back(1.0);
}
while(!infile_feat.eof()) {
getline(infile_feat, feature);
if(feature.empty())
break;
std::stringstream stringin(feature);
lines.clear();
lines.push_back(1.0);
while(stringin >> feat_onePoint) {
lines.push_back(feat_onePoint);
}
lines_feat.push_back(lines);
}
infile_feat.close();
std::cout<<"display train data: "<<std::endl;
DisplayData(lines_feat);
double res=CostFun(lines_feat, v_weights);
std::cout<<"the value of cost function: "<<res<<std::endl;
std::vector<double> v_x;
while(true) {
double grad0=0.0,grad1=0.0,grad2=0.0;
for(size_t i=0;i<lines_feat.size();++i) {
v_x.clear();
v_x.push_back(lines_feat[i][0]);
v_x.push_back(lines_feat[i][1]);
v_x.push_back(lines_feat[i][2]);
grad0+=(lines_feat[i][3]-sigmoid(getMatResult(v_x,v_weights)))*lines_feat[i][0];
grad1+=(lines_feat[i][3]-sigmoid(getMatResult(v_x,v_weights)))*lines_feat[i][1];
grad2+=(lines_feat[i][3]-sigmoid(getMatResult(v_x,v_weights)))*lines_feat[i][2];
}
grad0=grad0/lines_feat.size();
grad1=grad1/lines_feat.size();
grad2=grad2/lines_feat.size();
//0.03为学习率阿尔法
v_weights[0]=v_weights[0]+0.03*grad0;
v_weights[1]=v_weights[1]+0.03*grad1;
v_weights[2]=v_weights[2]+0.03*grad2;
double res_new;
res_new=CostFun(lines_feat,v_weights);
if(std::abs(res_new-res)<0.0000000001)
break;
res=res_new;
}
for(size_t i=0;i<3;++i) {
std::cout<<v_weights.at(i)<<" ";
}
std::cout<<std::endl;
lines_feat.clear();
infile_feat.open("test.data");
while(!infile_feat.eof()) {
getline(infile_feat, feature);
if(feature.empty())
break;
std::stringstream stringin(feature);
lines.clear();
lines.push_back(1.0);
while(stringin >> feat_onePoint) {
lines.push_back(feat_onePoint);
}
lines_feat.push_back(lines);
}
infile_feat.close();
std::cout<<"display test data: "<<std::endl;
DisplayData(lines_feat);
for(size_t i=0;i<lines_feat.size();++i) {
v_x.clear();
v_x.push_back(lines_feat[i][0]);
v_x.push_back(lines_feat[i][1]);
v_x.push_back(lines_feat[i][2]);
res=getMatResult(v_x,v_weights);
double lable=sigmoid(res);
for(size_t j=0;j<4;++j) {
std::cout<<lines_feat[i][j]<<" ";
}
if(lable>0.5)
std::cout<<" 1"<<std::endl;
else
std::cout<<" 0"<<std::endl;
}
return 0;
}
逻辑回归 C++的更多相关文章
- 逻辑回归 Logistic Regression
逻辑回归(Logistic Regression)是广义线性回归的一种.逻辑回归是用来做分类任务的常用算法.分类任务的目标是找一个函数,把观测值匹配到相关的类和标签上.比如一个人有没有病,又因为噪声的 ...
- 用R做逻辑回归之汽车贷款违约模型
数据说明 本数据是一份汽车贷款违约数据 application_id 申请者ID account_number 账户号 bad_ind 是否违约 vehicle_year ...
- 逻辑回归(LR)总结复习
摘要: 1.算法概述 2.算法推导 3.算法特性及优缺点 4.注意事项 5.实现和具体例子 6.适用场合 内容: 1.算法概述 最基本的LR分类器适合于对两分类(类0,类1)目标进行分类:这个模型以样 ...
- scikit-learn 逻辑回归类库使用小结
之前在逻辑回归原理小结这篇文章中,对逻辑回归的原理做了小结.这里接着对scikit-learn中逻辑回归类库的我的使用经验做一个总结.重点讲述调参中要注意的事项. 1. 概述 在scikit-lear ...
- 逻辑回归LR
逻辑回归算法相信很多人都很熟悉,也算是我比较熟悉的算法之一了,毕业论文当时的项目就是用的这个算法.这个算法可能不想随机森林.SVM.神经网络.GBDT等分类算法那么复杂那么高深的样子,可是绝对不能小看 ...
- 逻辑回归(Logistic Regression)
转载请注明出自BYRans博客:http://www.cnblogs.com/BYRans/ 本文主要讲解分类问题中的逻辑回归.逻辑回归是一个二分类问题. 二分类问题 二分类问题是指预测的y值只有两个 ...
- 逻辑回归算法的原理及实现(LR)
Logistic回归虽然名字叫"回归" ,但却是一种分类学习方法.使用场景大概有两个:第一用来预测,第二寻找因变量的影响因素.逻辑回归(Logistic Regression, L ...
- 感知器、逻辑回归和SVM的求解
这篇文章将介绍感知器.逻辑回归的求解和SVM的部分求解,包含部分的证明.本文章涉及的一些基础知识,已经在<梯度下降.牛顿法和拉格朗日对偶性>中指出,而这里要解决的问题,来自<从感知器 ...
- stanford coursera 机器学习编程作业 exercise 3(逻辑回归实现多分类问题)
本作业使用逻辑回归(logistic regression)和神经网络(neural networks)识别手写的阿拉伯数字(0-9) 关于逻辑回归的一个编程练习,可参考:http://www.cnb ...
- Theano3.3-练习之逻辑回归
是官网上theano的逻辑回归的练习(http://deeplearning.net/tutorial/logreg.html#logreg)的讲解. Classifying MNIST digits ...
随机推荐
- html5——多媒体(四)
全屏兼容 box.requestFullscreen(); box.webkitRequestFullScreen(); box.mozRequestFullScreen(); <!DOCTYP ...
- java攻城师之路--复习java web之request_respone
Servlet技术 两条主线1.HTTP协议 2.Servlet生命周期 init() 方法中参数 ServletConfig 对象使用通过ServletConfig 获得 ServletContex ...
- java攻城狮之路--复习JDBC(PrepareStatement)
PreparedStatement: 1.可以通过调用 Connection 对象的 preparedStatement() 方法获取 PreparedStatement 对象 2.PreparedS ...
- android studio 控件提示大写
方法一: 在第一行找到File进入找到setting,找到code completion 右侧复选框 选择-->None—->ok 方法二:<item name="andr ...
- Fast-RCNN论文翻译
http://www.dengfanxin.cn/?p=423 原文地址 本文实现了Fast-RCNN主要部分的翻译工作,在SPPnet出来之后,同在微软的R-CNN的作者Ross迅速怼了回去,抛出了 ...
- 8 switch case
当一个case成立,从这个case向后穿透所有case,即使后面的case条件不成立 包括default,直到程序结束或者遇到break程序才结束. 1.case是常量,且不能重复 2.表达式可以是b ...
- 【Android】进程间通信IPC——Binder
Binder是Android中的跨进程通信方式,bindService的时候,服务端返回Binder对象,通过该对象客户端可以从服务端获取数据.在进程间通信IPC——AIDL中创建了ICustomAi ...
- 关于static关键字的思考
静态方法是否能调用非静态成员变量? static关键字具有如下特点: 一.static关键字修饰的属性/方法可以通过类名直接调用,而不必先new一个对象. 二.sta ...
- sqlalchemy子查询
使用subquery() 要使用c来定位上一个子句的属性 s1 = session.query(m.a,m.b).filter().subquery() s2 = session.query(s1.c ...
- Maximum Value(unique函数,lower_bound()函数,upper_bound()函数的使用)
传送门 在看大佬的代码时候遇到了unique函数以及二分查找的lower_bound和upper_bound函数,所以写这篇文章来记录以备复习. unique函数 在STL中unique函数是一个去重 ...