#include <iostream>
#include <vector>
#include <cmath>
#include <algorithm>
#include <numeric>
#include <fstream>
#include <sstream>
#include <functional>
double myfunction(double num) {
    return exp(num);
}
template <typename T>
void softmax(const typename::std::vector<T> &v, typename::std::vector<T> &s) {
    double sum=0.0;
    transform(v.begin(), v.end(), s.begin(), myfunction);
    sum=accumulate(s.begin(), s.end(), sum);
    for(size_t i=0; i<s.size(); ++i)
        s.at(i)/=sum;
}
template <typename T>
void hypothesis(const std::vector<std::vector<T> > &theta, const std::vector<T> &feature, std::vector<T> &prb) {
    prb.clear();
    double sum=0.0;
    for(size_t i=0; i<theta.size(); ++i) {
        double inner=0.0;
        inner=inner_product(theta.at(i).begin(), theta.at(i).end(), feature.begin(), inner);
        inner=exp(inner);
        sum+=inner;
    }
    for(size_t i=0; i<theta.size(); ++i) {
        double inner=0.0;
        inner=inner_product(theta.at(i).begin(), theta.at(i).end(), feature.begin(), inner);
        inner=exp(inner);
        prb.push_back(inner/sum);
    }
}
double stringtodouble(const std::string& s) {
    std::istringstream iss(s);
    double num;
    return iss>>num?num:0;
}
int indicator(const int &a, const int &b) {
    if(a==b)
        return 1;
    else
        return 0;
}
void print(int i) {
    std::cout<<i<<" ";
}
double CostFunc(const std::vector<std::vector<double> > &vv_iris, const std::vector<std::vector<double> > &theta) {
    double sum3=0.0;
    for(size_t i=0; i<vv_iris.size(); ++i) {
        double sum1=0.0;
        int k;
        for(size_t j=0; j<theta.size(); ++j) {
            double inner=0.0;
            int b=j+1;
            int indi=indicator(vv_iris.at(i).back(), b);
            if(indi)
                k=j;
            inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(j).begin(), inner);
            sum1+=exp(inner);
        }
        sum1=log(sum1);
        double inner=0.0;
        inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(k).begin(), inner);
        inner-=sum1;
        sum3+=inner;
    }
    sum3/=vv_iris.size();
    return -sum3;
}
void GetThetaGrad(const std::vector<std::vector<double> > &vv_iris, const std::vector<std::vector<double> > &theta, const int j, std::vector<double> &grad_theta) {
    double sum=0.0;
    for(size_t i=0; i<vv_iris.size(); ++i) {
        double sum1=0.0;
        for(size_t k=0; k<theta.size(); ++k) {
            double inner=0.0;
            inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(k).begin(), inner);
            inner=exp(inner);
            sum1+=inner;
        }
        double inner=0.0;
        inner=inner_product(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, theta.at(j).begin(), inner);
        inner=exp(inner);
        sum1=(-1)*inner/sum1;
        int b=j+1;
        int indi=indicator(vv_iris.at(i).back(), b);
        sum1+=indi;
        std::vector<double> v_temp(theta.front().size(), 0);
        transform(vv_iris.at(i).begin(), vv_iris.at(i).end()-1, v_temp.begin(), std::bind1st(std::multiplies<double>(), sum1));
        for(size_t l=0; l<theta.front().size(); ++l) {
            grad_theta.at(l)+=v_temp.at(l);
        }
    }
    for(size_t i=0; i<grad_theta.size(); ++i) {
        grad_theta.at(i)=(-1)*grad_theta.at(i)/vv_iris.size();
    }
}
void ReadDataFromCsv(std::string &filename, std::vector<std::vector<double> > &lines_feat) {
    std::ifstream vm_info(filename.c_str());
    std::string lines, var;
    std::vector<double> row;
    lines_feat.clear();
    while(!vm_info.eof()) {
        getline(vm_info, lines);
        if(lines.empty())
            break;
        std::istringstream stringin(lines);
        row.clear();
        row.push_back(1);
        while(std::getline(stringin, var, ',')) {
            if(var=="Iris-setosa")
                var="1";
            else if(var=="Iris-versicolor")
                var="2";
            else if(var=="Iris-virginica")
                var="3";
            double value=stringtodouble(var);
            row.push_back(value);
        }
        lines_feat.push_back(row);
    }
}
template <class DataType>
void ReadMatFromFile(std::string &filename, std::vector<std::vector<DataType> > &lines_feat) {
    std::ifstream vm_info(filename.c_str());
    std::string lines;
    DataType var;
    std::vector<DataType> row;
    lines_feat.clear();
    while(!vm_info.eof()) {
        getline(vm_info, lines);
        if(lines.empty())
            break;
        std::replace(lines.begin(), lines.end(), ',', ' ');
        std::stringstream stringin(lines);
        row.clear();
        while(stringin >> var) {
            row.push_back(var);
        }
        lines_feat.push_back(row);
    }
}
template <class T>
void Display2DVector(std::vector<std::vector<T> > &vv) {
    for(size_t i=0;i<vv.size();++i) {
        for(typename::std::vector<T>::const_iterator it=vv.at(i).begin();it!=vv.at(i).end();++it) {
            std::cout<<*it<<" ";
        }
        std::cout<<"\n";
    }
    std::cout<<"--------the total rows of the 2DVector is "<<vv.size()<<std::endl;
    std::cout<<"--------the total cols of the 2DVector is "<<vv.front().size()<<std::endl;
}
int main() {
    std::string file("Iris.csv"), weight("theta.csv");;
    std::vector<std::vector<double> > vv_iris;
    std::vector<std::vector<double> > theta;
    ReadDataFromCsv(file, vv_iris);
    ReadMatFromFile(weight, theta);
    Display2DVector(vv_iris);
    Display2DVector(theta);
    double old_cost=CostFunc(vv_iris, theta);
    std::cout<<"the orignal cost: "<<old_cost<<std::endl;
    for(;;) {
        for(size_t i=0; i<theta.size(); ++i) {
            std::vector<double> grad_theta(theta.front().size(), 0);
            GetThetaGrad(vv_iris, theta, i, grad_theta);
            for(size_t j=0; j<grad_theta.size(); ++j) {
                theta.at(i).at(j)=theta.at(i).at(j)-0.05*grad_theta.at(j);
            }
        }
        double new_cost=CostFunc(vv_iris, theta);
        std::cout<<"new_cost: "<<new_cost<<std::endl;
        if(fabs(new_cost-old_cost)<0.000000001)
            break;
        old_cost=new_cost;
    }
    Display2DVector(theta);
    return 0;
}

softmax regression in c++的更多相关文章

  1. Softmax回归(Softmax Regression)

    转载请注明出处:http://www.cnblogs.com/BYRans/ 多分类问题 在一个多分类问题中,因变量y有k个取值,即.例如在邮件分类问题中,我们要把邮件分为垃圾邮件.个人邮件.工作邮件 ...

  2. (六)6.10 Neurons Networks implements of softmax regression

    softmax可以看做只有输入和输出的Neurons Networks,如下图: 其参数数量为k*(n+1) ,但在本实现中没有加入截距项,所以参数为k*n的矩阵. 对损失函数J(θ)的形式有: 算法 ...

  3. Deep Learning 学习随记(三)续 Softmax regression练习

    上一篇讲的Softmax regression,当时时间不够,没把练习做完.这几天学车有点累,又特别想动动手自己写写matlab代码 所以等到了现在,这篇文章就当做上一篇的续吧. 回顾: 上一篇最后给 ...

  4. UFLDL实验报告1: Softmax Regression

    PS:这些是今年4月份,跟斯坦福UFLDL教程时的实验报告,当时就应该好好整理的…留到现在好凌乱了 Softmax Regression实验报告 1.Softmax Regression实验描述 So ...

  5. ufldl学习笔记和编程作业:Softmax Regression(softmax回报)

    ufldl学习笔记与编程作业:Softmax Regression(softmax回归) ufldl出了新教程.感觉比之前的好,从基础讲起.系统清晰,又有编程实践. 在deep learning高质量 ...

  6. 学习笔记TF024:TensorFlow实现Softmax Regression(回归)识别手写数字

    TensorFlow实现Softmax Regression(回归)识别手写数字.MNIST(Mixed National Institute of Standards and Technology ...

  7. TensorFlow实战之Softmax Regression识别手写数字

         关于本文说明,本人原博客地址位于http://blog.csdn.net/qq_37608890,本文来自笔者于2018年02月21日 23:10:04所撰写内容(http://blog.c ...

  8. R︱Softmax Regression建模 (MNIST 手写体识别和文档多分类应用)

    本文转载自经管之家论坛, R语言中的Softmax Regression建模 (MNIST 手写体识别和文档多分类应用) R中的softmaxreg包,发自2016-09-09,链接:https:// ...

  9. TensorFlow(2)Softmax Regression

    Softmax Regression Chapter Basics generate random Tensors Three usual activation function in Neural ...

  10. 逻辑回归与神经网络还有Softmax regression的关系与区别

    本文讨论的关键词:Logistic Regression(逻辑回归).Neural Networks(神经网络) 之前在学习LR和NN的时候,一直对它们独立学习思考,就简单当做是机器学习中的两个不同的 ...

随机推荐

  1. Flex设置PopUpManager创建modal(模态)窗口的背景样式

    有一个需求 , 使用PopUpManager弹出的窗口modal模式不可操作的地方颜色太浅, 这样弹出的窗口就不够突出, 搜了下没发现解决办法, 翻看了PopUpManagerImpl源码 , 找到了 ...

  2. AS3实现ToolTip效果

    AS3核心类中没有ToolTip类,Flex中的ToolTip类没法用在AS3工程中,Aswing的JToolTip不错,不过如果仅仅为了使用这一个类而导入Aswing就不太明智了.由于最近的项目需要 ...

  3. Xcode waring: no rule to process file *** 警告提示

    在编译程序的时候,Xcode给出了警告:warning: no rule to process file *** 类似的警告, 解决方法: 在[build Phases] -> [Compile ...

  4. Django学习之 - 基础ORM

    ORM操作参考: http://www.cnblogs.com/wupeiqi/articles/5246483.html 1:根据类自动创建数据库表,(类创建文件:models.py) 2:根据类对 ...

  5. 一次mysql 优化 (Using temporary ; Using filesort)

    遇到一个SQL执行很慢 SQL 如下: SELECT ... FROM tableA WHERE time >= 1492044535 and time <= 1492046335 GRO ...

  6. Angular团队公布路线图,并演示怎样与React Native集成

    本文来源于我在InfoQ中文站翻译的文章,原文地址是:http://www.infoq.com/cn/news/2015/06/angular-2-react-native-roadmap 前不久在旧 ...

  7. Echarts 的样例

    jsp页面: <%@ page language="java" import="java.util.*" pageEncoding="UTF-8 ...

  8. maven 项目 spring mvc + jdbc 配置文件

    <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.sp ...

  9. 【PA2013】【BZOJ3733】Iloczyn

    Description 给定正整数n和k,问是否能将n分解为k个不同正整数的乘积 Input 第一行一个数T(T<=4000)表示測试组数 接下来T行每行两个数n(n<=10^9),k(k ...

  10. Android-support-v4源码查看