论文信息

论文标题:MEnsA: Mix-up Ensemble Average for Unsupervised Multi Target Domain Adaptation on 3D Point Clouds
论文作者:Ashish Sinha, Jonghyun Choi
论文来源:2023 CVPR
论文地址:download 
论文代码:download
视屏讲解:click

1 前言

  单目标域和多目标域

2 介绍

  单目标域和多目标域的差异:

  

3 方法

3.1 整体框架

  

3.2 域 mixup 模块

  Mixup 模块:

    $F_{i}^{m}=\lambda F_{s}+(1-\lambda) F_{T_{i}}  \quad\quad(1)$

    $L_{i}^{m}=\lambda L_{s}+(1-\lambda) L_{T_{i}}   \quad\quad(2)$

  线性差值的好处:

    • 有助于创建一个连续域不变的潜在空间,使混合特征能够映射到源域和目标域的潜在空间之间的位置,这种连续的潜在空间对于跨多个域的域不变推理至关重要;
    • 作为一个有效的正则化器,帮助领域分类器 $D$ 在预测混合特征嵌入 $F_{mi}$ 的领域(源或目标) 的软分数方面有所提高;

3.3 对比

  

  基线:【多目标域场景下】

    • 形式:单源域和单目标域线性差值;
    • 问题:存在灾难性遗忘问题,只专注于学习源域和一个目标域之间的域不变特征,忽略了跨多个域的共享特征;

  本文:单源域 和 多目标域集成线性差值;

    • 形式:$F_{m}^{M}=\frac{1}{n} \sum_{i=1}^{n} F_{i}^{m}  \quad\quad(3)$;
    • 目的:旨在捕获跨多个域共享的域不变特征,减轻域间的冲突信息,提高泛化性;

3.4 训练目标

  总损失:

    $\mathcal{L}=\log \left(\sum\left(e^{\gamma\left(\mathcal{L}_{c l s}+\eta \mathcal{L}_{d c}+\zeta \mathcal{L}_{a d v}\right)}\right)\right) / \gamma  \quad\quad(4)$

  其中:

    源域分类损失: $\mathcal{L}_{c l s}  =\mathcal{L}_{C E}\left(C\left(F_{s}\right), y_{s}\right)  \quad\quad(4)$

    单源域单目标域鉴别损失:$\mathcal{L}_{d c}  =\mathcal{L}_{C E}\left(D\left(F_{s}\right), L_{s}\right)+\mathcal{L}_{C E}\left(D\left(F_{T_{i}}, L_{T_{i}}\right)\right)    \quad\quad(5)$

    对抗损失:$\mathcal{L}_{a d v} =\lambda_{1} \mathcal{L}_{m m d}+\lambda_{2} \mathcal{L}_{d c}+\lambda_{3} \mathcal{L}_{\text {mixup }}  \quad\quad(6)$

  关于对抗损失:

    MMD 损失:$\mathcal{L}_{m m d}=\mathcal{L}_{r b f}\left(C\left(F_{s}\right), F_{T_{i}}, \sigma\right)    \quad\quad(7)$

    线性差值域鉴别损失:$\mathcal{L}_{\text {mixup }}=\mathcal{L}_{C E}\left(D\left(F_{m}^{M}\right), L_{i}^{m}\right)  \quad\quad(8)$

 Note:

  线性差值:

    $F_{m}^{\text {factor }}=\lambda F_{s}+\sum_{i=1}^{n} \frac{1-\lambda}{n} F_{T_{i}}$

    $F_{m}^{\text {concat }}=\left[\lambda F_{s}, \frac{1-\lambda}{n} F_{T_{1}}, \ldots, \frac{1-\lambda}{n} F_{T_{n}}\right]$

    $.L_{m}^{\text {concat }}=[\lambda, 2 \frac{1-\lambda}{n}, \ldots, N \frac{1-\lambda}{n}]$

    $F_{m}^{T}=\lambda F_{T_{1}}+(1-\lambda) F_{T_{2}}$

    $L_{m}^{T}=\lambda L_{T_{1}}+(1-\lambda) L_{T_{2}} $

迁移学习(MEnsA)《MEnsA: Mix-up Ensemble Average for Unsupervised Multi Target Domain Adaptation on 3D Point Clouds》的更多相关文章

  1. 迁移学习(JDDA) 《Joint domain alignment and discriminative feature learning for unsupervised deep domain adaptation》

    论文信息 论文标题:Joint domain alignment and discriminative feature learning for unsupervised deep domain ad ...

  2. 第二十四节,TensorFlow下slim库函数的使用以及使用VGG网络进行预训练、迁移学习(附代码)

    在介绍这一节之前,需要你对slim模型库有一些基本了解,具体可以参考第二十二节,TensorFlow中的图片分类模型库slim的使用.数据集处理,这一节我们会详细介绍slim模型库下面的一些函数的使用 ...

  3. 1、VGG16 2、VGG19 3、ResNet50 4、Inception V3 5、Xception介绍——迁移学习

    ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构 本文翻译自ResNet, AlexNet, VGG, Inception: Understanding va ...

  4. 使用PyTorch进行迁移学习

    概述 迁移学习可以改变你建立机器学习和深度学习模型的方式 了解如何使用PyTorch进行迁移学习,以及如何将其与使用预训练的模型联系起来 我们将使用真实世界的数据集,并比较使用卷积神经网络(CNNs) ...

  5. 迁移学习( Transfer Learning )

    在传统的机器学习的框架下,学习的任务就是在给定充分训练数据的基础上来学习一个分类模型:然后利用这个学习到的模型来对测试文档进行分类与预测.然而,我们看到机器学习算法在当前的Web挖掘研究中存在着一个关 ...

  6. 【迁移学习】2010-A Survey on Transfer Learning

    资源:http://www.cse.ust.hk/TL/ 简介: 一个例子: 关于照片的情感分析. 源:比如你之前已经搜集了大量N种类型物品的图片进行了大量的人工标记(label),耗费了巨大的人力物 ...

  7. 迁移学习(Transfer Learning)(转载)

    原文地址:http://blog.csdn.net/miscclp/article/details/6339456 在传统的机器学习的框架下,学习的任务就是在给定充分训练数据的基础上来学习一个分类模型 ...

  8. 迁移学习-Transfer Learning

    迁移学习两种类型: ConvNet as fixed feature extractor:利用在大数据集(如ImageNet)上预训练过的ConvNet(如AlexNet,VGGNet),移除最后几层 ...

  9. [DeeplearningAI笔记]ML strategy_2_3迁移学习/多任务学习

    机器学习策略-多任务学习 Learninig from multiple tasks 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.7 迁移学习 Transfer Learninig 神 ...

  10. Gluon炼丹(Kaggle 120种狗分类,迁移学习加双模型融合)

    这是在kaggle上的一个练习比赛,使用的是ImageNet数据集的子集. 注意,mxnet版本要高于0.12.1b2017112. 下载数据集. train.zip test.zip labels ...

随机推荐

  1. 如何用算法把一个十进制数转为十六进制数-C语言基础

    这一篇文章要探讨的是"如何用算法实现十进制转十六进制"并不涉及什么特别的知识点.属于C语言基础篇. 在翻找素材的时候,发现一篇以前写的挺有意思的代码,这篇代码里面涉及的知识点没有什 ...

  2. 03 docker容器镜像基础

    本章内容 1.docker镜像基础 2.docker环境下使用的文件系统 3.registry(仓库) 4.获取镜像 5.制作(生成)并上传镜像 --------------------------- ...

  3. springBoot的全局异常处理

    GlobalException.java package com.bank.util; import com.bank.exception.ContentEmpyException; import c ...

  4. TCP连接实践解析

    1.初始化. 2.FD_ISSET,是select机制的一个成员,用来检测sockfd是否有动作,对应读写异常等. 3.FD_ZERO 宏完成的工作就是一个初始化套接字集合 4.FD_SET把sock ...

  5. 发布jar包到远程仓库 (maven deploy)

    背景: 项目有开放服务模块,现有个需求,需要把开放服务提供成一个jar包,用户可以直接对接. 流程: 1.在pom.xml文件添加distributionManagement节点,将项目打包上传到私服 ...

  6. java8利用流和lambda表达式对list遍历处理

    java8的lambda表达式提供了一些方便list操作的方法,主要涵盖分组.过滤.求和.最值.排序.去重. 优点: (1) 简洁,跟之前的传统写法对比,能少写不少代码; (2) 易并行计算.尤其适用 ...

  7. https加固,https://ip暴露后端IP。

    增加server配置server { listen 443 default_server; server_name _ ; ssl on; ssl_certificate test.crt 随便设置一 ...

  8. SpringBoot笔记--文件配置加载顺序+整合其他框架

    内部文件配置加载顺序 外部文件配置加载顺序 jar包配置 整合Junit 若是业务管理类和测试类在同一个包下面,那么这句话, 可以不加括号,只写注解名称 否则,就必须指定到包下面,不然会报错 整合Re ...

  9. LoadRunner——创建场景及运行场景(三)

    1. 创建场景 场景:用户并发访问的策略,包含用户数.加载用户的时间等 启动第二个组件 : 控制台 (controller) 方式1: 开始->所有程序->HPLoadRunner-> ...

  10. Gym - 101845E (图形转换思维)

    题意:给你个边长为n(1 <= n <= 50)的下图这种三角形,图形所有点构成集合.找多少对a,b满足条件,条件为:ab两点之间还有其他点. 题解:刚开始以为直接找规律就行,wa了两次发 ...