个性探测综述阅读笔记——Recent trends in deep learning based personality detection

目录

• abstract
• 1. introduction
• 1.1 个性衡量方法
• 1.2 应用前景
• 1.3 伦理道德
• 2. Related works
• 3. Baseline methods
• 3.1 文本
• 3.2 音频
• 3.3 图像
• 3.4 多模态
• 4. Detailed overview
• 4.1 文本
• 4.1.1 LIWC/MRC
• 4.1.2 Receptiviti API
• 4.1.3 社交网络文本研究
• 4.1.4 深度神经网络应用
• 4.1.5 SenticNet 5
• 4.1.6 weighted ML-kNN（多标签学习）
• 4.1.7 其他信息作为特征加入
• 4.2 语音
• 4.3 图像
• 4.4 双模态
• 4.5 多模态
• 5 Results and discussions
• 6 Conclusion

abstract

近年来，个性的自动预测受到了广泛关注。 具体而言，从多重数据（多模态） 预测人格已成为情感计算领域的热门话题。 在本文中，我们回顾了用于个性检测的重要机器学习模型，重点是基于深度学习的方法。 这篇综述文章概述了最流行的人格检测方法，各种计算数据集，工业应用以及用于人格检测的最新机器学习模型，文章将重点关注多模态。 人格检测是一个非常广泛而多样的主题：本次调查仅关注计算机方法方法，而没有进行关于人格检测的心理学研究。

1. introduction

人格是个人的行为，情感，动力和思想模式特征的组合。我们的性格对我们的生活有很大的影响，影响我们的生活选择，福祉，健康以及我们的喜好和欲望。因此，自动检测人格特征的能力具有许多重要的实际应用。伍德沃思精神神经病学调查表（Papurt，1930年）通常被称为第一个人格测验。它是在第一次世界大战期间为美国军方开发的，目的是对新兵进行创伤后应激障碍 的筛查。如今，PCM 是一种广泛使用和被认可的个性模型。它是由Taibi Kahler在NASA资助下开发的，最初用于协助航天飞机宇航员的选择。现在，该模型主要用于个人咨询，用以帮助个人提高沟通效率。

除了直接确定一个人的个性之外，人们可能还想知道周围的人如何看待他们。与自动人格识别不同，感知人格分析的目标不是自己认为的真实人格，而是与之互动的人是如何看待他们的他们的人格。测试方法是， 被测者的周围的人填写个性问卷，然后确定该被测者人的感知个性。

1.1 个性衡量方法

表示个性的方法有很多种，有16PF (Cattell and Mead 2008), EPQ-R (Miles and Hempel 2004)， PEN (Eysenck 2012)， The MyersBriggs Type Indicator (MBTI)等， 感兴趣的可以自己拓展

比较流行的就是Big-Five， 将一个人的个性分为

• Extraversion
• Neuroticism
• Agreeableness
• Conscientiousness
• Openness

衡量标准是 Yes /No， 是否具有这方面的个性特点

1.2 应用前景

可以用作以下这些方面：

Enhanced personal assistants	应用于个人助手， Siri等，使之根据不同用户的不同性格产生个性化的回应
Recommendation systems	推荐系统
Word polarity detection	流行词的探测
Specialized health care and counseling	心理健康咨询
ForensicsIf	犯罪侦查，通过探测在场人员的性格，减少犯罪嫌疑人的范围
Job screening	帮助雇佣者找到更符合此工作（性格检测）的人
Psychological studies	心理学研究
Political forecasting	帮助政客提出更有效的拉票方案

1.3 伦理道德

讨论了个性探测的合法性， 目前对于这方面的法律不健全， 而且分析他人的性格是否是一种侵犯有待商榷。

2. Related works

• 2014年以前， 使用 Naïve Bayes, kNN, mLR, Gaussian Process 这种浅学习技术进行分类
• 2014年后， 逐步采用了深度学习模型来提升准确率
• 2016年， 使用来**simage processing techniques（图片处理技术） and facial feature analysis（面部特征分析）**进行对图片上的个性分析
• 使用不同的个性衡量标准如， MBTI以及加入了不同的指标如， unhappy, weird, intelligent, confident,等等
• 2014年， Vinciarelli and Mohammadi 等人 将性格探测分出来三个下游任务， -
  • Automatic Personality Perception (APP) 个性感知
  • Automatic Personality Synthesis (APS)
  • AutomaticPersonality Recognition (APR). 个性识别
• 2018年， 使用多模态技术， 将不同的数据（文本，图像）同时输入到模型中

3. Baseline methods

介绍一些基本的模型，结构和技术

3.1 文本

文本分为三个个方面

• 通过LIWC， MRC等文本特征提取技术以及简单的分类器（SVM， SMO）进行分类
• 通过fine-tune的词嵌入模型（GloVe or Word2Vec)结合深度神经网络（LSTM，GRU ）等进行分类
• 两者结合

3.2 音频

这个领域方法稍微少些， 主要是利用一些标准的声音特征提取模型，例如Mel-Frequency Cepstral Coefficients (MFCC), Zero Crossing Rate (ZCR), Logfbank， 然后再加上简单分类器SVM等

3.3 图像

首先是使用一些基本的CNN。

使用来一些fine-tuned的模型如，VGG-Face，EigenFace,等

3.4 多模态

将以上的两类或三类的数据，输入到一个多模态的模型中，比较常见的有Deep Residual Networks

目前流行的特征提取工具以及介绍

4. Detailed overview

4.1 文本

4.1.1 LIWC/MRC

• LIWC是一个基于心理学的文本情感分析关键， 它根据心理学研究将要单词分成不同的单词种类， 然后计算每个种类的频率， 将其作为模型输入， 然后进行分类。
• The PR2 system (Celli and Poesio 2014) 则是从LIWC/MRC进一步提取出特征，例如标点符号等，不同的是，只有提取的特征数值大于平均值，才能被用来进行分类， 研究发现这些特征和人的个性具有相关性。这项技术虽然没有提升准确性，但是却有助于更有效的特征提取

4.1.2 Receptiviti API

这个是基于LIWC， 相当于LIWC的API， 通过提交文本， 返回文本的特征提取结果， 但是这个API对于社交媒体的文本的效果不是很好。

4.1.3 社交网络文本研究

• 当前，通过社交网络上的文本进行性格探测，非常流行 Kalghatgi et al. (2015)等人，将用户的社交习惯（平均使用表情数目）以及 文本的语言学特征（平均文本长度）作为特征输入，然后输入到a Multi-Layer Perceptron (MLP).（多重感知器）进行分类预测

4.1.4 深度神经网络应用

• 对于新的数据集consciousness essay dataset (Pennebaker and King 1999)文本类型是文章， Majumder et al. (2017)等人使用CNN来进行文章的特征提取，下图是具体的网络结构， 其中：每一篇文章，看成句子向量的集合，句子向量是通过对单词向量的卷积形成， 单词使用Word2Vec进行词嵌入，最终得到的文档向量，　文档向量再加上LIWC和MRC提取的特征作为提取的最终结果， 将此结果放入一个全连接层，接Sofmax，求出yes/no的概率。
  
  
• Hernandez and Scott (2017) 等人，则另辟蹊径， 将表示好的句向量，作为一个时间序列， 输入到一个循环神经网络中（用了多种， RNN， LSTM， 双向LSTM， GRU）
• Liu et al. (2016) 等人则不用GloVe 和 Word2Vec， 而是使用一个双向的GRU进行词嵌入， 将单词向量组再输入到一个双向的RNN形成句向量， 最终放到前馈神经网络进行预测分类。结果发现此模型在corpus of Tweets. 的结果较好。
• Sun et al. (2018) 提出了Latent Sentence Group用来表示文章特征， LSG的提取是通过双向的LSTM，以及CNN得出的， 文章细节可以看Who Am I? Personality Detection based on Deep Learning for Texts 阅读笔记

4.1.5 SenticNet 5

(Cambria et al. 2018)等人 使用SentiNet模型， 此模型结合了情感分析的两类方法（基于统计模型和基于知识模型）， 利用此网络提取出的特征，放到SMO（序列最小优化算法）进行分类。

4.1.6 weighted ML-kNN（多标签学习）

Zuo (2013)等人认为，每个性格类别之间是有一定的关联的，　准确率提不高的原因在于５个类别，同时训练５个分类器，独立分类。于是他们选择多标签学习模型进行分类，提取出的特征权重，使用熵权理论得出。

4.1.7 其他信息作为特征加入

• (Chittaranjan et al. 2011) 不局限于单纯的文本， 他将研究方向转到来与人息息相关的手机信息上， 他开发一个软件， 提取用户的手机习惯（应用打开频率， 音乐偏好等）作为提取的特征，然后使用了回归分析， SVM， C4.5等进行分类。
• conversations作为特征， 有时候是通过两个个体的聊天记录来进行个性探测， 信息作为一个时序序列， 被放到RNN中，**Su et al. (2016)提出了Hidden Markov Model HMM **模型通过输入两个人的对话记录，来进行个性探测。
  
  Conversational Dialog Corpus作为数据集

4.2 语音

4.3 图像

4.4 双模态

4.5 多模态

5 Results and discussions

6 Conclusion