图片情感识别/分类/分析 概述

图片可以用于传达某些情感，例如看到流浪狗的照片会让你感到悲伤，而看到美景的时候会让你心旷神怡。对图片所传达的情感进行识别分析是一个具有吸引力的问题。目前已经有很多的方法在研究这个课题，本博客主要对自己所看过的相关论文做一个总结分享。

心理学中主要有两种情感表达模型：

目前大部分的论文都是使用 CES 模型的，因为这个模型直观简单，但是理论上来说 CES 的情感表达能力不如 DES，比如特别伤心和有点伤心都属于伤心一类，但是在 DES 中各个维度的值就会不同。但是两者之间是有一定联系的。比如下图中的 © 子图，如果按照 CES 就是 fear 一类，如果按照 DES 三个维度对应的值就是 4.1956、4.49989 和 4.8378。

标记图片的情感是一件很困难的事情，一是构造大型数据集（深度学习通常需要大量数据）通常需要大量的人力，另外有一个很关键的问题就是情绪这个问题是很主观的：同一张图片不同人可能从中获得的情感是不同的，同一个人在不同时期对同一张图片产生的情感也可能是不同的。因此标注一个大型数据集很麻烦，导致现有的大型数据集很少。解决上述问题的方法之一就是一张图片多个人标注，当某一情感占据绝对优势的时候才放入数据集。具体的流程可以参考《Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and the Benchmark》https://arxiv.org/abs/1605.02677.

不同图片可能引起人们情感的原因不同，例如有的图片是由于其中的物体，有的是其中的线条，有的是一些构图。因此是高层特征起作用还是低层特征起作用是一个重要的问题。例如 Abstract 数据集主要是由于其中的抽象特征（线条等）起作用，GAPED 数据集主要是图片中物体起作用。

最经典的论文《Affective Image Classification using Features Inspired by Psychology and Art Theory》http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.393.7676&rep=rep1&type=pdf，论文使用从美学艺术概念中提取出的特征来对图片情感进行分类。主要使用的特征如下图：

经典例子《Sun attribute database: Discovering, annotating, and recognizing scene attributes》http://static.cs.brown.edu/people/gmpatter/pub_papers/SUN_Attribute_Database_CVPR2012.pdf，文中主要用了 materials, surface properties, functions or affordances, spatial envelop attributes and object presence 的 5 个大类属性。

经典例子《Large-scale visual sentiment ontology and detectors using adjective noun pairs》http://www.ee.columbia.edu/ln/dvmm/publications/13/visual_sentiment_ontology_final.pdf，文中使用形容词名次对（adjective noun pairs (ANPs)）来对图片情感进行分类。

上述的特征大部分都是有人手工定义的，因此泛化性能交差，比如低级特征的方法用户高级特征主导的数据集，可能表现会很差。深度学习具有学习特征表示的能力，因此有大量深度学习的方法提出来解决图片情感分类问题。 例如：

第一篇论文：主要是基于迁移学习的，将预训练好的 ImageNet 迁移到情感图片数据集上，然后微调最后一层网络。 第二篇论文：主要使用了一种多任务学习框架，不仅学习了图片情感分类任务，还学习了标签分布。 第三篇论文：使用了一个多级网络，原理是前面的 CNN 学到的是低级特征，后面的 CNN 学到的是高级特征，然后再使用多个 CNN 层和完全连接层将多个特征融合到一起对图片情感进行分类。 第四篇论文：基于第三篇论文，进一步研究了不同级别特征之间的关系对图片情感进行分类。 第五篇论文：类似于第一篇论文的方面，基于迁移学习和微调的方法，不过其中的消融对照实验很有启发性。 第六篇论文：使用一种多任务学习框架结合度量学习，不仅学习了图片情感分类任务，还学习的情绪之间的关系。