[翻译+注解] DEAP dataset：a dataset for emotion analysis using eeg, physiological and video signals

我们提供了一个用于分析人类情感状态的多模态数据集。记录了 32 名参与者观看 40 个一分钟长的音乐视频摘录时的脑电图（EEG）和外周生理信号。参与者根据唤醒度、愉悦度、喜好 / 不喜欢、支配度和熟悉度等级别对每个视频进行了评分。对于 32 名参与者中的 22 名，还记录了额头面部视频。使用了一种新颖的刺激选择方法，利用了从 last.fm 网站的情感标签检索、视频亮点检测和在线评估工具。

该数据集已公开提供，我们鼓励其他研究人员将其用于测试其自己的情感状态估计方法。该数据集首次在以下论文中进行了介绍：“DEAP: A Database for Emotion Analysis using Physiological Signals (PDF)”, S. Koelstra, C. Muehl, M. Soleymani, J.-S. Lee, A. Yazdani, T. Ebrahimi, T. Pun, A. Nijholt, I. Patras, EEE Transactions on Affective Computing, vol. 3, no. 1, pp. 18-31, 2012

脑电图（EEG） 是一种用于测量大脑电活动的无创性神经生理学技术。它通过在头皮上放置一系列电极来记录大脑的电信号，这些信号反映了大脑神经元的活动。脑电图广泛用于临床医学、神经科学研究和脑机接口等领域。

在脑电图中，电极捕捉到的电信号以图形的形式呈现，通常是一系列的波形。这些波形包括不同频率的振荡，如：

脑电图在医学中被用来诊断和监测各种神经系统疾病，如癫痫、睡眠障碍和脑损伤。此外，它还被用于研究大脑的基本功能、认知过程、情感调控和脑机接口技术的开发。脑电图是一种重要的工具，可以帮助我们了解大脑的活动模式和健康状况。

不同频率的脑电波与不同情绪和认知状态之间存在一定的关联，尽管这种关联并不是绝对的，因为大脑活动是复杂的。以下是一些常见的情绪和认知状态与脑电波频率之间的关系：

Last.fm 是一个音乐社交网站和互联网广播平台。它允许用户创建个人音乐配置文件、记录他们听过的音乐、与其他音乐爱好者互动以及发现新音乐。Last.fm 还提供了一种基于用户听歌历史的个性化音乐推荐服务，以及音乐活动和音乐会信息。用户可以通过 Last.fm 跟踪他们的音乐口味、建立音乐社交圈子，以及发现与他们的音乐兴趣相关的内容。

在研究和数据分析领域，Last.fm 的音乐标签和用户行为数据经常用于构建音乐推荐系统、分析音乐趋势以及研究用户的音乐偏好和行为。因此，Last.fm 的音乐标签和数据可以用于创建具有情感标签的音乐数据集，用于情感分析和研究。

DEAP 数据集包括两个部分：

【第一部分】来自在线自我评估的评分，其中每个来自音乐视频的一分钟片段都由 14 ~ 16 名志愿者基于激活度、愉悦度和支配度进行评分。

这些评分可以用来研究音乐和视频内容如何影响观众的情感和情感体验。

【第二部分】32 名志愿者观看了上述音乐视频的 40 个子集的实验中的参与者评分、生理记录和面部视频。记录了脑电图（EEG）和生理信号，每个参与者也按上述标准对视频进行了评分。对于 22 名参与者，还记录了正面面部视频。

有关数据集收集及其内容的更详细解释，请参阅 [1]。

第二部分的 32 名志愿者和第一部分的志愿者不同。第一部分的志愿者是独立的 14 到 16 名志愿者，他们观看了音乐视频的不同片段，并对这些片段进行了情感评分（激活度、愉悦度和支配度）。这些志愿者是用于构建第一部分数据的。 而第二部分的 32 名志愿者是另一组志愿者，他们观看了相同或类似的音乐视频子集，但他们是不同的个体，不包括第一部分的志愿者。这些第二部分的志愿者也进行了情感评分（激活度、愉悦度和支配度），并且额外记录了生理信号和面部视频。这个设计是为了在不同的志愿者群体中研究情感评分与生理 / 面部反应之间的关系以及情感体验的差异。

以下文件可供使用（每个文件的详细说明如下）：

此文件包含在线自评期间收集的所有个体视频评分。该文件以 Open-Office Calc（online_ratings.ods）、Microsoft Excel（online_ratings.xls）和逗号分隔值（online_ratings.csv）格式提供。

评分是使用在线自评工具收集的，如 [1] 中所述。参与者使用离散的 9 点量表，使用 SAM 人物模型（SAM mannequins）评价 ① 唤醒（arousal）、② 愉悦度（valence） 和 ③ 支配度（dominance）。此外，参与者还使用情感轮（emotion wheel，参见 [2]）评估了感觉到的情感。

“SAM"代表"Self-Assessment Manikin”，它是一种用于主观情感评估的工具，通常用于研究和测量人们的情感和情绪状态。SAM manikins 是一种心理学测量工具，用于让被试者以图形方式表示他们的情感体验。 SAM manikins 通常由一组具有不同表情的人物模型组成，这些人物模型代表了情感状态的不同维度。通常，SAM manikins 有三个维度：

通过选择 SAM manikins 上的适当人物模型，被试者可以用图形方式表达他们的情感状态，这使得情感评估更加客观和标准化。SAM manikins 经常用于情感心理学、情绪研究、人机交互等领域的实验和调查中。

离散的 9 点量表是一种常用于心理学和情感研究中的评分方式。它通常用于评估人们对某种情感或情感属性的主观感受，例如愉悦度、唤醒度、情感强度等。这个量表将评分分为 9 个不同的级别，每个级别都代表着不同的程度或感受。通常，这些级别在两个极端之间分布，例如从非常不愉快到非常愉快，或者从非常冷静到非常兴奋。参与者需要选择一个级别，以表达他们的主观感受或评价。 离散的 9 点量表通常用于获取离散的、有限数量的主观评分，而不是连续的、无限数量的评分。这种离散量表可以更容易地分析和解释，因为它将评分限制在了几个离散的选择之间，而不是一个连续的刻度。在情感研究中，愉悦度、唤醒度和支配度通常使用这种离散的 9 点量表来进行主观评估。

在情感心理学中，唤醒（arousal）、愉悦度（valence）和支配度（dominance）是描述情感和情绪的三个关键维度。它们通常用于对个体的情感状态和情绪体验进行定量测量和描述。

“支配度”（Dominance）是情感心理学中描述情感和情绪的一个维度，它可能相对不太常见，不太容易理解。让我们进一步解释： 支配度描述了个体在某种情感状态下的主动性或控制感。换句话说，它衡量了个体在某一情感或情绪状态下是否感到自己处于掌控和主导的位置，或者是否感到受到他人或情境的支配。 举例来说，假设某人在某种情感状态下感到非常自信、坚定和有控制力，那么这个情感状态在支配度上可能会被描述为较高的支配度。这表示该个体在这种情感状态下感到自己具有支配和掌控局面的能力。 另一方面，如果某人在某种情感状态下感到不安、无助和被他人的影响所左右，那么这个情感状态在支配度上可能会被描述为较低的支配度。这表示该个体在这种情感状态下感到自己不太有控制力，更容易被外部因素或他人所影响。 支配度是情感维度的一部分，通常与唤醒（情感的活跃程度）和愉悦度（情感的正负性质）一起使用，以更全面地描述个体的情感体验。支配度的理解可能因文化、语境和研究领域而异，但它在研究情感和情绪时仍然具有价值，因为它有助于深入了解情感状态对个体行为和体验的影响。

这些维度通常被用于研究情感和情绪，以便更准确地理解和描述个体的情感体验。它们也可用于评估文化、产品或媒体内容对个体情感的影响。

情感轮（Emotion Wheel）是一种用于描述和理解情感范围的图形工具。它通常以圆形图表的形式呈现，将不同的情感状态或情感类别排列在圆圈的不同部分。情感轮的目的是帮助人们识别、区分和表达各种情感，以便更好地理解和沟通情感经验。 情感轮通常分为不同的部分，每个部分代表一种情感或情感类别。这些部分通常以文字或短语的形式标记，以描述情感的性质。情感轮的设计可以根据特定的研究或应用需要而不同，但通常包括一系列基本情感状态，例如：

情感轮还可以进一步细分这些基本情感状态，以便更详细地描述情感体验。例如，喜悦可以分为幸福、满足、兴奋等子类别。这种细分有助于更准确地捕捉和表达情感。

情感轮通常用于心理学研究、情感分析、情感识别、心理治疗和情感智能等领域，以帮助人们更好地理解和管理情感。它也可以用作情感识别系统中的工具，以帮助计算机识别和理解人类情感。

文件中的表格每个个体评分有一行，包含以下列：

这个文件列出了在线自评和实验中使用的所有视频，并以表格形式呈现。该文件提供了Open-Office Calc（video_list.ods）、Microsoft Excel（video_list.xls）和逗号分隔值（video_list.csv）格式。

该表格每行代表一个视频，包含以下列：

这个文件包含了在实验期间收集的所有参与者对视频的评分。该文件以 Open-Office Calc（participant_ratings.ods）、Microsoft Excel（participant_ratings.xls）和逗号分隔值（participant_ratings.csv）格式提供。

start_time 值是由演示软件记录的。愉悦度、唤醒度、支配度和喜好度是在每次试验后立即使用标准鼠标在连续的 9 点量表上评定的。愉悦度、唤醒度和支配度的评分使用 SAM 人体模型可视化呈现。对于喜好度（即您有多喜欢这个视频？），使用了拇指向上和拇指向下的图标。熟悉度是在实验结束后使用 5 点整数量表进行评定的（从“以前从未听过”到“定期听”）。遗憾的是，参与者 2、15 和 23 的熟悉度评分遗失了。

5 点整数量表是一种常用于心理学、市场调查和社会科学研究中的评分方式。它通常用于评估人们对某个属性、产品、情感或观点的主观感受或态度。这种量表将评分分为 5 个离散的级别，每个级别代表着不同的态度或感受。通常，这些级别从极端的否定到极端的肯定排列，中间还包括一个中性选项。参与者需要选择一个级别，以表示他们对特定对象或主题的态度或评价。 5 点整数量表通常用于获取有限数量的离散主观评分，而不是连续的、无限数量的评分。这种量表简单明了，容易理解，适用于各种调查和研究领域。在市场调查中，常常使用这种量表来评估产品满意度、广告效果、品牌偏好等。在心理学研究中，它也可以用于评估情感、态度、焦虑程度等。

该文件中的表格每行对应一个参与者对视频的评分，包含以下列：

该文件包含了实验前参与者填写的问卷答案。该文件提供了Open-Office Calc（participant_questionnaire.ods）、Microsoft Excel（participant_questionnaire.xls）和逗号分隔值（participant_questionnaire.csv）格式。

问卷中的大多数问题都是多项选择题，基本可以理解。不幸的是，参与者 26 没有填写问卷。此问卷还包括对同意书上的问题的回答（数据是否可以用于研究，您的影像是否可以发布）。

Face_video.zip 包含了实验中记录的前 22 位参与者的正脸视频，已分割成各个试验。在 zip 文件中，sXX/sXX_trial_YY.avi 对应于主题 XX 的试验 YY 的视频。

对于参与者 3、5、11 和 14，由于技术问题（即录像带用完了），最后几次试验中的一个或多个试验缺失。请注意，这些视频按照呈现顺序排列，因此试验编号与 video_list 文件中的 Experiment_id 列不对应。试验编号与 Experiment_ids 之间的映射可以在 participant_ratings 文件中找到。

视频是从放置在屏幕后面的三脚架上以 DV PAL 格式使用 SONY DCR-HC27E 摄像机录制的。然后，将视频根据试验进行分割，并使用 h264 编解码器转码为 50 fps 的去隔行视频。转码是使用 mencoder 软件执行的，命令如下：

上面的代码是使用 mencoder 软件对录制的 DV PAL 格式视频文件 sXX.dv 进行处理和转码，以创建一个 AVI 视频文件 sXX_trialYY.avi，其中 XX 是主题编号，YY 是试次编号。 以下是代码的各个部分的解释：

总之，这个代码片段的目的是将源视频文件进行处理，裁剪成指定持续时间的视频，并应用滤镜和编解码器，最终生成一个 AVI 格式的视频文件。

视频的同步精度大约为 1/25 秒（除了人为错误）。同步是通过在实验前后同时显示红色屏幕，并与发送到脑电图记录计算机的标记同步来实现的。然后，手动标记了该屏幕的起始帧在视频记录中的位置。然后，从脑电图记录中的试验开始标记计算各个试次的开始时间。

data_original.zip 中包含了原始的数据记录。共有 32 个 .bdf 文件（由 Actiview 录制软件生成的 BioSemi 数据格式），每个文件都有 48 个以 512Hz 采样的通道（32 个 EEG 通道，12 个外周通道，3 个未使用的通道和 1 个状态通道）。.bdf 文件可以由各种软件工具包读取，包括 Matlab 的 EEGLAB 和 BIOSIG 工具包。

数据是在两个不同的地点记录的。参与者 1-22 在 Twente 记录，参与者 23-32 在 Geneva 记录。由于硬件的不同版本，格式存在一些细微差异。首先，两个地点的 EEG 通道顺序不同。其次，每个地点的 GSR 测量数据格式也不同。

Twente 和 Geneva 是两个不同的地理位置或地点：

下表列出了两个地点的 EEG 通道名称（根据 10/20 系统）以及可用于将一种顺序转换为另一种顺序的索引：

这个表格列出了两个地点（Twente 和 Geneva）的 EEG 通道名称及其相应的编号。Geneva 到 Twente 和 Twente 到 Geneva 的映射也在表格中提供。这些通道名称和编号是根据国际 10/20 系统制定的，用于标识头皮上的不同脑电通道。

剩余的通道编号在两个地点都是相同的。然而，请注意两个地点的皮肤电导（GSR）测量采用不同的单位。Twente 的 GSR 测量单位是纳西门子（nano-Siemens），而 Geneva 的 GSR 测量单位是欧姆（Ohm）。转换关系如下：

G S R G e n e v a = 1 0 9 / G S R T w e n t e \rm GSR_{Geneva} = 10^9 / GSR_{Twente} GSRGeneva​=109/GSRTwente​

下表解释了剩余通道的含义：

状态通道包含从刺激呈现计算机发送的标记，指示试验的开始和结束。以下状态标记被使用：

这些文件包含了一个经过降采样（至 128Hz）、预处理和分段处理的数据版本，以 Matlab（data_preprocessed_matlab.zip）和 Python/Numpy（data_preprocessed_python.zip）格式提供。这个数据版本非常适合那些希望快速测试分类或回归技术而不必首先处理所有数据的人。每个 zip 文件包含 32 个 .dat（Python）或 .mat（Matlab）文件，每个参与者一个。以下是加载 Python 数据文件的示例代码：

每个参与者文件包含两个数组：

DEAP 的数据包括两个主要的数组：data 和 labels，其中：

这个数组的维度解释如下：

这个数组的维度解释如下：

总之，DEAP 数据库中的 data 数组包含了 40 40 40 个视频或试验的生理信号数据，每个视频/试验包括 40 40 40 个不同的通道，每个通道中有 8064 8064 8064 个数据点。而 labels 数组包含了这 40 40 40 个视频/试验对应的愉悦度、唤醒度、支配度和喜好这四个情感标签的数值。这些数据可以用于情感分析和情感识别的研究。

视频按照 Experiment_id 的顺序排列，而不是按照演示顺序排列。这意味着每个参与者的第一个视频都是相同的。以下表格显示了通道布局和执行的预处理步骤：

为了获取数据集并下载此页面上的文件，请访问 DEAP 数据集请求服务器，以获取用户名和密码。您需要使用它们来访问以下文件。请注意，该数据集的许可仅限于学术研究。请注意，只有在学术 / 研究机构拥有永久职位的人员（用户）才能申请。用户必须使用其所在机构的电子邮件地址申请，并提供链接到其所在机构的网页，以验证其在机构的职位和电子邮件地址。

包含在四个电子表格中的所有元数据（在线评分、视频列表、参与者评分和参与者问卷）。提供以下格式：

记录了脑电图（EEG）和外周生理信号的数据。提供三种格式：BioSemi 的原始未处理数据（.bdf 格式），Matlab 和 Python（numpy）格式的预处理数据（详见数据集描述）。

有一些人报告使用下载管理器下载这些大文件时遇到了问题。如果你也面临这个问题，还有一个多卷版本的文件，其中文件被分成了100MB的部分。

这是实验中参与者 1-22 的前额面部视频录像，格式为 h264。

如果您在使用下载管理器下载这个大文件时遇到问题，有一个多卷版本的文件可供选择，其中文件被分成了100MB的部分。这样可以更容易地下载和管理文件。