干货！面向多源数据融合的睡眠时序分类方法研究

点击蓝字

5fb1e63959257d176507f9013271bcf6.png

关注我们

AI TIME欢迎每一位AI爱好者的加入！

时间序列分类任务是数据挖掘领域重要的研究方向，针对于生理时间序列的分析与挖掘有助于进行疾病的诊断和预测，促进了智慧医疗的发展。睡眠阶段分类作为典型的生理时序分类任务，对人体健康状况和精神状态的分析起着至关重要的作用。但是如何针对多源数据，例如多通道或多模态生理信号设计高精度分类模型仍然是一个挑战。本次报告将分享我们在IJCAI 2020 和 2021关于睡眠时序分类的代表性研究成果。

本期AI TIME 特别邀请了北京交通大学博士生——贾子钰，为我们带来报告分享《面向多源数据融合的睡眠时序分类方法研究》

07d8f22e48780ceccbc04faa3e7eaf42.png

贾子钰：

目前在北交大计算机与信息技术学院/网络科学与智能系统研究所攻读博士学位，师从林友芳教授、王晶副教授。同时他也是新加坡国立大学计算机学院联合培养博士，师从Wang Ye教授。与美国麻省理工学院、罗格斯大学、新加坡A*STAR保持着紧密的合作关系。主要研究兴趣集中于生理时间序列的挖掘及其在睡眠数据的应用。目前以第一作者在IJCAI、ACM MM、ECML-PKDD、TNSRE、TAI等顶级会议或期刊发表论文10余篇，并被国内外主流媒体报道。

个人主页：https://ziyujia.github.io/

01

时间序列概述

  •  时间序列

时间序列是按照时间排序的一组随机变量，它通常是在相等间隔的时间段内 依照给定的采样率对某种潜在过程进行观测的结果。

  • 时间序列的分析与挖掘

在过去的二十年中，时间序列的分析与挖掘被认为是数据挖掘中最具挑战性 的问题之一。

5e0d194fe2286ce7d7aee609f8a4a811.png

02

生理时间序列概述

  • 生理时间序列

64565ac99cd9602c0f3055736a90f537.png

心电信号，大多是由附着在心脏周围的传感器去采集心脏的信号。心脏的活动通过传感器传递到数据库之中，被称为心电ECG。脑电信号，则是通过收集大脑反应来判断大脑状态。

  • 医疗健康

9dee5dd2c9933330ac8638bfe0a407dd.png

重获肢体能力、运动康复、与周围环境进行交流、基于可穿戴设备进行健康评估

5f255ade012d52a09abbf487b1498e85.png

  • 多源睡眠数据—研究架构图

18ec79fd43be39d0ef23b28c7ffa1663.png

多源数据范围较广，本次分享主要是研究两种数据，一种是多通道的，类似脑电信号。另一种是多模态的，即会同时去研究脑电信号和心电信号。

03

 睡眠分期的研究工作 

GraphSleepNet （IJCAI 2020）

面向睡眠阶段分类的自适应时空图卷积网络

  •  五种睡眠阶段（睡眠期）

Wake (W), Non-REM 1 (N1), Non-REM 2 (N2), Non-REM 3 (N3), 和 REM。

睡眠分期对于评估睡眠质量和诊断睡眠障碍非常重要。

  • 睡眠分期方法

 1.  人工睡眠分期

（1）一些睡眠专家对睡眠阶段进行分类。

（2）资源和时间消耗大

 2.  基于机器学习的自动睡眠分期：

（1）机器学习方法（特别是深度学习方法）。

（2）提升睡眠分期的效率。

  • 自动睡眠分期

 1.  传统机器学习方法：

（1）SVM和 RF 等

（2）依赖手工设计的特征和大量先验知识。

 2.  CNN 和 RNN:

（1）DeepSleepNet, XSleepNet等

（2）CNN 提取时域不变特征

（3）RNN 提取睡眠阶段之间的睡眠过渡规则。

  • 网格数据的局限性

 1.  大脑区域间的连接关系被忽视。

 2.  由于大脑处于非欧氏空间，因此图是最 适合用于表示大脑连接性的数据结构。

6794497e257af0cbc43511a015e9a68a.png

  •  对大脑的功能连接进行建模

 1.  图卷积神经网络在处理图数据中展示了相当优异的表现

 2.   现有的工作往往使用的是固定的图结构，但是睡眠是一个动态的过程。

 3.  人类对大脑的理解是有限的。

挑战1：如何为睡眠分期确定合适的图结构。

挑战2：如何有效地提取时空特征。

  • 在睡眠期间，大脑区域的空间特性是不同的。

  • 在时间维度上，睡眠阶段之间存在着过渡规则。

f4decb8d9b613002f9122171b6ee21f8.png

AASM睡眠分期标准中 的睡眠阶段过渡规则

挑战1：如何将图卷积有效的应用于睡眠分期。

挑战2：如何利用相邻睡眠阶段之间的过渡规则。

Methods

c3f2bb4d64acabc3d87a837606376c7f.png

因此我们提出了一个自适应时空图卷积网络，这个网络分为上下两个组件分别对应前文提到的两个挑战。上半部分是个自适应学习模块，他能够为不同的识别阶段提供网络结构。下面是个时空图卷积模块，用来提取睡眠时空特征。

3287de3d6642214f1a96d7cd70a95b30.png

挑战1：如何为睡眠分期确定合适的图结构。

方法1：我们提出了一种自适应睡眠图学习机制.

  • 与时空图卷积集成在统一的架构中

  • 动态的构造邻接矩阵A

  • 利用损失函数中的第二项以控制邻接矩 阵A的稀疏性

0d0c6cb89536f99badf1e6f57ce2ed08.png

通过每一个节点的节点特征，计算出每一个节点的相似性。然后，通过一个线性层构架连接。节点特征相似的节点，彼此建立连接的概率更大。

挑战2：如何有效地提取时空特征。

方法2：我们设计了一种时空图卷积架构。

a) 空间维度：利用图卷积聚合空间信息。

  • 使用基于谱图理论的图卷积方法

  • 利用图拉普拉斯算子的切比雪夫展开来降低计算复杂性

84e4f01ab773853ff2af8be43f0e1f52.png

b) 时间维度：使用卷积神经网络进行卷积操作以提取睡眠阶段间的过渡规则。

c) 时空注意力：自动提取有价值的信息。

一、实验

数据集：Montreal Archive of Sleep Studies (MASS)-SS3 dataset

  • 该数据集包含来自62位健康受试者（28位男性和34位女性）的PSG记录。

  • 专家根据AASM标准将这些PSG记录分为五个睡眠阶段（W，N1，N2，N3和 REM）

  • 我们从原始信号中的每个通道中提取微分熵

    （ DE ）特征。

6d7ce1e63dd9c0d010a76f733fa8536b.png

1.  与SOTA方法的对比结果

f29e5c82efec9787fb5bfe2825e16152.png

结果发现，我们提出的这种自适应图卷积时空图网络，在所有的指标上都达到了很好效果，特别是在N1阶段。

2.  实验分析

09dfa29367a3965828a033ef13681f44.png

  • 邻接矩阵: 我们提出的自适应图学习的结果优于所有固定图的结果。

  • 输入睡眠阶段网络的数量 Tn : 分类表现随着 Tn 增加而提高, 并且在 Tn = 5时达到最 高的分类精度。

3.  结论

  • 据我们所知，这是首次将时空图卷积应用到了自动睡眠阶段分类任务。此外，我们还 提出了一种新型的自适应睡眠图学习机制，该机制与时空图卷积同时集成在一个统一 的网络架构中。

  • 我们设计了一种时空卷积，它包括用于捕捉空间特征的图积卷和用于捕捉不同睡眠阶 段之间过渡规则的时空卷积。

  • 实验结果表明，GraphSleepNet在睡眠阶段分类中实现了最先进的性能。 

4.  展望

  • 我们所提出的模型是一个多变量生理时间序列的通用框架。

  • 它还可以应用于时间序列的分类、预测和其他相关领域

SalientSleepNet(IJCAI 2021）

面向睡眠阶段分类的多模态显著性波形检测网络动机与挑战

  • 从原始信号种直接捕获显著性波形

5592e06da1320a7d99f063cde5834873.png

  • 不同睡眠期有不同的显著性波形：

（1）N2 期: 睡眠纺锤波（Spindles）, K复合 波（ K-complex ）

（2）N3 期: Delta 波

（3）N1 期: SEM 波

（4）REM 期: REM 波

有些方法利用时频图像作为网络输入来间接捕获显著波 ，这可能产生部分信息丢失。

因此我们希望能有一种方法能够直接从原始信号中捕获显著性波形。

  • 高效利用多尺度睡眠过渡规则

（1）AASM睡眠标准将不同睡眠阶 段的变化规律归纳为过渡规则

（2）专家结合临近的睡眠期来判断 当前睡眠期

（3）睡眠过渡规则有多尺度特性

807cb260193580efcc0e26e4150bf00f.png

一些方法使用RNN来学习过渡规则，但RNN难以调整和优化。所以我们后续会采用CNN来替代。

  • 高效利用多模态信号

c7b71908136c13b7398b0dd70f3b7bd1.png

  • 不同的模态对区分睡眠阶段有不同的贡献。

  • EEG信号对N2和N3期的分类有更多贡献；EOG信号对N1和REM期的分类贡 献更大。

现有的研究忽略了每种模态对特定睡眠阶段识别的贡献是不同的。

5.  方法

面向睡眠阶段分类的多模态显著性波形检测网络

dc78fb5740dce526a0302556b90a7fa4.png

宏观来讲，这个网络分为两个分支一个分支是检测EEG的，一个分支是用来检测EOG的。每一个分支都是由一个U2-structure 组成。

  • U2-structure检测显著性波形

977745100bcb418822f341c121febb9c.png

  • 1D 编码器解码器结构；

  • 由多个嵌套 U-unit 组成；

  • 到图像显著性目标检测模型 U2-Net 的

67d35f476264acb083e8a15d3eb31cfd.png

  • MSE 学习多尺度睡眠过渡规则

ebc667c95cdf006a9310a332a86c0493.png

  • Multi-Scale Extraction module (MSE) 用于显式捕获多尺度睡眠过渡规则；

  • 以不同膨胀率的空洞卷积从不同尺 度的感受野捕获特征；

  • 使用瓶颈层（Bottleneck layer）降低 模型参数量；

  • MSE接在每个编码器后面。

  • MMA高效利用多模态特征

a1fb61fafedb80ac2179dcf2707cdc3d.png

  • MultiModal Attention module (MMA) 自适应地捕获不同模态对当前睡眠期 最重要的特征；

  • 模态融合组件（Modality fusion component）用于融合两个模态流的特 征图；

  • 通道注意力组件（Channel-wise attention component）以一种隐式方式 增强特定睡眠期最重要的特征

二、实验

数据集：Sleep-EDF-39 & Sleep-EDF-153

  • Sleep-EDF-39 由20名25-34岁健康受试者(10男10女)的42308个睡眠期组成；

  • Sleep-EDF-153 由78名25-101岁健康受试者的195479个睡眠期组成

  • 使用 Fpz-Cz EEG 和 ROC-LOC EOG

1.  与最先进的模型进行比较

51a3532c262e5ff6c8b7a8e7bc766d9c.png

从结果可以看出我们提出的模型的表现还是相对较优的，细节指标方面在N3阶段和baseline还有差距，整体指标上已经达到了不错的分类效果。

2.  主要Motivation——如何探测显著性波形

  • 可视化：U2-structure的逐点分类输出

b5c9a6db95605f914ecbecb89a3041a4.png

N2 期: 睡眠纺锤波, K复合波

N3 期: Delta 波

N1 期: SEM 波

REM 期: REM 波

SalientSleepNet 可以在一定程度上 检测多模态信号中的显著性波形

  • 消融实验

e582f2a1d51ff3b48eb2a8ac8b437025.png

  1. U structure (基础模型):没有嵌套U-unit，MSE，MMA的双 流的U结构。

  2. U2 structure: 在基础模型上增加嵌套U-unit。

  3. U2 structure+MSE:在U2 structure的基础上增加MMA。

  4. U2 structure+MSE+MMA (SalientSleepNet):在U2+MSE模型的基础上使用MMA 替代简单的连接操作。

3.  总结

  • 我们的工作第一次尝试从视觉显著性检测领域迁移U2-Net到睡眠分期中

  • SalientSleepNet 可以有效检测和融合多模态信号中的显著性波形

  • SalientSleepNet 可以提取睡眠阶段之间的多尺度过渡规则；

  • 实验结果表明 SalientSleepNet 达到了领域内最先进的表现；

  • SalientSleepNet的参数量是现有睡眠分期深度学习模型中最少的。

4.  前景

该模型是多模态生理时间序列分类的通用框架。

提

醒

论文链接：

https://www.ijcai.org/Proceedings/2020/184

点击“阅读原文”，即可观看本场回放

整理：李卓然

审核：贾子钰

直播预告

3月2日  14:00-17:00   NeurIPS专场四

浅谈自然语言处理中的泛化性

记得关注直播信息哦！

3月2日  19:30-20:30   青年科学家-21 

浅谈关于循环神经网络的训练稳定性问题

伍斯特理工学院（Worcester Polytechnic Institute, WPI）电机与计算机工程系助理教授——张子明

往期精彩文章推荐

99f2bc5a3fb2dd7a74685b41a52f54a1.png

记得关注我们呀！每天都有新知识！

 关于AI TIME 

2019年，清华大学人工智能研究院院长张钹院士、唐杰教授和李涓子教授等人联合发起“AI TIME science debate”，希望用辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者创办的圈子。AI TIME旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家与爱好者，打造成为全球AI交流与知识分享的聚集地。

6287a6d1c8918964b0ad045e40b5b1e3.png

我知道你

在看

哦

~

85325107e319bf87d1fcd0d299854a4c.gif

点击 阅读原文 查看回放！

版权声明：本文为AITIME_HY原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。