干货!面向多源数据融合的睡眠时序分类方法研究

点击蓝字

5fb1e63959257d176507f9013271bcf6.png

关注我们

AI TIME欢迎每一位AI爱好者的加入!

时间序列分类任务是数据挖掘领域重要的研究方向,针对于生理时间序列的分析与挖掘有助于进行疾病的诊断和预测,促进了智慧医疗的发展。睡眠阶段分类作为典型的生理时序分类任务,对人体健康状况和精神状态的分析起着至关重要的作用。但是如何针对多源数据,例如多通道或多模态生理信号设计高精度分类模型仍然是一个挑战。本次报告将分享我们在IJCAI 2020 和 2021关于睡眠时序分类的代表性研究成果。

本期AI TIME 特别邀请了北京交通大学博士生——贾子钰,为我们带来报告分享《面向多源数据融合的睡眠时序分类方法研究》

07d8f22e48780ceccbc04faa3e7eaf42.png

贾子钰

目前在北交大计算机与信息技术学院/网络科学与智能系统研究所攻读博士学位,师从林友芳教授、王晶副教授。同时他也是新加坡国立大学计算机学院联合培养博士,师从Wang Ye教授。与美国麻省理工学院、罗格斯大学、新加坡A*STAR保持着紧密的合作关系。主要研究兴趣集中于生理时间序列的挖掘及其在睡眠数据的应用。目前以第一作者在IJCAI、ACM MM、ECML-PKDD、TNSRE、TAI等顶级会议或期刊发表论文10余篇,并被国内外主流媒体报道。

个人主页:https://ziyujia.github.io/

01

时间序列概述

  •  时间序列

时间序列是按照时间排序的一组随机变量,它通常是在相等间隔的时间段内 依照给定的采样率对某种潜在过程进行观测的结果。

  • 时间序列的分析与挖掘

在过去的二十年中,时间序列的分析与挖掘被认为是数据挖掘中最具挑战性 的问题之一。

5e0d194fe2286ce7d7aee609f8a4a811.png

02

生理时间序列概述

  • 生理时间序列

64565ac99cd9602c0f3055736a90f537.png

心电信号,大多是由附着在心脏周围的传感器去采集心脏的信号。心脏的活动通过传感器传递到数据库之中,被称为心电ECG。脑电信号,则是通过收集大脑反应来判断大脑状态。

  • 医疗健康

9dee5dd2c9933330ac8638bfe0a407dd.png

重获肢体能力、运动康复、与周围环境进行交流、基于可穿戴设备进行健康评估

5f255ade012d52a09abbf487b1498e85.png

  • 多源睡眠数据—研究架构图

18ec79fd43be39d0ef23b28c7ffa1663.png

多源数据范围较广,本次分享主要是研究两种数据,一种是多通道的,类似脑电信号。另一种是多模态的,即会同时去研究脑电信号和心电信号。

03

 睡眠分期的研究工作 

GraphSleepNet (IJCAI 2020)

面向睡眠阶段分类的自适应时空图卷积网络

  •  五种睡眠阶段(睡眠期)

Wake (W), Non-REM 1 (N1), Non-REM 2 (N2), Non-REM 3 (N3), 和 REM。

睡眠分期对于评估睡眠质量和诊断睡眠障碍非常重要。

  • 睡眠分期方法

 1.  人工睡眠分期

(1)一些睡眠专家对睡眠阶段进行分类。

(2)资源和时间消耗大

 2.  基于机器学习的自动睡眠分期:

(1)机器学习方法(特别是深度学习方法)。

(2)提升睡眠分期的效率。

  • 自动睡眠分期

 1.  传统机器学习方法:

(1)SVM和 RF 等

(2)依赖手工设计的特征和大量先验知识。

 2.  CNN 和 RNN:

(1)DeepSleepNet, XSleepNet等

(2)CNN 提取时域不变特征

(3)RNN 提取睡眠阶段之间的睡眠过渡规则。

  • 网格数据的局限性

 1.  大脑区域间的连接关系被忽视。

 2.  由于大脑处于非欧氏空间,因此图是最 适合用于表示大脑连接性的数据结构。

6794497e257af0cbc43511a015e9a68a.png

  •  对大脑的功能连接进行建模

 1.  图卷积神经网络在处理图数据中展示了相当优异的表现

 2.   现有的工作往往使用的是固定的图结构,但是睡眠是一个动态的过程。

 3.  人类对大脑的理解是有限的。

挑战1:如何为睡眠分期确定合适的图结构。

挑战2:如何有效地提取时空特征。

  • 在睡眠期间,大脑区域的空间特性是不同的。

  • 在时间维度上,睡眠阶段之间存在着过渡规则。

f4decb8d9b613002f9122171b6ee21f8.png

AASM睡眠分期标准中 的睡眠阶段过渡规则

挑战1:如何将图卷积有效的应用于睡眠分期。

挑战2:如何利用相邻睡眠阶段之间的过渡规则。

Methods

c3f2bb4d64acabc3d87a837606376c7f.png

因此我们提出了一个自适应时空图卷积网络,这个网络分为上下两个组件分别对应前文提到的两个挑战。上半部分是个自适应学习模块,他能够为不同的识别阶段提供网络结构。下面是个时空图卷积模块,用来提取睡眠时空特征。

3287de3d6642214f1a96d7cd70a95b30.png

挑战1:如何为睡眠分期确定合适的图结构。

方法1:我们提出了一种自适应睡眠图学习机制.

  • 与时空图卷积集成在统一的架构中

  • 动态的构造邻接矩阵A

  • 利用损失函数中的第二项以控制邻接矩 阵A的稀疏性

0d0c6cb89536f99badf1e6f57ce2ed08.png

通过每一个节点的节点特征,计算出每一个节点的相似性。然后,通过一个线性层构架连接。节点特征相似的节点,彼此建立连接的概率更大。

挑战2:如何有效地提取时空特征。

方法2:我们设计了一种时空图卷积架构。

a) 空间维度:利用图卷积聚合空间信息。

  • 使用基于谱图理论的图卷积方法

  • 利用图拉普拉斯算子的切比雪夫展开来降低计算复杂性

84e4f01ab773853ff2af8be43f0e1f52.png

b) 时间维度:使用卷积神经网络进行卷积操作以提取睡眠阶段间的过渡规则。

c) 时空注意力:自动提取有价值的信息。

一、实验

数据集:Montreal Archive of Sleep Studies (MASS)-SS3 dataset

  • 该数据集包含来自62位健康受试者(28位男性和34位女性)的PSG记录。

  • 专家根据AASM标准将这些PSG记录分为五个睡眠阶段(W,N1,N2,N3和 REM)

  • 我们从原始信号中的每个通道中提取微分熵

    ( DE )特征。

6d7ce1e63dd9c0d010a76f733fa8536b.png

1.  与SOTA方法的对比结果

f29e5c82efec9787fb5bfe2825e16152.png

结果发现,我们提出的这种自适应图卷积时空图网络,在所有的指标上都达到了很好效果,特别是在N1阶段。

2.  实验分析

09dfa29367a3965828a033ef13681f44.png

  • 邻接矩阵: 我们提出的自适应图学习的结果优于所有固定图的结果。

  • 输入睡眠阶段网络的数量 Tn : 分类表现随着 Tn 增加而提高, 并且在 Tn = 5时达到最 高的分类精度。

3.  结论

  • 据我们所知,这是首次将时空图卷积应用到了自动睡眠阶段分类任务。此外,我们还 提出了一种新型的自适应睡眠图学习机制,该机制与时空图卷积同时集成在一个统一 的网络架构中。

  • 我们设计了一种时空卷积,它包括用于捕捉空间特征的图积卷和用于捕捉不同睡眠阶 段之间过渡规则的时空卷积。

  • 实验结果表明,GraphSleepNet在睡眠阶段分类中实现了最先进的性能。 

4.  展望

  • 我们所提出的模型是一个多变量生理时间序列的通用框架。

  • 它还可以应用于时间序列的分类、预测和其他相关领域

SalientSleepNet(IJCAI 2021)

面向睡眠阶段分类的多模态显著性波形检测网络动机与挑战

  • 从原始信号种直接捕获显著性波形

5592e06da1320a7d99f063cde5834873.png

  • 不同睡眠期有不同的显著性波形:

(1)N2 期: 睡眠纺锤波(Spindles), K复合 波( K-complex )

(2)N3 期: Delta 波

(3)N1 期: SEM 波

(4)REM 期: REM 波

有些方法利用时频图像作为网络输入来间接捕获显著波 ,这可能产生部分信息丢失。

因此我们希望能有一种方法能够直接从原始信号中捕获显著性波形。

  • 高效利用多尺度睡眠过渡规则

(1)AASM睡眠标准将不同睡眠阶 段的变化规律归纳为过渡规则

(2)专家结合临近的睡眠期来判断 当前睡眠期

(3)睡眠过渡规则有多尺度特性

807cb260193580efcc0e26e4150bf00f.png

一些方法使用RNN来学习过渡规则,但RNN难以调整和优化。所以我们后续会采用CNN来替代。

  • 高效利用多模态信号

c7b71908136c13b7398b0dd70f3b7bd1.png

  • 不同的模态对区分睡眠阶段有不同的贡献。

  • EEG信号对N2和N3期的分类有更多贡献;EOG信号对N1和REM期的分类贡 献更大。

现有的研究忽略了每种模态对特定睡眠阶段识别的贡献是不同的。

5.  方法

面向睡眠阶段分类的多模态显著性波形检测网络

dc78fb5740dce526a0302556b90a7fa4.png

宏观来讲,这个网络分为两个分支一个分支是检测EEG的,一个分支是用来检测EOG的。每一个分支都是由一个U2-structure 组成。

  • U2-structure检测显著性波形

977745100bcb418822f341c121febb9c.png

  • 1D 编码器解码器结构;

  • 由多个嵌套 U-unit 组成;

  • 到图像显著性目标检测模型 U2-Net 的

67d35f476264acb083e8a15d3eb31cfd.png

  • MSE 学习多尺度睡眠过渡规则

ebc667c95cdf006a9310a332a86c0493.png

  • Multi-Scale Extraction module (MSE) 用于显式捕获多尺度睡眠过渡规则;

  • 以不同膨胀率的空洞卷积从不同尺 度的感受野捕获特征;

  • 使用瓶颈层(Bottleneck layer)降低 模型参数量;

  • MSE接在每个编码器后面。

  • MMA高效利用多模态特征

a1fb61fafedb80ac2179dcf2707cdc3d.png

  • MultiModal Attention module (MMA) 自适应地捕获不同模态对当前睡眠期 最重要的特征;

  • 模态融合组件(Modality fusion component)用于融合两个模态流的特 征图;

  • 通道注意力组件(Channel-wise attention component)以一种隐式方式 增强特定睡眠期最重要的特征

二、实验

数据集:Sleep-EDF-39 & Sleep-EDF-153

  • Sleep-EDF-39 由20名25-34岁健康受试者(10男10女)的42308个睡眠期组成;

  • Sleep-EDF-153 由78名25-101岁健康受试者的195479个睡眠期组成

  • 使用 Fpz-Cz EEG 和 ROC-LOC EOG

1.  与最先进的模型进行比较

51a3532c262e5ff6c8b7a8e7bc766d9c.png

从结果可以看出我们提出的模型的表现还是相对较优的,细节指标方面在N3阶段和baseline还有差距,整体指标上已经达到了不错的分类效果。

2.  主要Motivation——如何探测显著性波形

  • 可视化:U2-structure的逐点分类输出

b5c9a6db95605f914ecbecb89a3041a4.png

N2 期: 睡眠纺锤波, K复合波

N3 期: Delta 波

N1 期: SEM 波

REM 期: REM 波

SalientSleepNet 可以在一定程度上 检测多模态信号中的显著性波形

  • 消融实验

e582f2a1d51ff3b48eb2a8ac8b437025.png

  1. U structure (基础模型):没有嵌套U-unit,MSE,MMA的双 流的U结构。

  2. U2 structure: 在基础模型上增加嵌套U-unit。

  3. U2 structure+MSE:在U2 structure的基础上增加MMA。

  4. U2 structure+MSE+MMA (SalientSleepNet):在U2+MSE模型的基础上使用MMA 替代简单的连接操作。

3.  总结

  • 我们的工作第一次尝试从视觉显著性检测领域迁移U2-Net到睡眠分期中

  • SalientSleepNet 可以有效检测和融合多模态信号中的显著性波形

  • SalientSleepNet 可以提取睡眠阶段之间的多尺度过渡规则;

  • 实验结果表明 SalientSleepNet 达到了领域内最先进的表现;

  • SalientSleepNet的参数量是现有睡眠分期深度学习模型中最少的。

4.  前景

该模型是多模态生理时间序列分类的通用框架。

论文链接:

https://www.ijcai.org/Proceedings/2020/184

点击“阅读原文”,即可观看本场回放

整理:李卓然

审核:贾子钰

直播预告

3月2日  14:00-17:00   NeurIPS专场四

浅谈自然语言处理中的泛化性

记得关注直播信息哦!

3月2日  19:30-20:30   青年科学家-21 

浅谈关于循环神经网络的训练稳定性问题

伍斯特理工学院(Worcester Polytechnic Institute, WPI)电机与计算机工程系助理教授——张子明

往期精彩文章推荐

99f2bc5a3fb2dd7a74685b41a52f54a1.png

记得关注我们呀!每天都有新知识!

 关于AI TIME 

2019年,清华大学人工智能研究院院长张钹院士、唐杰教授和李涓子教授等人联合发起“AI TIME science debate”,希望用辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。

AI TIME是清华大学计算机系一群关注人工智能发展,并有思想情怀的青年学者创办的圈子。AI TIME旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索,加强思想碰撞,链接全球AI学者、行业专家与爱好者,打造成为全球AI交流与知识分享的聚集地。

6287a6d1c8918964b0ad045e40b5b1e3.png

我知道你

在看

~

85325107e319bf87d1fcd0d299854a4c.gif

点击 阅读原文 查看回放!


版权声明:本文为AITIME_HY原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。