点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入!
时间序列分类任务是数据挖掘领域重要的研究方向,针对于生理时间序列的分析与挖掘有助于进行疾病的诊断和预测,促进了智慧医疗的发展。睡眠阶段分类作为典型的生理时序分类任务,对人体健康状况和精神状态的分析起着至关重要的作用。但是如何针对多源数据,例如多通道或多模态生理信号设计高精度分类模型仍然是一个挑战。本次报告将分享我们在IJCAI 2020 和 2021关于睡眠时序分类的代表性研究成果。
本期AI TIME 特别邀请了北京交通大学博士生——贾子钰,为我们带来报告分享《面向多源数据融合的睡眠时序分类方法研究》
贾子钰:
目前在北交大计算机与信息技术学院/网络科学与智能系统研究所攻读博士学位,师从林友芳教授、王晶副教授。同时他也是新加坡国立大学计算机学院联合培养博士,师从Wang Ye教授。与美国麻省理工学院、罗格斯大学、新加坡A*STAR保持着紧密的合作关系。主要研究兴趣集中于生理时间序列的挖掘及其在睡眠数据的应用。目前以第一作者在IJCAI、ACM MM、ECML-PKDD、TNSRE、TAI等顶级会议或期刊发表论文10余篇,并被国内外主流媒体报道。
个人主页:https://ziyujia.github.io/
01
时间序列概述
时间序列
时间序列是按照时间排序的一组随机变量,它通常是在相等间隔的时间段内 依照给定的采样率对某种潜在过程进行观测的结果。
时间序列的分析与挖掘
在过去的二十年中,时间序列的分析与挖掘被认为是数据挖掘中最具挑战性 的问题之一。
02
生理时间序列概述
生理时间序列
心电信号,大多是由附着在心脏周围的传感器去采集心脏的信号。心脏的活动通过传感器传递到数据库之中,被称为心电ECG。脑电信号,则是通过收集大脑反应来判断大脑状态。
医疗健康
重获肢体能力、运动康复、与周围环境进行交流、基于可穿戴设备进行健康评估
多源睡眠数据—研究架构图
多源数据范围较广,本次分享主要是研究两种数据,一种是多通道的,类似脑电信号。另一种是多模态的,即会同时去研究脑电信号和心电信号。
03
睡眠分期的研究工作
GraphSleepNet (IJCAI 2020)
面向睡眠阶段分类的自适应时空图卷积网络
五种睡眠阶段(睡眠期)
Wake (W), Non-REM 1 (N1), Non-REM 2 (N2), Non-REM 3 (N3), 和 REM。
睡眠分期对于评估睡眠质量和诊断睡眠障碍非常重要。
睡眠分期方法
1. 人工睡眠分期
(1)一些睡眠专家对睡眠阶段进行分类。
(2)资源和时间消耗大
2. 基于机器学习的自动睡眠分期:
(1)机器学习方法(特别是深度学习方法)。
(2)提升睡眠分期的效率。
自动睡眠分期
1. 传统机器学习方法:
(1)SVM和 RF 等
(2)依赖手工设计的特征和大量先验知识。
2. CNN 和 RNN:
(1)DeepSleepNet, XSleepNet等
(2)CNN 提取时域不变特征
(3)RNN 提取睡眠阶段之间的睡眠过渡规则。
网格数据的局限性
1. 大脑区域间的连接关系被忽视。
2. 由于大脑处于非欧氏空间,因此图是最 适合用于表示大脑连接性的数据结构。
对大脑的功能连接进行建模
1. 图卷积神经网络在处理图数据中展示了相当优异的表现
2. 现有的工作往往使用的是固定的图结构,但是睡眠是一个动态的过程。
3. 人类对大脑的理解是有限的。
挑战1:如何为睡眠分期确定合适的图结构。
挑战2:如何有效地提取时空特征。
在睡眠期间,大脑区域的空间特性是不同的。
在时间维度上,睡眠阶段之间存在着过渡规则。
AASM睡眠分期标准中 的睡眠阶段过渡规则
挑战1:如何将图卷积有效的应用于睡眠分期。
挑战2:如何利用相邻睡眠阶段之间的过渡规则。
Methods
因此我们提出了一个自适应时空图卷积网络,这个网络分为上下两个组件分别对应前文提到的两个挑战。上半部分是个自适应学习模块,他能够为不同的识别阶段提供网络结构。下面是个时空图卷积模块,用来提取睡眠时空特征。
挑战1:如何为睡眠分期确定合适的图结构。
方法1:我们提出了一种自适应睡眠图学习机制.
与时空图卷积集成在统一的架构中
动态的构造邻接矩阵A
利用损失函数中的第二项以控制邻接矩 阵A的稀疏性
通过每一个节点的节点特征,计算出每一个节点的相似性。然后,通过一个线性层构架连接。节点特征相似的节点,彼此建立连接的概率更大。
挑战2:如何有效地提取时空特征。
方法2:我们设计了一种时空图卷积架构。
a) 空间维度:利用图卷积聚合空间信息。
使用基于谱图理论的图卷积方法
利用图拉普拉斯算子的切比雪夫展开来降低计算复杂性
b) 时间维度:使用卷积神经网络进行卷积操作以提取睡眠阶段间的过渡规则。
c) 时空注意力:自动提取有价值的信息。
一、实验
数据集:Montreal Archive of Sleep Studies (MASS)-SS3 dataset
该数据集包含来自62位健康受试者(28位男性和34位女性)的PSG记录。
专家根据AASM标准将这些PSG记录分为五个睡眠阶段(W,N1,N2,N3和 REM)
我们从原始信号中的每个通道中提取微分熵
( DE )特征。
1. 与SOTA方法的对比结果
结果发现,我们提出的这种自适应图卷积时空图网络,在所有的指标上都达到了很好效果,特别是在N1阶段。
2. 实验分析
邻接矩阵: 我们提出的自适应图学习的结果优于所有固定图的结果。
输入睡眠阶段网络的数量 Tn : 分类表现随着 Tn 增加而提高, 并且在 Tn = 5时达到最 高的分类精度。
3. 结论
据我们所知,这是首次将时空图卷积应用到了自动睡眠阶段分类任务。此外,我们还 提出了一种新型的自适应睡眠图学习机制,该机制与时空图卷积同时集成在一个统一 的网络架构中。
我们设计了一种时空卷积,它包括用于捕捉空间特征的图积卷和用于捕捉不同睡眠阶 段之间过渡规则的时空卷积。
实验结果表明,GraphSleepNet在睡眠阶段分类中实现了最先进的性能。
4. 展望
我们所提出的模型是一个多变量生理时间序列的通用框架。
它还可以应用于时间序列的分类、预测和其他相关领域
SalientSleepNet(IJCAI 2021)
面向睡眠阶段分类的多模态显著性波形检测网络动机与挑战
从原始信号种直接捕获显著性波形
不同睡眠期有不同的显著性波形:
(1)N2 期: 睡眠纺锤波(Spindles), K复合 波( K-complex )
(2)N3 期: Delta 波
(3)N1 期: SEM 波
(4)REM 期: REM 波
有些方法利用时频图像作为网络输入来间接捕获显著波 ,这可能产生部分信息丢失。
因此我们希望能有一种方法能够直接从原始信号中捕获显著性波形。
高效利用多尺度睡眠过渡规则
(1)AASM睡眠标准将不同睡眠阶 段的变化规律归纳为过渡规则
(2)专家结合临近的睡眠期来判断 当前睡眠期
(3)睡眠过渡规则有多尺度特性
一些方法使用RNN来学习过渡规则,但RNN难以调整和优化。所以我们后续会采用CNN来替代。
高效利用多模态信号
不同的模态对区分睡眠阶段有不同的贡献。
EEG信号对N2和N3期的分类有更多贡献;EOG信号对N1和REM期的分类贡 献更大。
现有的研究忽略了每种模态对特定睡眠阶段识别的贡献是不同的。
5. 方法
面向睡眠阶段分类的多模态显著性波形检测网络
宏观来讲,这个网络分为两个分支一个分支是检测EEG的,一个分支是用来检测EOG的。每一个分支都是由一个U2-structure 组成。
U2-structure检测显著性波形
1D 编码器解码器结构;
由多个嵌套 U-unit 组成;
到图像显著性目标检测模型 U2-Net 的
MSE 学习多尺度睡眠过渡规则
Multi-Scale Extraction module (MSE) 用于显式捕获多尺度睡眠过渡规则;
以不同膨胀率的空洞卷积从不同尺 度的感受野捕获特征;
使用瓶颈层(Bottleneck layer)降低 模型参数量;
MSE接在每个编码器后面。
MMA高效利用多模态特征
MultiModal Attention module (MMA) 自适应地捕获不同模态对当前睡眠期 最重要的特征;
模态融合组件(Modality fusion component)用于融合两个模态流的特 征图;
通道注意力组件(Channel-wise attention component)以一种隐式方式 增强特定睡眠期最重要的特征
二、实验
数据集:Sleep-EDF-39 & Sleep-EDF-153
Sleep-EDF-39 由20名25-34岁健康受试者(10男10女)的42308个睡眠期组成;
Sleep-EDF-153 由78名25-101岁健康受试者的195479个睡眠期组成
使用 Fpz-Cz EEG 和 ROC-LOC EOG
1. 与最先进的模型进行比较
从结果可以看出我们提出的模型的表现还是相对较优的,细节指标方面在N3阶段和baseline还有差距,整体指标上已经达到了不错的分类效果。
2. 主要Motivation——如何探测显著性波形
可视化:U2-structure的逐点分类输出
N2 期: 睡眠纺锤波, K复合波
N3 期: Delta 波
N1 期: SEM 波
REM 期: REM 波
SalientSleepNet 可以在一定程度上 检测多模态信号中的显著性波形
消融实验
U structure (基础模型):没有嵌套U-unit,MSE,MMA的双 流的U结构。
U2 structure: 在基础模型上增加嵌套U-unit。
U2 structure+MSE:在U2 structure的基础上增加MMA。
U2 structure+MSE+MMA (SalientSleepNet):在U2+MSE模型的基础上使用MMA 替代简单的连接操作。
3. 总结
我们的工作第一次尝试从视觉显著性检测领域迁移U2-Net到睡眠分期中
SalientSleepNet 可以有效检测和融合多模态信号中的显著性波形
SalientSleepNet 可以提取睡眠阶段之间的多尺度过渡规则;
实验结果表明 SalientSleepNet 达到了领域内最先进的表现;
SalientSleepNet的参数量是现有睡眠分期深度学习模型中最少的。
4. 前景
该模型是多模态生理时间序列分类的通用框架。
提
醒
论文链接:
https://www.ijcai.org/Proceedings/2020/184
点击“阅读原文”,即可观看本场回放
整理:李卓然
审核:贾子钰
直播预告
3月2日 14:00-17:00 NeurIPS专场四
浅谈自然语言处理中的泛化性
记得关注直播信息哦!
3月2日 19:30-20:30 青年科学家-21
浅谈关于循环神经网络的训练稳定性问题
伍斯特理工学院(Worcester Polytechnic Institute, WPI)电机与计算机工程系助理教授——张子明
往期精彩文章推荐
记得关注我们呀!每天都有新知识!
关于AI TIME
2019年,清华大学人工智能研究院院长张钹院士、唐杰教授和李涓子教授等人联合发起“AI TIME science debate”,希望用辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。
AI TIME是清华大学计算机系一群关注人工智能发展,并有思想情怀的青年学者创办的圈子。AI TIME旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索,加强思想碰撞,链接全球AI学者、行业专家与爱好者,打造成为全球AI交流与知识分享的聚集地。
我知道你
在看
哦
~
点击 阅读原文 查看回放!