DeepSense:
原理
不同活动的身体运动会干扰信号传播从而导致CSI(信道信息状态)的高度变化,因此通过分析CSI的测量数据可以高度准确地识别人类活动。
挑战
- 现有的基于CSI的活动识别系统所采用的的机器学习框架人需要繁琐的提取特征的工程
- 传统分类方法(如决策树和SVM)提取的特征不具有信息性,忽略了与人类活动相关的CSI序列之间的固有时间依赖性【20】(作者认为CSI是时间序列的数据,因此CSI的时间依赖性是识别活动的重要特征)
系统设计
硬件设备
开发了一个物联网平台,在商用物联网设备(如WiFi路由器)中嵌入OpenWrt(Linux操作系统),可以直接从物联网设备报告CSI读数。
提供每个子载波信号频谱的采样:CSI为
基于OpenWrt的物联网平台,收集商用物联网设备的CSI测量结果,并将其转换为CSI帧。
运行在5GHz,每个Tx-Rx对之间传播114个子载波,带宽40MHz。
将CSI时间序列数据变换为CSI帧,CSI序列除以小滑动窗口Δt,每帧包括n×m个CSI幅度像素,n是连续样本数量,m是子载波数量。
深度学习框架


自动编码器长期循环卷积网络(AE-LRCN):自动编码器→CNN→长短期记忆(LSTM)
- 自动编码器【23】:去除每个CSI帧中的固有噪声并构造其稀疏表示。编码过程——将原始CSI数据转换为具有三个隐藏层的隐藏特征。解码过程——将隐藏特征重建为三个隐藏层的CSI数据。其中隐藏特征的数量被配置为少于总子载波的数量,降低计算复杂度。
- CNN:提取最具辨别力的局部特征。卷积层+最大池化+卷积层+最大池化
- LSTM【25】:提取固有的时间依赖性并将其考虑在内以实现准确且一致的活动识别。LSTM结构避免了传统RNN的梯度消失和梯度爆炸的问题。
- 两个完全连接层+Softmax分类
[23] P. Vincent, H. Larochelle, I. Lajoie, Y. Bengio, and P.-A. Manzagol, “Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion,” Journal of Machine Learning Research, vol. 11, no. Dec, pp. 3371–3408, 2010.
[25] S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural computation, vol. 9, no. 8, pp. 1735–1780, 1997.
Multiple Kernel Representation Learning(2017)
提出来一种新颖的表示学习框架:多内核表示学习(MKRL)

结合CSI测量数据的时间、频率、小波和形状提取出Hilbert空间表示学习,实现信息融合优化。
Unsupervised Adversarial Domain Adaptation
使用传统机器学习技术的手势识别系统无法自适应地更新分类器,性能容易受到时间和环境的动态影响,因此收到【18】的启发,提出了基于对抗域自适应的手势识别系统WiADG。
输入数据:跨天线对的CSI相位差。将时间序列CSI相位差分成Δt大小的窗口,每个窗口形成一个CSI帧,包含n*m个CSI像素,其中n是连续样本的数量,m表示CSI相位差读数的数量。


源域的训练:在原始环境(源域)中收集带有手势标签Ys的CSI帧Xs,使用源编码器Ms从源数据中提取判别特征并将其映射到特征空间,然后使用源分类器Cs进行手势分类。网络结构设计如图3. 目标函数如侠:
无监督对抗的域自适应:收集未标记的目标数据Xt,目标是最小化源和目标映射分布Ms(Xs)和Mt(Xt)之间的距离,使得源手势分类器Cs可以直接应用于识别新环境中的各种手势而无需学习单独的目标分类器Ct。此时鉴别器的D的标签是域标签(是源还是目标),有三个FC构成1024-2048-2(二进制标签)。鉴别其的损失:

GAN的损失再被用去训练Mt:![]()
实施阶段:CSI数据→目标编码器Mt+源分类器Cs
整体方案通过无监督的对抗域适应训练目标编码器,避免了构建新的分类器(构建新的分类器需要收集新的标签并训练新的法分类器)

[18] E. Tzeng, J. Hoffman, K. Saenko, and T. Darrell, “Adversarial discriminative domain adaptation,” arXiv preprint arXiv:1702.05464, 2017.
简单的无设备手势识别
硬件:基于OpenWrt的物联网平台。两个TP-Lingk路由器,一个座位Tx一个作为Rx(路由里面有三个天线,一根天线发送数据,三根天线接收数据)

输入数据:3个接收器的CSI幅度和两对CSI相位差。200*570
只在会议室环境下进行手势识别,对时间变化有一定的鲁棒性。