首頁 > 綜合 > 正文

CNN+LSTM--一種運動想象分類新模型

2023-02-20 17:06:02來源：騰訊云  

說到運動想象（motor imagenation, MI), 我們都很熟悉，它是指個體在心理上模擬給定動作時的動態(tài)狀態(tài)。如何通過運動想象的腦電信號來分類個體的心理意圖，一直是研究人員關(guān)注的重點，MI信號可以用于控制外部設(shè)備，如大腦控制的機器人、大腦控制的外骨骼、自動駕駛汽車等， 因此提高MI信號的分類準確性是極其有意義的。

腦電圖（EEG）的信噪比較低，因此如何從腦電圖信號中提取特征并正確分類是BCI技術(shù)最重要的部分。傳統(tǒng)上，通用空間模式（CSP）和支持向量機（SVM）用于對腦電圖信號進行分類，并實現(xiàn)良好的分類結(jié)果。隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（CNN）備受關(guān)注。到目前為止，已經(jīng)為BCI 范式提出了各種具有不同架構(gòu)的神經(jīng)網(wǎng)絡(luò)。


【資料圖】

本文通過將CNN和LSTM組合在一起，提出了一個新的功能融合深度學(xué)習(xí)框架。其次，該算法同時提取腦電圖信號的時間和空間特征，提高了精度， 第三，該網(wǎng)絡(luò)提取了中間層特征，以防止特征丟失。

數(shù)據(jù)集

本文的數(shù)據(jù)來自BCI Competition IV，“BCI 競賽IV”的目標是驗證腦機接口 (BCI) 的信號處理和分類方法。與過去的 BCI 競賽相比，解決了與實際 BCI 系統(tǒng)高度相關(guān)的新的挑戰(zhàn)性問題，例如（數(shù)據(jù)集鏈接已附上）：

?無試驗結(jié)構(gòu)的連續(xù)腦電圖分類（數(shù)據(jù)集 1）。

?受眼球運動偽影影響的 EEG 信號分類（數(shù)據(jù)?集 2）。

?MEG 手腕運動方向的分類（數(shù)據(jù)集 3）。

?ECoG 中需要細粒度空間分辨率的歧視（數(shù)據(jù)集 4）。

簡要介紹一下這四個數(shù)據(jù)集：

數(shù)據(jù)集 1： ?motor imagery, uncued classifier application?

由 柏林 BCI 組提供：Technische Universit?t Berlin（機器學(xué)習(xí)實驗室）和 Fraunhofer FIRST（智能數(shù)據(jù)分析組）（ Klaus-Robert Müller、 Benjamin Blankertz、Carmen Vidaurre , Guido Nolte ), and Campus Benjamin Franklin of the Charité - University Medicine Berlin, Department of the Charité, University Medicine Berlin, Department of the Neurology, Neurophysics Group (Gabriel Curio)EEG, motor imagery (2 classes of left hand, right hand, foot);評估數(shù)據(jù)是連續(xù)的腦電圖，其中還包含空閑狀態(tài)的時間段[64個EEG通道（0.05-200Hz），1000Hz采樣率，2個類別（+空閑狀態(tài)），7個科目]

數(shù)據(jù)集 2a： ?4 級運動圖像? 由 格拉茨科技大學(xué)知識發(fā)現(xiàn)研究所 （腦機接口實驗室 ，（Clemens Brunner、Robert Leeb、Gernot Müller-Putz、 Alois Schl?gl、 Gert Pfurtscheller ) 腦電圖，提示運動意象（左手、右手、腳、舌頭） [22 個腦電圖通道（0.5-100Hz；陷波濾波器），3 個EOG 通道，250Hz 采樣率，4 個類別，9 個科目]

數(shù)據(jù)集 2b: ?motor imagery?由 格拉茨科技大學(xué)知識發(fā)現(xiàn)研究所 （腦機接口實驗室 ，（Robert Leeb、Clemens Brunner、Gernot -Müller-Putz、 Alois Schl?gl、 Gert Pfurtscheller ) 腦電圖，提示運動意象（左手，右手） [3 個雙極腦電圖通道（0.5-100Hz；陷波濾波），3 個EOG 通道，250Hz 采樣率，2 類，9 名受試者]

數(shù)據(jù)集 3： 由 弗萊堡阿爾伯特路德維希大學(xué) 腦機接口計劃、弗萊堡伯恩斯坦計算神經(jīng)科學(xué)中心 和 圖賓根大學(xué)醫(yī)學(xué)心理學(xué)和行為神經(jīng)生物學(xué)研究所提供（ Stephan Waldert , Carsten Mehring , HubertPreissl , Christoph Braun )該數(shù)據(jù)集包含定向調(diào)制的低頻 MEG 活動，這些活動是在受試者在四個不同方向上進行手腕運動時記錄的。[10個MEG通道（過濾到0.5-100Hz），400Hz采樣率，4個班級，2個科目]

數(shù)據(jù)集 4： 《ECoG 中的手指運動》由 西雅圖華盛頓大學(xué)物理和醫(yī)學(xué)系( Kai J. Miller ) 和 紐約州衛(wèi)生部沃茲沃斯中心 ( Gerwin Schalk ) 提供 個人屈曲期間的 ECoG 數(shù)據(jù)五個手指；使用數(shù)據(jù)手套獲取的運動。 [48 - 64 ECoG 通道（0.15-200Hz），1000Hz 采樣率，5 個類別，3 個科目]

融合模型

卷積神經(jīng)網(wǎng)絡(luò)CNN已成為最受歡迎的基于深度學(xué)習(xí)的網(wǎng)絡(luò)作品，用于在幾個不同任務(wù)中學(xué)習(xí)功能。與傳統(tǒng)的機器學(xué)習(xí)算法不同，CNN不需要手動設(shè)計功能，它從原始數(shù)據(jù)中自動學(xué)習(xí)抽象特征進行分類，從而避免丟失有用信息。與通常有兩個獨立步驟（包括特征學(xué)習(xí)和分類）的經(jīng)典框架相比，CNN可以學(xué)習(xí)特征，并同時由多層神經(jīng)網(wǎng)絡(luò)進行分類。

LSTM通常用于處理時間序列的非線性特征。LSTM的主要特點是存在三個門：忘記門、存儲單元和輸出門，這極大地提高了LSTM處理時間信息的能力。

（ps: Conv1D 不代表卷積核只有一維,也不代表被卷積的特征只有一維，而是指卷積的方向是一維的；flatten可以理解為把數(shù)據(jù)扯成一條）

由上述的描述我們可知，CNN網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)可以分別提取空間和時間特征。因此，本文提出了一種同時提取時空特征的特征融合網(wǎng)絡(luò)方法。有兩種網(wǎng)絡(luò)結(jié)構(gòu)：并行結(jié)構(gòu)和串行結(jié)構(gòu)。與串行結(jié)構(gòu)相比，并行結(jié)構(gòu)同時處理原始數(shù)據(jù)，這可以有效地從原始數(shù)據(jù)中提取更多的形成，并提高MI腦電圖信號的分類精度。本文采取了并行結(jié)構(gòu)，基于腦電圖的時空特征，構(gòu)建了一個CNN-LSTM并行結(jié)構(gòu)模型，如上圖所示， CNN由一個輸入層、一個一維卷積層、一個可分離的卷積層和2個扁平層組成。LSTM由輸入層、LSTM層和扁平層組成。最后，這兩個部分被歸類為完全連接的層。除此之外，這個混合模型使用直系線性單元（ReLU）激活和批量歸一化（BN）來規(guī)范CNN中的激活函數(shù)。激活函數(shù)tanh用于LSTM。為了幫助規(guī)范模型，我們在每層中使用drop out（隨機丟掉一些神經(jīng)元），并將drop out設(shè)置為0.5，以幫助防止在小樣本量訓(xùn)練時過度擬合。

將實驗結(jié)果與其他論文進行比較，包括EEGNet算法[1]、Schirrmeister等人提出的ConvNet算法[2]、濾波器庫時空卷積網(wǎng)絡(luò)（FBSF-TSCNN）[3]、SRLDA算法[4]、CSP-LCD算法[5]、FBCSP-CNN-LSTM算法[6]，獲得如上結(jié)果?？梢钥闯?，本文的算法取得了最佳效果。此外，F(xiàn)FCL在所有九個受試者中的準確性一直優(yōu)于EEGNet。

結(jié)論

本文提出了一種基于CNN和LSTM網(wǎng)絡(luò)融合多級空間-時間特征的腦電圖分類算法。提取和融合了空間特征、時間特征和中間層特征。它克服了傳統(tǒng)機器學(xué)習(xí)算法的缺點，即無法人工調(diào)參。結(jié)果表明，與單個特征相比，融合特征具有更強的分離性和更高的分類精度。此外，即使在嘈雜的數(shù)據(jù)集上，融合特征的準確性也高于其他算法，這表明使用融合特征的算法可以提取更多信息進行分類，并且對不同主體具有很強的適應(yīng)性?？傊狙芯恐刑岢龅乃惴梢詮哪X電圖信號中提取具有更強分離性的時空信息，并通過集成中層特征來提高MI腦電圖信號的交流，這為腦電圖信號分類研究提供了新的想法。

參考文獻

[1] V.J. Lawhern, A.J. Solon, N.R. Waytowich, et al., EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces, J. Neural Eng. 15 (5) (2016), 056013.1-056013.17.

[2] R.T. Schirrmeister, L. Gemein, K. Eggensperger, et al., Deep learning with convolutional neural networks for decoding and visualization of EEG pathology, Hum. Brain Mapp. 38 (11) (2017) 5391–5420. [3] Chen J, Yu Z L, Gu Z, et al. Deep Temporal-Spatial Feature Learning for Motor Imagery-Based Brain–Computer Interfaces. in: IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society, 2020, PP(11). [4] Luis F. Nicolas-Alonso, Rebeca Corralejo, Javier Gomez-Pilar, Daniel Alvarez, Roberto Hornero, Adaptive stacked generalization for multiclass motor imagery- based brain computer interfaces, IEEE Trans. Neural Syst. Rehab. Eng. A Publication IEEE Eng. Med. Biol. Society 23 (4) (2015) 702–712. [5] Qingsong Ai, Anqi Chen, Kun Chen, Quan Liu, Tichao Zhou, Sijin Xin, Ze Ji, Feature extraction of four-class motor imagery EEG signals based on functional brain network, J. Neural Eng. 16 (2) (2019), 026032.1-026032.14. [6] Ruilong Zhang, Qun Zong, Liqian Dou, Xinyi Zhao, A novel hybrid deep learning scheme for four-class motor imagery classification, J. Neural Eng. 16 (6) (2019), 066004.1-066004.11.

僅用于學(xué)術(shù)分享，若侵權(quán)請留言，即時刪侵！

標簽： 編程算法 機器學(xué)習(xí) 深度學(xué)習(xí) 人工智能

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀