The classification of EEG-based winking signals: a transfer learning and random forest pipeline
Creators
- 1. Universiti Malaysia Pahang
- 2. Universiti Malaysia Terengganu
- 3. Universiti Teknologi MARA
Description
Brain Computer-Interface (BCI) technology plays a considerable role in the control of rehabilitation or peripheral devices for stroke patients. This is particularly due to their inability to control such devices from their inherent physical limitations after such an attack. More often than not, the control of such devices exploits electroencephalogram (EEG) signals. Nonetheless, it is worth noting that the extraction of the features and the classification of the signals is non-trivial for a successful BCI system. The use of Transfer Learning (TL) has been demonstrated to be a powerful tool in the extraction of essential features. However, the employment of such a method towards BCI applications, particularly in regard to EEG signals, are somewhat limited. The present study aims to evaluate the effectiveness of different TL models in extracting features for the classification of wink-based EEG signals. The extracted features are classified by means of fine-tuned Random Forest (RF) classifier. The raw EEG signals are transformed into a scalogram image via Continuous Wavelet Transform (CWT) before it was fed into the TL models, namely InceptionV3, Inception ResNetV2, Xception and MobileNet. The dataset was divided into training, validation, and test datasets, respectively, via a stratified ratio of 60:20:20. The hyperparameters of the RF models were optimised through the grid search approach, in which the five-fold cross-validation technique was adopted. The optimised RF classifier performance was compared with the conventional TL-based CNN classifier performance. It was demonstrated from the study that the best TL model identified is the Inception ResNetV2 along with an optimised RF pipeline, as it was able to yield a classification accuracy of 100% on both the training and validation dataset. Therefore, it could be established from the study that a comparable classification efficacy is attainable via the Inception ResNetV2 with an optimised RF pipeline. It is envisaged that the implementation of the proposed architecture to a BCI system would potentially facilitate post-stroke patients to lead a better life quality.
Translated Descriptions
Translated Description (Arabic)
تلعب تقنية واجهة كمبيوتر الدماغ (BCI) دورًا كبيرًا في التحكم في إعادة التأهيل أو الأجهزة الطرفية لمرضى السكتة الدماغية. ويرجع ذلك بشكل خاص إلى عدم قدرتهم على التحكم في مثل هذه الأجهزة من قيودهم المادية الكامنة بعد مثل هذا الهجوم. في أكثر الأحيان، يستغل التحكم في هذه الأجهزة إشارات مخطط كهربية الدماغ (EEG). ومع ذلك، تجدر الإشارة إلى أن استخراج الميزات وتصنيف الإشارات غير تافه لنظام BCI ناجح. لقد ثبت أن استخدام تعلم النقل (TL) أداة قوية في استخراج الميزات الأساسية. ومع ذلك، فإن استخدام مثل هذه الطريقة تجاه تطبيقات BCI، لا سيما فيما يتعلق بإشارات EEG، محدود إلى حد ما. تهدف هذه الدراسة إلى تقييم فعالية نماذج TL المختلفة في استخراج ميزات لتصنيف إشارات EEG القائمة على الغمزة. يتم تصنيف الميزات المستخرجة بواسطة مصنف الغابة العشوائية (RF) المضبوط بدقة. يتم تحويل إشارات EEG الأولية إلى صورة مقياس عبر تحويل الموجات المستمرة (CWT) قبل إدخالها في نماذج TL، وهي InceptionV3 و Inception ResNetV2 و Xception و MobileNet. تم تقسيم مجموعة البيانات إلى مجموعات بيانات للتدريب والتحقق والاختبار، على التوالي، من خلال نسبة طبقية تبلغ 60:20:20. تم تحسين المعلمات الفائقة لنماذج الترددات اللاسلكية من خلال نهج البحث في الشبكة، حيث تم اعتماد تقنية التحقق المتقاطع ذات الخمسة أضعاف. تمت مقارنة أداء مصنف التردد اللاسلكي المحسّن بأداء مصنف CNN التقليدي القائم على TL. وقد ثبت من الدراسة أن أفضل نموذج قائد فريق تم تحديده هو Inception ResNetV2 جنبًا إلى جنب مع خط أنابيب RF محسّن، حيث كان قادرًا على تحقيق دقة تصنيف بنسبة 100 ٪ في كل من مجموعة بيانات التدريب والتحقق. لذلك، يمكن إثبات من الدراسة أنه يمكن تحقيق فعالية تصنيف قابلة للمقارنة عبر Inception ResNetV2 مع خط أنابيب RF محسّن. من المتوقع أن يؤدي تنفيذ البنية المقترحة لنظام BCI إلى تسهيل مرضى ما بعد السكتة الدماغية ليعيشوا حياة أفضل.Translated Description (French)
La technologie Brain Computer-Interface (BCI) joue un rôle considérable dans le contrôle de la réadaptation ou des dispositifs périphériques pour les patients victimes d'AVC. Cela est dû en particulier à leur incapacité à contrôler ces appareils à partir de leurs limitations physiques inhérentes après une telle attaque. Le plus souvent, le contrôle de tels dispositifs exploite les signaux de l'électroencéphalogramme (EEG). Néanmoins, il convient de noter que l'extraction des caractéristiques et la classification des signaux ne sont pas triviales pour un système BCI réussi. L'utilisation de l'apprentissage par transfert (TL) s'est avérée être un outil puissant dans l'extraction des fonctionnalités essentielles. Cependant, l'utilisation d'une telle méthode pour les applications BCI, en particulier en ce qui concerne les signaux EEG, est quelque peu limitée. La présente étude vise à évaluer l'efficacité de différents modèles TL dans l'extraction de caractéristiques pour la classification des signaux EEG basés sur le clin d'œil. Les caractéristiques extraites sont classées au moyen d'un classificateur de forêt aléatoire (RF) affiné. Les signaux EEG bruts sont transformés en une image de scalogramme via une transformation en ondelettes continue (CWT) avant d'être introduits dans les modèles TL, à savoir InceptionV3, Inception ResNetV2, Xception et MobileNet. L'ensemble de données a été divisé en ensembles de données de formation, de validation et de test, respectivement, selon un rapport stratifié de 60:20:20. Les hyperparamètres des modèles RF ont été optimisés grâce à l'approche de recherche de grille, dans laquelle la technique de validation croisée quintuple a été adoptée. Les performances optimisées du classificateur RF ont été comparées aux performances conventionnelles du classificateur CNN basé sur TL. Il a été démontré à partir de l'étude que le meilleur modèle TL identifié est l'Inception ResNetV2 avec un pipeline RF optimisé, car il a pu donner une précision de classification de 100 % sur l'ensemble de données de formation et de validation. Par conséquent, il a pu être établi à partir de l'étude qu'une efficacité de classification comparable est réalisable via l'Inception ResNetV2 avec un pipeline RF optimisé. Il est envisagé que la mise en œuvre de l'architecture proposée à un système BCI permettrait potentiellement aux patients post-AVC de mener une meilleure qualité de vie.Translated Description (Spanish)
La tecnología Brain Computer-Interface (BCI) desempeña un papel considerable en el control de dispositivos de rehabilitación o periféricos para pacientes con accidente cerebrovascular. Esto se debe particularmente a su incapacidad para controlar dichos dispositivos a partir de sus limitaciones físicas inherentes después de un ataque de este tipo. La mayoría de las veces, el control de dichos dispositivos aprovecha las señales del electroencefalograma (EEG). Sin embargo, vale la pena señalar que la extracción de las características y la clasificación de las señales no es trivial para un sistema BCI exitoso. Se ha demostrado que el uso de Transfer Learning (TL) es una herramienta poderosa en la extracción de características esenciales. Sin embargo, el empleo de dicho método para las aplicaciones de BCI, particularmente con respecto a las señales de EEG, es algo limitado. El presente estudio tiene como objetivo evaluar la efectividad de diferentes modelos de TL en la extracción de características para la clasificación de señales de EEG basadas en guiño. Las características extraídas se clasifican mediante un clasificador de bosque aleatorio (RF) ajustado. Las señales de EEG sin procesar se transforman en una imagen de escalograma a través de la Transformada de Onda Continua (CWT) antes de que se introduzca en los modelos TL, a saber, InceptionV3, Inception ResNetV2, Xception y MobileNet. El conjunto de datos se dividió en conjuntos de datos de capacitación, validación y prueba, respectivamente, a través de una proporción estratificada de 60:20:20. Los hiperparámetros de los modelos de RF se optimizaron a través del enfoque de búsqueda en cuadrícula, en el que se adoptó la técnica de validación cruzada de cinco veces. El rendimiento optimizado del clasificador de RF se comparó con el rendimiento convencional del clasificador CNN basado en TL. Se demostró a partir del estudio que el mejor modelo de TL identificado es el Inception ResNetV2 junto con un pipeline de RF optimizado, ya que fue capaz de producir una precisión de clasificación del 100% tanto en el conjunto de datos de capacitación como en el de validación. Por lo tanto, se podría establecer a partir del estudio que se puede lograr una eficacia de clasificación comparable a través de Inception ResNetV2 con un pipeline de RF optimizado. Se prevé que la implementación de la arquitectura propuesta a un sistema BCI facilitaría potencialmente a los pacientes posteriores al accidente cerebrovascular llevar una mejor calidad de vida.Additional details
Additional titles
- Translated title (Arabic)
- تصنيف إشارات الغمزة القائمة على مخطط كهربية الدماغ: تعلم النقل وخط أنابيب الغابات العشوائي
- Translated title (French)
- La classification des signaux clignotants basés sur l'EEG : un pipeline d'apprentissage par transfert et de forêt aléatoire
- Translated title (Spanish)
- La clasificación de las señales de guiño basadas en EEG: un aprendizaje de transferencia y una cartera de bosques aleatorios
Identifiers
- Other
- https://openalex.org/W3144711596
- DOI
- 10.7717/peerj.11182
References
- https://openalex.org/W1982491333
- https://openalex.org/W2036341195
- https://openalex.org/W2046163365
- https://openalex.org/W2074177800
- https://openalex.org/W2084434617
- https://openalex.org/W2136656126
- https://openalex.org/W2145302786
- https://openalex.org/W2146978355
- https://openalex.org/W2170505850
- https://openalex.org/W2293069699
- https://openalex.org/W2294906517
- https://openalex.org/W2487347928
- https://openalex.org/W2750855271
- https://openalex.org/W2771546113
- https://openalex.org/W2901218039
- https://openalex.org/W2906104384
- https://openalex.org/W2927746189
- https://openalex.org/W2945968413
- https://openalex.org/W2966241529
- https://openalex.org/W2999693320
- https://openalex.org/W3000592047
- https://openalex.org/W3003725665
- https://openalex.org/W3009159459
- https://openalex.org/W3016244765
- https://openalex.org/W3032135501
- https://openalex.org/W3046051368
- https://openalex.org/W3141281013