Published November 13, 2023
| Version v1
Publication
Open
Using Wearable Devices and Speech Data for Personalized Machine Learning in Early Detection of Mental Disorders: Protocol for a Participatory Research Study
- 1. University of Alberta
- 2. Tecnológico de Monterrey
Description
Early identification of mental disorder symptoms is crucial for timely treatment and reduction of recurring symptoms and disabilities. A tool to help individuals recognize warning signs is important. We posit that such a tool would have to rely on longitudinal analysis of patterns and trends in the individual's daily activities and mood, which can now be captured through data from wearable activity trackers, speech recordings from mobile devices, and the individual's own description of their mental state. In this paper, we describe such a tool developed by our team to detect early signs of depression, anxiety, and stress.This study aims to examine three questions about the effectiveness of machine learning models constructed based on multimodal data from wearables, speech, and self-reports: (1) How does speech about issues of personal context differ from speech while reading a neutral text, what type of speech data are more helpful in detecting mental health indicators, and how is the quality of the machine learning models influenced by multilanguage data? (2) Does accuracy improve with longitudinal data collection and how, and what are the most important features? and (3) How do personalized machine learning models compare against population-level models?We collect longitudinal data to aid machine learning in accurately identifying patterns of mental disorder symptoms. We developed an app that collects voice, physiological, and activity data. Physiological and activity data are provided by a variety of off-the-shelf fitness trackers, that record steps, active minutes, duration of sleeping stages (rapid eye movement, deep, and light sleep), calories consumed, distance walked, heart rate, and speed. We also collect voice recordings of users reading specific texts and answering open-ended questions chosen randomly from a set of questions without repetition. Finally, the app collects users' answers to the Depression, Anxiety, and Stress Scale. The collected data from wearable devices and voice recordings will be used to train machine learning models to predict the levels of anxiety, stress, and depression in participants.The study is ongoing, and data collection will be completed by November 2023. We expect to recruit at least 50 participants attending 2 major universities (in Canada and Mexico) fluent in English or Spanish. The study will include participants aged between 18 and 35 years, with no communication disorders, acute neurological diseases, or history of brain damage. Data collection complied with ethical and privacy requirements.The study aims to advance personalized machine learning for mental health; generate a data set to predict Depression, Anxiety, and Stress Scale results; and deploy a framework for early detection of depression, anxiety, and stress. Our long-term goal is to develop a noninvasive and objective method for collecting mental health data and promptly detecting mental disorder symptoms.DERR1-10.2196/48210.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يعد التحديد المبكر لأعراض الاضطراب العقلي أمرًا بالغ الأهمية للعلاج في الوقت المناسب والحد من الأعراض والإعاقات المتكررة. من المهم وجود أداة لمساعدة الأفراد على التعرف على علامات التحذير. نفترض أن مثل هذه الأداة يجب أن تعتمد على التحليل الطولي للأنماط والاتجاهات في الأنشطة اليومية للفرد ومزاجه، والتي يمكن التقاطها الآن من خلال البيانات من أجهزة تتبع النشاط القابلة للارتداء، وتسجيلات الكلام من الأجهزة المحمولة، ووصف الفرد لحالته العقلية. في هذه الورقة، نصف مثل هذه الأداة التي طورها فريقنا للكشف عن العلامات المبكرة للاكتئاب والقلق والتوتر. تهدف هذه الدراسة إلى فحص ثلاثة أسئلة حول فعالية نماذج التعلم الآلي التي تم إنشاؤها بناءً على بيانات متعددة الوسائط من الأجهزة القابلة للارتداء والكلام والتقارير الذاتية: (1) كيف يختلف الكلام حول قضايا السياق الشخصي عن الكلام أثناء قراءة نص محايد، وما هو نوع بيانات الكلام الأكثر فائدة في الكشف عن مؤشرات الصحة العقلية، وكيف تتأثر جودة نماذج التعلم الآلي بالبيانات متعددة اللغات ؟ (2) هل تتحسن الدقة مع جمع البيانات الطولية وكيف، وما هي أهم الميزات ؟ و (3) كيف تقارن نماذج التعلم الآلي المخصصة بالنماذج على مستوى السكان ؟نجمع البيانات الطولية للمساعدة في التعلم الآلي في تحديد أنماط أعراض الاضطراب العقلي بدقة. لقد طورنا تطبيقًا يجمع البيانات الصوتية والفسيولوجية والنشاط. يتم توفير البيانات الفسيولوجية والنشاطية من خلال مجموعة متنوعة من أجهزة تتبع اللياقة البدنية الجاهزة، والتي تسجل الخطوات والدقائق النشطة ومدة مراحل النوم (حركة العين السريعة والنوم العميق والخفيف) والسعرات الحرارية المستهلكة والمسافة المقطوعة ومعدل ضربات القلب والسرعة. نجمع أيضًا التسجيلات الصوتية للمستخدمين الذين يقرؤون نصوصًا محددة ويجيبون على أسئلة مفتوحة تم اختيارها عشوائيًا من مجموعة من الأسئلة دون تكرار. أخيرًا، يجمع التطبيق إجابات المستخدمين على مقياس الاكتئاب والقلق والإجهاد. سيتم استخدام البيانات التي تم جمعها من الأجهزة القابلة للارتداء والتسجيلات الصوتية لتدريب نماذج التعلم الآلي للتنبؤ بمستويات القلق والتوتر والاكتئاب لدى المشاركين. الدراسة جارية، وسيتم الانتهاء من جمع البيانات بحلول نوفمبر 2023. نتوقع توظيف ما لا يقل عن 50 مشاركًا يحضرون جامعتين رئيسيتين (في كندا والمكسيك) يجيدون اللغة الإنجليزية أو الإسبانية. ستشمل الدراسة مشاركين تتراوح أعمارهم بين 18 و 35 عامًا، ولا يعانون من اضطرابات في التواصل أو أمراض عصبية حادة أو تاريخ من تلف الدماغ. تمتثل عملية جمع البيانات للمتطلبات الأخلاقية ومتطلبات الخصوصية. وتهدف الدراسة إلى تعزيز التعلم الآلي المخصص للصحة العقلية ؛ وإنشاء مجموعة بيانات للتنبؤ بنتائج مقياس الاكتئاب والقلق والإجهاد ؛ ونشر إطار عمل للكشف المبكر عن الاكتئاب والقلق والإجهاد. هدفنا على المدى الطويل هو تطوير طريقة غير جراحية وموضوعية لجمع بيانات الصحة العقلية والكشف الفوري عن الاضطراب العقلي symptoms.DERR1-10.2196/48210.Translated Description (French)
L'identification précoce des symptômes de troubles mentaux est cruciale pour un traitement rapide et la réduction des symptômes et des handicaps récurrents. Un outil pour aider les individus à reconnaître les signes avant-coureurs est important. Nous postulons qu'un tel outil devrait s'appuyer sur une analyse longitudinale des modèles et des tendances des activités quotidiennes et de l'humeur de l'individu, qui peuvent maintenant être capturés grâce aux données des trackers d'activité portables, aux enregistrements vocaux des appareils mobiles et à la propre description de l'état mental de l'individu. Dans cet article, nous décrivons un tel outil développé par notre équipe pour détecter les premiers signes de dépression, d'anxiété et de stress. Cette étude vise à examiner trois questions sur l'efficacité des modèles d'apprentissage automatique construits à partir de données multimodales provenant des dispositifs portables, de la parole et des auto-rapports : (1) En quoi la parole sur les problèmes de contexte personnel diffère-t-elle de la parole lors de la lecture d'un texte neutre, quel type de données vocales sont les plus utiles pour détecter les indicateurs de santé mentale et comment la qualité des modèles d'apprentissage automatique est-elle influencée par les données multilingues ? (2) La précision s'améliore-t-elle avec la collecte de données longitudinales et comment, et quelles sont les caractéristiques les plus importantes ? et (3) Comment les modèles d'apprentissage automatique personnalisés se comparent-ils aux modèles au niveau de la population ?Nous recueillons des données longitudinales pour aider l'apprentissage automatique à identifier avec précision les schémas de symptômes de troubles mentaux. Nous avons développé une application qui collecte des données vocales, physiologiques et d'activité. Les données physiologiques et d'activité sont fournies par une variété de trackers de fitness disponibles sur le marché, qui enregistrent les pas, les minutes actives, la durée des phases de sommeil (mouvement oculaire rapide, sommeil profond et léger), les calories consommées, la distance parcourue, la fréquence cardiaque et la vitesse. Nous collectons également des enregistrements vocaux d'utilisateurs lisant des textes spécifiques et répondant à des questions ouvertes choisies au hasard parmi un ensemble de questions sans répétition. Enfin, l'application recueille les réponses des utilisateurs à l'échelle de la dépression, de l'anxiété et du stress. Les données collectées à partir d'appareils portables et d'enregistrements vocaux seront utilisées pour former des modèles d'apprentissage automatique afin de prédire les niveaux d'anxiété, de stress et de dépression chez les participants. L'étude est en cours et la collecte de données sera terminée d'ici novembre 2023. Nous prévoyons de recruter au moins 50 participants fréquentant 2 grandes universités (au Canada et au Mexique) parlant couramment l'anglais ou l'espagnol. L'étude inclura des participants âgés de 18 à 35 ans, sans troubles de la communication, ni maladies neurologiques aiguës, ni antécédents de lésions cérébrales. La collecte de données est conforme aux exigences éthiques et de confidentialité. L'étude vise à faire progresser l'apprentissage automatique personnalisé pour la santé mentale ; générer un ensemble de données pour prédire les résultats de l'échelle de dépression, d'anxiété et de stress ; et déployer un cadre pour la détection précoce de la dépression, de l'anxiété et du stress. Notre objectif à long terme est de développer une méthode non invasive et objective pour collecter des données sur la santé mentale et détecter rapidement les troubles mentaux symptoms.DERR1-10.2196/48210.Translated Description (Spanish)
La identificación temprana de los síntomas de los trastornos mentales es crucial para el tratamiento oportuno y la reducción de los síntomas recurrentes y las discapacidades. Una herramienta para ayudar a las personas a reconocer las señales de advertencia es importante. Postulamos que dicha herramienta tendría que basarse en el análisis longitudinal de patrones y tendencias en las actividades diarias y el estado de ánimo del individuo, que ahora se pueden capturar a través de datos de rastreadores de actividad portátiles, grabaciones de voz de dispositivos móviles y la propia descripción del individuo de su estado mental. En este documento, describimos una herramienta desarrollada por nuestro equipo para detectar signos tempranos de depresión, ansiedad y estrés. Este estudio tiene como objetivo examinar tres preguntas sobre la efectividad de los modelos de aprendizaje automático construidos a partir de datos multimodales de dispositivos portátiles, habla y autoinformes: (1) ¿En qué se diferencia el habla sobre cuestiones de contexto personal del habla al leer un texto neutral, qué tipo de datos del habla son más útiles para detectar indicadores de salud mental y cómo influyen los datos multilingües en la calidad de los modelos de aprendizaje automático? (2) ¿Mejora la precisión con la recopilación de datos longitudinales y cómo, y cuáles son las características más importantes? y (3) ¿Cómo se comparan los modelos personalizados de aprendizaje automático con los modelos a nivel de población?Recopilamos datos longitudinales para ayudar al aprendizaje automático a identificar con precisión los patrones de los síntomas de los trastornos mentales. Desarrollamos una aplicación que recopila datos de voz, fisiológicos y de actividad. Los datos fisiológicos y de actividad son proporcionados por una variedad de rastreadores de actividad física disponibles en el mercado, que registran los pasos, los minutos activos, la duración de las etapas de sueño (movimiento ocular rápido, sueño profundo y ligero), las calorías consumidas, la distancia caminada, la frecuencia cardíaca y la velocidad. También recopilamos grabaciones de voz de usuarios que leen textos específicos y responden preguntas abiertas elegidas al azar de un conjunto de preguntas sin repetición. Finalmente, la aplicación recopila las respuestas de los usuarios a la Escala de depresión, ansiedad y estrés. Los datos recopilados de los dispositivos portátiles y las grabaciones de voz se utilizarán para entrenar modelos de aprendizaje automático para predecir los niveles de ansiedad, estrés y depresión en los participantes. El estudio está en curso y la recopilación de datos se completará en noviembre de 2023. Esperamos reclutar al menos 50 participantes que asistan a 2 universidades principales (en Canadá y México) con fluidez en inglés o español. El estudio incluirá participantes de entre 18 y 35 años, sin trastornos de comunicación, enfermedades neurológicas agudas o antecedentes de daño cerebral. La recopilación de datos cumplió con los requisitos éticos y de privacidad. El estudio tiene como objetivo avanzar en el aprendizaje automático personalizado para la salud mental; generar un conjunto de datos para predecir los resultados de la Escala de depresión, ansiedad y estrés; y desplegar un marco para la detección temprana de la depresión, la ansiedad y el estrés. Nuestro objetivo a largo plazo es desarrollar un método no invasivo y objetivo para recopilar datos de salud mental y detectar rápidamente el trastorno mental symptoms.DERR1-10.2196/48210.Files
PDF.pdf
Files
(121.6 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:1ba7e325ad04d5c0738c7b31f1461120
|
121.6 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- استخدام الأجهزة القابلة للارتداء وبيانات الكلام للتعلم الآلي المخصص في الكشف المبكر عن الاضطرابات العقلية: بروتوكول لدراسة بحثية تشاركية
- Translated title (French)
- Utilisation d'appareils portables et de données vocales pour l'apprentissage automatique personnalisé dans la détection précoce des troubles mentaux : protocole pour une étude de recherche participative
- Translated title (Spanish)
- Uso de dispositivos portátiles y datos del habla para el aprendizaje automático personalizado en la detección temprana de trastornos mentales: protocolo para un estudio de investigación participativa
Identifiers
- Other
- https://openalex.org/W4387023042
- DOI
- 10.2196/48210
References
- https://openalex.org/W1493568492
- https://openalex.org/W1501073070
- https://openalex.org/W2081568229
- https://openalex.org/W2093973716
- https://openalex.org/W2121382432
- https://openalex.org/W2141674457
- https://openalex.org/W2144279833
- https://openalex.org/W2164025253
- https://openalex.org/W2537211235
- https://openalex.org/W2560629614
- https://openalex.org/W2610135452
- https://openalex.org/W2763938783
- https://openalex.org/W2779582454
- https://openalex.org/W2803929909
- https://openalex.org/W2810177850
- https://openalex.org/W2910424258
- https://openalex.org/W2940625370
- https://openalex.org/W2946585360
- https://openalex.org/W2948250022
- https://openalex.org/W2951938323
- https://openalex.org/W2969575387
- https://openalex.org/W2998205609
- https://openalex.org/W3024785185
- https://openalex.org/W3043037611
- https://openalex.org/W3045366558
- https://openalex.org/W3088723136
- https://openalex.org/W3116998974
- https://openalex.org/W3136193413
- https://openalex.org/W3163763055
- https://openalex.org/W3214493799
- https://openalex.org/W4205373269
- https://openalex.org/W4212904355
- https://openalex.org/W4226264164
- https://openalex.org/W4230498762
- https://openalex.org/W4246527035
- https://openalex.org/W4296394006
- https://openalex.org/W4313133615