Published October 30, 2021 | Version v1
Publication Open

Accuracy of computer-aided chest X-ray screening in the Kenya National Tuberculosis Prevalence Survey

Creators

  • 1. African Institute for Development Policy
  • 2. Centre for Health Solutions
  • 3. Liverpool School of Tropical Medicine
  • 4. Kenya Medical Research Institute
  • 5. Imperial College London
  • 6. Malawi-Liverpool-Wellcome Trust Clinical Research Programme
  • 7. University of Liverpool
  • 8. Aintree University Hospitals NHS Foundation Trust
  • 9. Global Fund to Fight AIDS, Tuberculosis and Malaria
  • 10. Kenyatta National Hospital
  • 11. London School of Hygiene & Tropical Medicine

Description

Abstract Background Community-based screening for tuberculosis (TB) could improve detection but is resource intensive. We set out to evaluate the accuracy of computer-aided TB screening using digital chest X-ray (CXR) to determine if this approach met target product profiles (TPP) for community-based screening. Methods CXR images from participants in the 2016 Kenya National TB Prevalence Survey were evaluated using CAD4TBv6 (Delft Imaging), giving a probabilistic score for pulmonary TB ranging from 0 (low probability) to 99 (high probability). We constructed a Bayesian latent class model to estimate the accuracy of CAD4TBv6 screening compared to bacteriologically-confirmed TB across CAD4TBv6 threshold cut-offs, incorporating data on Clinical Officer CXR interpretation, participant demographics (age, sex, TB symptoms, previous TB history), and sputum results. We compared model-estimated sensitivity and specificity of CAD4TBv6 to optimum and minimum TPPs. Results Of 63,050 prevalence survey participants, 61,848 (98%) had analysable CXR images, and 8,966 (14.5%) underwent sputum bacteriological testing; 298 had bacteriologically-confirmed pulmonary TB. Median CAD4TBv6 scores for participants with bacteriologically-confirmed TB were significantly higher (72, IQR: 58-82.75) compared to participants with bacteriologically-negative sputum results (49, IQR: 44-57, p<0.0001). CAD4TBv6 met the optimum TPP; with the threshold set to achieve a mean sensitivity of 95% (optimum TPP), specificity was 83.3%, (95% credible interval [CrI]: 83.0%—83.7%, CAD4TBv6 threshold: 55). There was considerable variation in accuracy by participant characteristics, with older individuals and those with previous TB having lowest specificity. Conclusions CAD4TBv6 met the optimal TPP for TB community screening. To optimise screening accuracy and efficiency of confirmatory sputum testing, we recommend that an adaptive approach to threshold setting is adopted based on participant characteristics. Take home message CAD4TBv6 met the optimal WHO target product profile for a community TB screening tool. Specificity was lower in adults with previous TB and those aged 41 years or older; an adaptive approach to setting CAD thresholds will likely be required to optimize use.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

نبذة مختصرة يمكن أن يؤدي الفحص المجتمعي لمرض السل (TB) إلى تحسين الكشف ولكنه كثيف الموارد. شرعنا في تقييم دقة فحص السل بمساعدة الكمبيوتر باستخدام الأشعة السينية الرقمية للصدر (CXR) لتحديد ما إذا كان هذا النهج يلبي ملفات تعريف المنتجات المستهدفة (TPP) للفحص المجتمعي. تم تقييم طرق تصوير الصدر بالأشعة السينية من المشاركين في المسح الوطني لانتشار السل في كينيا لعام 2016 باستخدام CAD4TBv6 (تصوير دلفت)، مما يعطي درجة احتمالية لمرض السل الرئوي تتراوح من 0 (احتمال منخفض) إلى 99 (احتمال كبير). لقد أنشأنا نموذجًا لفئة Bayesian الكامنة لتقدير دقة فحص CAD4TBv6 مقارنة بالسل المؤكد من الناحية البكتريولوجية عبر حدود CAD4TBv6، مع دمج بيانات حول تفسير تصوير الصدر بالأشعة السينية للموظف السريري، والتركيبة السكانية للمشاركين (العمر والجنس وأعراض السل وتاريخ السل السابق)، ونتائج البلغم. قارنا حساسية وخصوصية CAD4TBv6 المقدرة بالنموذج مع نقاط النقاط التجارية المثلى والحد الأدنى. النتائج من 63،050 مشاركًا في مسح الانتشار، كان لدى 61،848 (98 ٪) صور تصوير الصدر بالأشعة السينية القابلة للتحليل، وخضع 8،966 (14.5 ٪) لاختبار البلغم البكتريولوجي ؛ 298 مصابًا بالسل الرئوي المؤكد من الناحية البكتريولوجية. كانت متوسط درجات CAD4TBv6 للمشاركين الذين يعانون من السل المؤكد من الناحية البكتيرية أعلى بكثير (72، IQR: 58-82.75) مقارنة بالمشاركين الذين لديهم نتائج بلغم سلبية من الناحية البكتيرية (49، IQR: 44-57، p<0.0001). حقق CAD4TBv6 برنامج النقاط التجارية الأمثل ؛ مع تعيين العتبة لتحقيق حساسية متوسطة بنسبة 95 ٪ (برنامج النقاط التجارية الأمثل)، كانت الخصوصية 83.3 ٪، (95 ٪ فاصل زمني موثوق به [CrI]: 83.0 ٪-83.7 ٪، عتبة CAD4TBv6: 55). كان هناك تباين كبير في الدقة من حيث خصائص المشاركين، حيث كان لدى الأفراد الأكبر سنًا وأولئك الذين يعانون من السل السابق أقل خصوصية. استوفت الاستنتاجات CAD4TBv6 برنامج النقاط التجارية الأمثل لفحص مجتمع السل. لتحسين دقة الفحص وكفاءة اختبار البلغم التأكيدي، نوصي باعتماد نهج تكيفي لتحديد العتبة بناءً على خصائص المشاركين. استوفى CAD4TBv6 الملف التعريفي الأمثل لمنتج منظمة الصحة العالمية المستهدف لأداة فحص السل المجتمعية. كانت الخصوصية أقل لدى البالغين المصابين بالسل السابق وأولئك الذين تبلغ أعمارهم 41 عامًا أو أكثر ؛ من المرجح أن تكون هناك حاجة إلى نهج تكيفي لتحديد عتبات CAD لتحسين الاستخدام.

Translated Description (French)

Résumé Contexte Le dépistage communautaire de la tuberculose (TB) pourrait améliorer la détection, mais nécessite beaucoup de ressources. Nous avons entrepris d'évaluer la précision du dépistage de la tuberculose assisté par ordinateur à l'aide de la radiographie thoracique numérique (CXR) pour déterminer si cette approche répondait aux profils de produits cibles (TPP) pour le dépistage communautaire. Méthodes Les images CXR des participants à l'Enquête nationale sur la prévalence de la tuberculose au Kenya de 2016 ont été évaluées à l'aide de CAD4TBv6 (imagerie de Delft), donnant un score probabiliste pour la tuberculose pulmonaire allant de 0 (faible probabilité) à 99 (probabilité élevée). Nous avons construit un modèle de classe latente bayésienne pour estimer la précision du dépistage de CAD4TBv6 par rapport à la tuberculose confirmée bactériologiquement à travers les seuils de CAD4TBv6, en intégrant des données sur l'interprétation du CXR par le clinicien, les données démographiques des participants (âge, sexe, symptômes de la tuberculose, antécédents de tuberculose) et les résultats des expectorations. Nous avons comparé la sensibilité et la spécificité estimées par le modèle de CAD4TBv6 aux TPP optimaux et minimaux. Résultats Sur 63 050 participants à l'enquête de prévalence, 61 848 (98 %) avaient des images CXR analysables et 8 966 (14,5 %) ont subi un test bactériologique des expectorations ; 298 avaient une tuberculose pulmonaire confirmée bactériologiquement. Les scores médians CAD4TBv6 pour les participants atteints de tuberculose confirmée bactériologiquement étaient significativement plus élevés (72, IQR : 58-82,75) par rapport aux participants avec des résultats d'expectoration bactériologiquement négatifs (49, IQR : 44-57, p<0,0001). CAD4TBv6 a atteint la TPP optimale ; avec le seuil fixé pour atteindre une sensibilité moyenne de 95 % (TPP optimale), la spécificité était de 83,3 % (intervalle crédible à 95 % [CrI] : 83,0 %-83,7 %, seuil CAD4TBv6: 55). Il y avait une variation considérable de la précision selon les caractéristiques des participants, les personnes âgées et celles atteintes de tuberculose antérieure ayant la spécificité la plus faible. Conclusions CAD4TBv6 a atteint le TPP optimal pour le dépistage communautaire de la tuberculose. Pour optimiser la précision et l'efficacité du dépistage des expectorations de confirmation, nous recommandons qu'une approche adaptative de la fixation des seuils soit adoptée en fonction des caractéristiques des participants. Message à retenir CAD4TBv6 a rencontré le profil de produit cible optimal de l'OMS pour un outil communautaire de dépistage de la tuberculose. La spécificité était plus faible chez les adultes atteints de tuberculose antérieure et ceux âgés de 41 ans ou plus ; une approche adaptative pour définir les seuils de DAO sera probablement nécessaire pour optimiser l'utilisation.

Translated Description (Spanish)

Resumen Antecedentes El cribado comunitario para la tuberculosis (TB) podría mejorar la detección, pero requiere muchos recursos. Nos propusimos evaluar la precisión de la detección de TB asistida por ordenador utilizando rayos X digitales de tórax (CXR) para determinar si este enfoque cumplía con los perfiles de productos objetivo (TPP) para la detección basada en la comunidad. Métodos Las imágenes de CXR de los participantes en la Encuesta Nacional de Prevalencia de Tuberculosis de Kenia de 2016 se evaluaron utilizando CAD4TBv6 (Delft Imaging), dando una puntuación probabilística para la tuberculosis pulmonar que oscila entre 0 (baja probabilidad) y 99 (alta probabilidad). Construimos un modelo de clase latente bayesiano para estimar la precisión del cribado de CAD4TBv6 en comparación con la TB confirmada bacteriológicamente a través de los umbrales de corte de CAD4TBv6, incorporando datos sobre la interpretación de la CXR del oficial clínico, los datos demográficos de los participantes (edad, sexo, síntomas de TB, antecedentes de TB) y los resultados del esputo. Comparamos la sensibilidad y especificidad estimadas por el modelo de CAD4TBv6 con los TPP óptimos y mínimos. Resultados De 63,050 participantes de la encuesta de prevalencia, 61,848 (98%) tenían imágenes de CXR analizables, y 8,966 (14.5%) se sometieron a pruebas bacteriológicas de esputo; 298 tenían TB pulmonar confirmada bacteriológicamente. La mediana de las puntuaciones CAD4TBv6 para los participantes con TB confirmada bacteriológicamente fue significativamente mayor (72, IQR: 58-82,75) en comparación con los participantes con resultados de esputo bacteriológicamente negativos (49, IQR: 44-57, p<0,0001). CAD4TBv6 cumplió con el TPP óptimo; con el umbral establecido para lograr una sensibilidad media del 95% (TPP óptimo), la especificidad fue del 83.3%, (intervalo creíble del 95% [CrI]: 83.0%—83.7%, umbral CAD4TBv6: 55). Hubo una variación considerable en la precisión según las características de los participantes, con individuos mayores y aquellos con TB previa que tenían la especificidad más baja. Conclusiones CAD4TBv6 cumplió con el TPP óptimo para el cribado comunitario de TB. Para optimizar la precisión del cribado y la eficiencia de las pruebas de confirmación de esputo, recomendamos que se adopte un enfoque adaptativo para establecer el umbral en función de las características de los participantes. Lleve a casa el mensaje de QUE CAD4TBv6 cumplió con el perfil óptimo de producto objetivo de la OMS para una herramienta comunitaria de detección de la tuberculosis. La especificidad fue menor en adultos con TB previa y en aquellos de 41 años o más; es probable que se requiera un enfoque adaptativo para establecer los umbrales de CAD para optimizar el uso.

Files

2021.10.21.21265321.full.pdf.pdf

Files (1.2 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:5cb0e4dd00fc77bcfac2e3b69a387d0d
1.2 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
دقة فحص الصدر بالأشعة السينية بمساعدة الكمبيوتر في المسح الوطني الكيني لانتشار السل
Translated title (French)
Exactitude du dépistage radiographique thoracique assisté par ordinateur dans l'enquête nationale sur la prévalence de la tuberculose au Kenya
Translated title (Spanish)
Exactitud de la radiografía de tórax asistida por ordenador en la Encuesta Nacional de Prevalencia de Tuberculosis de Kenia

Identifiers

Other
https://openalex.org/W3210037350
DOI
10.1101/2021.10.21.21265321

Is supplement to
https://openalex.org/W3121380072 (Other)
https://openalex.org/W2942793592 (Other)
https://openalex.org/W2886264956 (Other)
https://openalex.org/W2768231286 (Other)
https://openalex.org/W2602311653 (Other)
https://openalex.org/W2398856609 (Other)
https://openalex.org/W2360743014 (Other)
https://openalex.org/W2333615638 (Other)
https://openalex.org/W2058403539 (Other)
https://openalex.org/W1508220431 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Kenya

References

  • https://openalex.org/W1014541510
  • https://openalex.org/W1981125577
  • https://openalex.org/W2002782486
  • https://openalex.org/W2046297223
  • https://openalex.org/W2118179479
  • https://openalex.org/W2164703398
  • https://openalex.org/W2614291231
  • https://openalex.org/W2905598031
  • https://openalex.org/W2972112160
  • https://openalex.org/W2979246892
  • https://openalex.org/W2980965120
  • https://openalex.org/W3023297341
  • https://openalex.org/W3087646693
  • https://openalex.org/W3094350134
  • https://openalex.org/W3106437781
  • https://openalex.org/W3124113197
  • https://openalex.org/W3135682442
  • https://openalex.org/W3137757024
  • https://openalex.org/W3194687576
  • https://openalex.org/W3198626437