Published October 18, 2021 | Version v1
Publication Open

Feasibility Study of an Automated Carbohydrate Estimation System Using Thai Food Images in Comparison With Estimation by Dietitians

Creators

  • 1. Ramathibodi Hospital
  • 2. Mahidol University

Description

Carbohydrate counting is essential for well-controlled blood glucose in people with type 1 diabetes, but to perform it precisely is challenging, especially for Thai foods. Consequently, we developed a deep learning-based system for automatic carbohydrate counting using Thai food images taken from smartphones. The newly constructed Thai food image dataset contained 256,178 ingredient objects with measured weight for 175 food categories among 75,232 images. These were used to train object detector and weight estimator algorithms. After training, the system had a Top-1 accuracy of 80.9% and a root mean square error (RMSE) for carbohydrate estimation of <10 g in the test dataset. Another set of 20 images, which contained 48 food items in total, was used to compare the accuracy of carbohydrate estimations between measured weight, system estimation, and eight experienced registered dietitians (RDs). System estimation error was 4%, while estimation errors from nearest, lowest, and highest carbohydrate among RDs were 0.7, 25.5, and 7.6%, respectively. The RMSE for carbohydrate estimations of the system and the lowest RD were 9.4 and 10.2, respectively. The system could perform with an estimation error of <10 g for 13/20 images, which placed it third behind only two of the best performing RDs: RD1 (15/20 images) and RD5 (14/20 images). Hence, the system was satisfactory in terms of accurately estimating carbohydrate content, with results being comparable with those of experienced dietitians.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

يعد حساب الكربوهيدرات ضروريًا للتحكم الجيد في نسبة الجلوكوز في الدم لدى الأشخاص المصابين بداء السكري من النوع الأول، ولكن إجراء ذلك بدقة يمثل تحديًا، خاصة بالنسبة للأطعمة التايلاندية. وبالتالي، قمنا بتطوير نظام قائم على التعلم العميق لحساب الكربوهيدرات التلقائي باستخدام صور الطعام التايلاندي المأخوذة من الهواتف الذكية. تحتوي مجموعة بيانات صور الطعام التايلاندي التي تم إنشاؤها حديثًا على 256,178 عنصرًا بوزن مقاس لـ 175 فئة غذائية من بين 75,232 صورة. تم استخدام هذه لتدريب خوارزميات كاشف الأجسام وخوارزميات تقدير الوزن. بعد التدريب، كان للنظام دقة من الدرجة الأولى بنسبة 80.9 ٪ وخطأ متوسط الجذر التربيعي (RMSE) لتقدير الكربوهيدرات بمقدار <10 جم في مجموعة بيانات الاختبار. تم استخدام مجموعة أخرى من 20 صورة، تحتوي على 48 عنصرًا غذائيًا في المجموع، لمقارنة دقة تقديرات الكربوهيدرات بين الوزن المقاس وتقدير النظام وثمانية من أخصائيي التغذية المسجلين ذوي الخبرة (RDs). كان خطأ تقدير النظام 4 ٪، في حين أن أخطاء التقدير من أقرب وأدنى وأعلى الكربوهيدرات بين RDs كانت 0.7 و 25.5 و 7.6 ٪ على التوالي. كان RMSE لتقديرات الكربوهيدرات للنظام وأدنى RD 9.4 و 10.2 على التوالي. يمكن أن يعمل النظام بخطأ تقديري قدره < 10 جم لصور 13/20، مما يضعه في المرتبة الثالثة خلف اثنين فقط من أفضل RDs أداءً: RD1 (15/20 صورة) و RD5 (14/20 صورة). وبالتالي، كان النظام مرضيًا من حيث التقدير الدقيق لمحتوى الكربوهيدرات، وكانت النتائج قابلة للمقارنة مع نتائج أخصائيي التغذية ذوي الخبرة.

Translated Description (French)

Le comptage des glucides est essentiel pour une glycémie bien contrôlée chez les personnes atteintes de diabète de type 1, mais l'effectuer avec précision est difficile, en particulier pour les aliments thaïlandais. Par conséquent, nous avons développé un système basé sur l'apprentissage en profondeur pour le comptage automatique des glucides à l'aide d'images de nourriture thaïlandaise prises à partir de smartphones. L'ensemble de données d'images d'aliments thaïlandais nouvellement construit contenait 256 178 objets d'ingrédients avec un poids mesuré pour 175 catégories d'aliments parmi 75 232 images. Ceux-ci ont été utilisés pour former des algorithmes de détection d'objets et d'estimation de poids. Après l'entraînement, le système avait une précision Top-1 de 80,9% et une erreur quadratique moyenne (RMSE) pour l'estimation des glucides de < 10 g dans l'ensemble de données de test. Un autre ensemble de 20 images, contenant 48 aliments au total, a été utilisé pour comparer la précision des estimations des glucides entre le poids mesuré, l'estimation du système et huit diététistes expérimentés. L'erreur d'estimation du système était de 4 %, tandis que les erreurs d'estimation des glucides les plus proches, les plus faibles et les plus élevés parmi les DR étaient de 0,7, 25,5 et 7,6 %, respectivement. Le RMSE pour les estimations des glucides du système et le RD le plus bas étaient de 9,4 et 10,2, respectivement. Le système pouvait fonctionner avec une erreur d'estimation de <10 g pour 13/20 images, ce qui le plaçait en troisième position derrière seulement deux des RD les plus performants : RD1 (15/20 images) et RD5 (14/20 images). Par conséquent, le système était satisfaisant en termes d'estimation précise de la teneur en glucides, les résultats étant comparables à ceux des diététistes expérimentés.

Translated Description (Spanish)

El recuento de carbohidratos es esencial para controlar bien la glucosa en sangre en personas con diabetes tipo 1, pero realizarlo con precisión es un desafío, especialmente para los alimentos tailandeses. En consecuencia, desarrollamos un sistema basado en el aprendizaje profundo para el conteo automático de carbohidratos utilizando imágenes de comida tailandesa tomadas desde teléfonos inteligentes. El conjunto de datos de imágenes de alimentos tailandeses recién construido contenía 256,178 objetos de ingredientes con peso medido para 175 categorías de alimentos entre 75,232 imágenes. Estos se utilizaron para entrenar algoritmos de detector de objetos y estimador de peso. Después del entrenamiento, el sistema tuvo una precisión Top-1 del 80.9% y un error cuadrático medio (RMSE) para la estimación de carbohidratos de < 10 g en el conjunto de datos de la prueba. Otro conjunto de 20 imágenes, que contenía 48 alimentos en total, se utilizó para comparar la precisión de las estimaciones de carbohidratos entre el peso medido, la estimación del sistema y ocho dietistas registrados (RD) con experiencia. El error de estimación del sistema fue del 4%, mientras que los errores de estimación de los carbohidratos más cercanos, más bajos y más altos entre los RD fueron del 0,7, 25,5 y 7,6%, respectivamente. El RMSE para las estimaciones de carbohidratos del sistema y el RD más bajo fueron 9.4 y 10.2, respectivamente. El sistema podría funcionar con un error de estimación de <10 g para 13/20 imágenes, lo que lo colocó en tercer lugar detrás de solo dos de los RD de mejor rendimiento: RD1 (15/20 imágenes) y RD5 (14/20 imágenes). Por lo tanto, el sistema fue satisfactorio en términos de estimar con precisión el contenido de carbohidratos, y los resultados fueron comparables con los de los dietistas experimentados.

Files

pdf.pdf

Files (2.6 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:16c8d537fffd9d25e686179fe3d71531
2.6 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
دراسة جدوى لنظام تقدير الكربوهيدرات الآلي باستخدام صور الطعام التايلاندي في مقارنة مع التقدير من قبل أخصائيي التغذية
Translated title (French)
Étude de faisabilité d'un système automatisé d'estimation des glucides utilisant des images d'aliments thaïlandais en comparaison avec une estimation par des diététistes
Translated title (Spanish)
Estudio de viabilidad de un sistema automatizado de estimación de carbohidratos utilizando imágenes de alimentos tailandeses en comparación con la estimación realizada por dietistas

Identifiers

Other
https://openalex.org/W3205612861
DOI
10.3389/fnut.2021.732449

Is supplement to
https://openalex.org/W3125536267 (Other)
https://openalex.org/W307052852 (Other)
https://openalex.org/W2990619376 (Other)
https://openalex.org/W2793142406 (Other)
https://openalex.org/W2521753262 (Other)
https://openalex.org/W2328383653 (Other)
https://openalex.org/W2274645452 (Other)
https://openalex.org/W2078423446 (Other)
https://openalex.org/W1999706086 (Other)
https://openalex.org/W174635392 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Thailand

References

  • https://openalex.org/W1861492603
  • https://openalex.org/W1964856489
  • https://openalex.org/W1995595536
  • https://openalex.org/W2007121115
  • https://openalex.org/W2031489346
  • https://openalex.org/W2045954714
  • https://openalex.org/W2061310674
  • https://openalex.org/W2087082746
  • https://openalex.org/W2097545896
  • https://openalex.org/W2108598243
  • https://openalex.org/W2109257383
  • https://openalex.org/W2135598475
  • https://openalex.org/W2153577027
  • https://openalex.org/W2158520883
  • https://openalex.org/W2198249092
  • https://openalex.org/W2206370378
  • https://openalex.org/W2484296391
  • https://openalex.org/W2526198870
  • https://openalex.org/W2557344085
  • https://openalex.org/W2765381040
  • https://openalex.org/W2765652171
  • https://openalex.org/W2805387930
  • https://openalex.org/W2808487880
  • https://openalex.org/W2884001061
  • https://openalex.org/W2904404849
  • https://openalex.org/W2921818763
  • https://openalex.org/W2940734140
  • https://openalex.org/W2972530371
  • https://openalex.org/W3018264641
  • https://openalex.org/W3097655478
  • https://openalex.org/W4250740255