Published November 3, 2022
| Version v1
Publication
Open
A robust deep learning approach for tomato plant leaf disease localization and classification
Creators
- 1. University of Engineering and Technology Taxila
- 2. Riphah International University
- 3. Kongju National University
- 4. Edinburgh Napier University
Description
Abstract Tomato plants' disease detection and classification at the earliest stage can save the farmers from expensive crop sprays and can assist in increasing the food quantity. Although, extensive work has been presented by the researcher for the tomato plant disease classification, however, the timely localization and identification of various tomato leaf diseases is a complex job as a consequence of the huge similarity among the healthy and affected portion of plant leaves. Furthermore, the low contrast information between the background and foreground of the suspected sample has further complicated the plant leaf disease detection process. To deal with the aforementioned challenges, we have presented a robust deep learning (DL)-based approach namely ResNet-34-based Faster-RCNN for tomato plant leaf disease classification. The proposed method includes three basic steps. Firstly, we generate the annotations of the suspected images to specify the region of interest (RoI). In the next step, we have introduced ResNet-34 along with Convolutional Block Attention Module (CBAM) as a feature extractor module of Faster-RCNN to extract the deep key points. Finally, the calculated features are utilized for the Faster-RCNN model training to locate and categorize the numerous tomato plant leaf anomalies. We tested the presented work on an accessible standard database, the PlantVillage Kaggle dataset. More specifically, we have obtained the mAP and accuracy values of 0.981, and 99.97% respectively along with the test time of 0.23 s. Both qualitative and quantitative results confirm that the presented solution is robust to the detection of plant leaf disease and can replace the manual systems. Moreover, the proposed method shows a low-cost solution to tomato leaf disease classification which is robust to several image transformations like the variations in the size, color, and orientation of the leaf diseased portion. Furthermore, the framework can locate the affected plant leaves under the occurrence of blurring, noise, chrominance, and brightness variations. We have confirmed through the reported results that our approach is robust to several tomato leaf diseases classification under the varying image capturing conditions. In the future, we plan to extend our approach to apply it to other parts of plants as well.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يمكن للكشف عن أمراض نباتات الطماطم وتصنيفها في المرحلة المبكرة أن ينقذ المزارعين من بخاخات المحاصيل باهظة الثمن ويمكن أن يساعد في زيادة كمية الغذاء. على الرغم من أن الباحث قد قدم عملًا مكثفًا لتصنيف أمراض نبات الطماطم، إلا أن توطين وتحديد أمراض أوراق الطماطم المختلفة في الوقت المناسب هو مهمة معقدة نتيجة للتشابه الهائل بين الجزء الصحي والمتأثر من أوراق النبات. علاوة على ذلك، فإن معلومات التباين المنخفضة بين خلفية ومقدمة العينة المشتبه بها قد زادت من تعقيد عملية الكشف عن مرض أوراق النبات. للتعامل مع التحديات المذكورة أعلاه، قدمنا نهجًا قويًا قائمًا على التعلم العميق (DL) وهو ResNet -34 - based Faster - RCNN لتصنيف أمراض أوراق نبات الطماطم. تتضمن الطريقة المقترحة ثلاث خطوات أساسية. أولاً، نقوم بإنشاء التعليقات التوضيحية للصور المشتبه بها لتحديد منطقة الاهتمام (ROI). في الخطوة التالية، قدمنا ResNet -34 جنبًا إلى جنب مع Convolutional Block Attention Module (CBAM) كوحدة استخراج ميزات من Faster - RCNN لاستخراج النقاط الرئيسية العميقة. أخيرًا، يتم استخدام الميزات المحسوبة لتدريب نموذج Faster - RCNN لتحديد وتصنيف العديد من حالات الشذوذ في أوراق نبات الطماطم. اختبرنا العمل المقدم على قاعدة بيانات قياسية يمكن الوصول إليها، وهي مجموعة بيانات PlantVillage Kaggle. وبشكل أكثر تحديدًا، حصلنا على قيم MAP والدقة البالغة 0.981 و 99.97 ٪ على التوالي جنبًا إلى جنب مع وقت الاختبار البالغ 0.23 ثانية. تؤكد كل من النتائج النوعية والكمية أن الحل المقدم قوي للكشف عن مرض أوراق النبات ويمكن أن يحل محل الأنظمة اليدوية. علاوة على ذلك، تُظهر الطريقة المقترحة حلاً منخفض التكلفة لتصنيف أمراض أوراق الطماطم وهو قوي للعديد من تحولات الصور مثل الاختلافات في حجم ولون واتجاه الجزء المصاب من الورقة. علاوة على ذلك، يمكن للإطار تحديد موقع أوراق النبات المتأثرة في ظل حدوث اختلافات في الضبابية والضوضاء واللون والسطوع. لقد أكدنا من خلال النتائج المبلغ عنها أن نهجنا قوي لتصنيف العديد من أمراض أوراق الطماطم في ظل ظروف التقاط الصور المختلفة. في المستقبل، نخطط لتوسيع نهجنا لتطبيقه على أجزاء أخرى من النباتات أيضًا.Translated Description (French)
Résumé La détection et la classification des maladies des plants de tomate au stade le plus précoce peuvent sauver les agriculteurs des pulvérisations de cultures coûteuses et peuvent aider à augmenter la quantité de nourriture. Bien que des travaux approfondis aient été présentés par le chercheur pour la classification des maladies des plantes de tomate, la localisation et l'identification en temps opportun de diverses maladies des feuilles de tomate sont un travail complexe en raison de l'énorme similitude entre la partie saine et affectée des feuilles des plantes. En outre, les informations de faible contraste entre l'arrière-plan et le premier plan de l'échantillon suspect ont encore compliqué le processus de détection des maladies des feuilles des plantes. Pour faire face aux défis susmentionnés, nous avons présenté une approche robuste basée sur l'apprentissage en profondeur (DL), à savoir le Faster-RCNN basé sur ResNet-34 pour la classification des maladies des feuilles des plants de tomate. Le procédé proposé comprend trois étapes de base. Tout d'abord, nous générons les annotations des images suspectes pour spécifier la région d'intérêt (RoI). Dans l'étape suivante, nous avons introduit ResNet-34 avec Convolutional Block Attention Module (CBAM) en tant que module extracteur de fonctionnalités de Faster-RCNN pour extraire les points clés profonds. Enfin, les caractéristiques calculées sont utilisées pour la formation sur le modèle Faster-RCNN afin de localiser et de catégoriser les nombreuses anomalies des feuilles des plants de tomate. Nous avons testé le travail présenté sur une base de données standard accessible, l'ensemble de données PlantVillage Kaggle. Plus précisément, nous avons obtenu les valeurs de mAP et de précision de 0,981 et 99,97% respectivement ainsi que le temps de test de 0,23 s. Les résultats qualitatifs et quantitatifs confirment que la solution présentée est robuste à la détection des maladies des feuilles des plantes et peut remplacer les systèmes manuels. De plus, le procédé proposé montre une solution peu coûteuse à la classification des maladies des feuilles de tomate qui est robuste à plusieurs transformations d'image comme les variations de la taille, de la couleur et de l'orientation de la partie de la feuille malade. En outre, le cadre peut localiser les feuilles des plantes affectées en cas de flou, de bruit, de chrominance et de variations de luminosité. Nous avons confirmé par les résultats rapportés que notre approche est robuste à la classification de plusieurs maladies des feuilles de tomate dans les différentes conditions de capture d'image. À l'avenir, nous prévoyons d'étendre notre approche pour l'appliquer également à d'autres parties des plantes.Translated Description (Spanish)
Resumen La detección y clasificación de enfermedades de las plantas de tomate en la etapa más temprana puede salvar a los agricultores de las costosas fumigaciones de cultivos y puede ayudar a aumentar la cantidad de alimentos. Aunque el investigador ha presentado un extenso trabajo para la clasificación de enfermedades de las plantas de tomate, sin embargo, la localización e identificación oportunas de diversas enfermedades de las hojas de tomate es un trabajo complejo como consecuencia de la gran similitud entre la porción sana y afectada de las hojas de las plantas. Además, la información de bajo contraste entre el fondo y el primer plano de la muestra sospechosa ha complicado aún más el proceso de detección de la enfermedad de las hojas de las plantas. Para hacer frente a los desafíos mencionados anteriormente, hemos presentado un enfoque sólido basado en el aprendizaje profundo (DL), a saber, Faster-RCNN basado en ResNet-34 para la clasificación de enfermedades de las hojas de las plantas de tomate. El método propuesto incluye tres pasos básicos. En primer lugar, generamos las anotaciones de las imágenes sospechosas para especificar la región de interés (RoI). En el siguiente paso, hemos introducido ResNet-34 junto con el módulo de atención de bloque convolucional (CBAM) como un módulo extractor de características de Faster-RCNN para extraer los puntos clave profundos. Finalmente, las características calculadas se utilizan para el entrenamiento del modelo Faster-RCNN para localizar y categorizar las numerosas anomalías de la hoja de la planta de tomate. Probamos el trabajo presentado en una base de datos estándar accesible, el conjunto de datos PlantVillage Kaggle. Más específicamente, hemos obtenido los valores de mAP y precisión de 0.981 y 99.97% respectivamente junto con el tiempo de prueba de 0.23 s. Tanto los resultados cualitativos como los cuantitativos confirman que la solución presentada es robusta para la detección de enfermedades de las hojas de las plantas y puede reemplazar los sistemas manuales. Además, el método propuesto muestra una solución de bajo costo para la clasificación de la enfermedad de la hoja de tomate que es robusta para varias transformaciones de imagen como las variaciones en el tamaño, el color y la orientación de la porción enferma de la hoja. Además, el marco puede localizar las hojas de la planta afectada bajo la ocurrencia de borrosidad, ruido, crominancia y variaciones de brillo. Hemos confirmado a través de los resultados informados que nuestro enfoque es sólido para la clasificación de varias enfermedades de las hojas de tomate en las diferentes condiciones de captura de imágenes. En el futuro, planeamos extender nuestro enfoque para aplicarlo también a otras partes de las plantas.Files
s41598-022-21498-5.pdf.pdf
Files
(4.3 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:b4d0a52db54782e97c75bf733a78c559
|
4.3 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- نهج قوي للتعلم العميق لتوطين وتصنيف مرض أوراق نبات الطماطم
- Translated title (French)
- Une approche robuste d'apprentissage en profondeur pour la localisation et la classification des maladies des feuilles des plants de tomate
- Translated title (Spanish)
- Un enfoque sólido de aprendizaje profundo para la localización y clasificación de enfermedades de las hojas de tomate
Identifiers
- Other
- https://openalex.org/W4308485661
- DOI
- 10.1038/s41598-022-21498-5
References
- https://openalex.org/W1536680647
- https://openalex.org/W1976047850
- https://openalex.org/W1978331315
- https://openalex.org/W1995771589
- https://openalex.org/W2088049833
- https://openalex.org/W2097117768
- https://openalex.org/W2130416988
- https://openalex.org/W2162772680
- https://openalex.org/W2194775991
- https://openalex.org/W2511067925
- https://openalex.org/W2789255992
- https://openalex.org/W2884585870
- https://openalex.org/W2886330227
- https://openalex.org/W2901380936
- https://openalex.org/W2901609506
- https://openalex.org/W2904583950
- https://openalex.org/W2905348319
- https://openalex.org/W2907625092
- https://openalex.org/W2910470274
- https://openalex.org/W2915770592
- https://openalex.org/W2960854401
- https://openalex.org/W2963474687
- https://openalex.org/W2966160658
- https://openalex.org/W2979948002
- https://openalex.org/W2987984071
- https://openalex.org/W3002687128
- https://openalex.org/W3006450303
- https://openalex.org/W3010358965
- https://openalex.org/W3010621180
- https://openalex.org/W3013480166
- https://openalex.org/W3016330481
- https://openalex.org/W3016522735
- https://openalex.org/W3018328097
- https://openalex.org/W3035982802
- https://openalex.org/W3093950702
- https://openalex.org/W3097291122
- https://openalex.org/W3106250896
- https://openalex.org/W3134827261
- https://openalex.org/W3163885127
- https://openalex.org/W3180632644
- https://openalex.org/W3196646846
- https://openalex.org/W4210282496
- https://openalex.org/W4213102919
- https://openalex.org/W4214497686
- https://openalex.org/W4221038044
- https://openalex.org/W639708223