Published April 1, 2022
| Version v1
Publication
Open
CORF3D contour maps with application to Holstein cattle recognition from RGB and thermal images
- 1. University of Groningen
- 2. University of Malta
Description
Livestock management involves the monitoring of farm animals by tracking certain physiological and phenotypical characteristics over time. In the dairy industry, for instance, cattle are typically equipped with RFID ear tags. The corresponding data (e.g. milk properties) can then be automatically assigned to the respective cow when they enter the milking station. In order to move towards a more scalable, affordable, and welfare-friendly approach, automatic non-invasive solutions are more desirable. Thus, a non-invasive approach is proposed in this paper for the automatic identification of individual Holstein cattle from the side view while exiting a milking station. It considers input images from a thermal-RGB camera. The thermal images are used to delineate the cow from the background. Subsequently, any occluding rods from the milking station are removed and inpainted with the fast marching algorithm. Then, it extracts the RGB map of the segmented cattle along with a novel CORF3D contour map. The latter contains three contour maps extracted by the Combination of Receptive Fields (CORF) model with different strengths of push–pull inhibition. This mechanism suppresses noise in the form of grain type texture. The effectiveness of the proposed approach is demonstrated by means of experiments using a 5-fold and a leave-one day-out cross-validation on a new data set of 3694 images of 383 cows collected from the Dairy Campus in Leeuwarden (the Netherlands) over 9 days. In particular, when combining RGB and CORF3D maps by late fusion, an average accuracy of 99.64%(±0.13) was obtained for the 5-fold cross validation and 99.71%(±0.31) for the leave-one day-out experiment. The two maps were combined by first learning two ConvNet classification models, one for each type of map. The feature vectors in the two FC layers obtained from training images were then concatenated and used to learn a linear SVM classification model. In principle, the proposed approach with the novel CORF3D contour maps is suitable for various image classification applications, especially where grain type texture is a confounding variable.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تتضمن إدارة الثروة الحيوانية مراقبة حيوانات المزرعة من خلال تتبع بعض الخصائص الفسيولوجية والظاهرية بمرور الوقت. في صناعة الألبان، على سبيل المثال، عادة ما تكون الماشية مجهزة بعلامات أذن RFID. يمكن بعد ذلك تعيين البيانات المقابلة (مثل خصائص الحليب) تلقائيًا للبقرة المعنية عند دخولها محطة الحلب. من أجل التحرك نحو نهج أكثر قابلية للتطوير وبأسعار معقولة وملائم للرعاية الاجتماعية، فإن الحلول التلقائية غير الجراحية مرغوبة أكثر. وبالتالي، يتم اقتراح نهج غير جراحي في هذه الورقة للتعرف التلقائي على ماشية هولشتاين الفردية من المنظر الجانبي أثناء الخروج من محطة الحلب. يأخذ في الاعتبار الصور المدخلة من كاميرا حرارية RGB. يتم استخدام الصور الحرارية لتحديد البقرة من الخلفية. بعد ذلك، تتم إزالة أي قضبان انسداد من محطة الحلب وطلاءها بخوارزمية السير السريع. ثم يستخرج خريطة RGB للماشية المجزأة جنبًا إلى جنب مع خريطة كفاف CORF3D جديدة. يحتوي الأخير على ثلاث خرائط كفاف مستخرجة من نموذج تركيبة الحقول المستقبلة (CORF) مع نقاط قوة مختلفة لتثبيط الدفع والجذب. تمنع هذه الآلية الضوضاء في شكل نسيج من نوع الحبيبات. يتم إثبات فعالية النهج المقترح عن طريق التجارب باستخدام التحقق المتبادل من 5 أضعاف وإجازة ليوم واحد على مجموعة بيانات جديدة من 3694 صورة لـ 383 بقرة تم جمعها من حرم الألبان في ليوفاردن (هولندا) على مدى 9 أيام. على وجه الخصوص، عند الجمع بين خرائط RGB و CORF3D عن طريق الاندماج المتأخر، تم الحصول على متوسط دقة 99.64 ٪(±0.13) للتحقق المتبادل 5 أضعاف و 99.71 ٪(±0.31) لتجربة المغادرة ليوم واحد. تم الجمع بين الخريطتين من خلال التعلم الأول لنموذجين لتصنيف ConvNet، واحد لكل نوع من الخرائط. ثم تم ربط متجهات الميزة في طبقتي FC التي تم الحصول عليها من صور التدريب واستخدامها لتعلم نموذج تصنيف SVM الخطي. من حيث المبدأ، فإن النهج المقترح مع خرائط كفاف CORF3D الجديدة مناسب لمختلف تطبيقات تصنيف الصور، خاصة عندما يكون نسيج نوع الحبيبات متغيرًا مربكًا.Translated Description (French)
La gestion du bétail implique le suivi des animaux d'élevage en suivant certaines caractéristiques physiologiques et phénotypiques au fil du temps. Dans l'industrie laitière, par exemple, les bovins sont généralement équipés d'étiquettes auriculaires RFID. Les données correspondantes (par exemple, les propriétés du lait) peuvent ensuite être automatiquement attribuées à la vache respective lorsqu'elle entre dans la station de traite. Afin d'évoluer vers une approche plus évolutive, abordable et respectueuse du bien-être, des solutions automatiques non invasives sont plus souhaitables. Ainsi, une approche non invasive est proposée dans cet article pour l'identification automatique des bovins Holstein individuels à partir de la vue de côté lors de la sortie d'une station de traite. Il prend en compte les images d'entrée d'une caméra thermique RVB. Les images thermiques sont utilisées pour délimiter la vache par rapport à l'arrière-plan. Par la suite, toutes les tiges d'occlusion du poste de traite sont retirées et peintes avec l'algorithme de marche rapide. Ensuite, il extrait la carte RVB du bétail segmenté ainsi qu'une nouvelle carte de contour CORF3D. Ce dernier contient trois cartes de contour extraites par le modèle de combinaison de champs récepteurs (CORF) avec différentes forces d'inhibition push–pull. Ce mécanisme supprime le bruit sous forme de texture de type grain. L'efficacité de l'approche proposée est démontrée au moyen d'expériences utilisant une validation croisée 5 fois et une fois par jour sur un nouvel ensemble de données de 3694 images de 383 vaches collectées sur le campus laitier de Leeuwarden (Pays-Bas) pendant 9 jours. En particulier, en combinant les cartes RVB et CORF3D par fusion tardive, une précision moyenne de 99,64 %(±0,13) a été obtenue pour la validation croisée 5 fois et de 99,71 %(±0,31) pour l'expérience Leave-One Day-Out. Les deux cartes ont été combinées en apprenant d'abord deux modèles de classification ConvNet, un pour chaque type de carte. Les vecteurs de caractéristiques dans les deux couches FC obtenus à partir des images d'entraînement ont ensuite été concaténés et utilisés pour apprendre un modèle de classification SVM linéaire. En principe, l'approche proposée avec les nouvelles cartes de contour CORF3D convient à diverses applications de classification d'images, en particulier lorsque la texture de type grain est une variable confusionnelle.Translated Description (Spanish)
La gestión ganadera implica el seguimiento de los animales de granja mediante el seguimiento de ciertas características fisiológicas y fenotípicas a lo largo del tiempo. En la industria láctea, por ejemplo, el ganado suele estar equipado con etiquetas de oreja RFID. Los datos correspondientes (por ejemplo, las propiedades de la leche) se pueden asignar automáticamente a la vaca respectiva cuando entran en la estación de ordeño. Con el fin de avanzar hacia un enfoque más escalable, asequible y amigable con el bienestar, las soluciones automáticas no invasivas son más deseables. Por lo tanto, en este documento se propone un enfoque no invasivo para la identificación automática del ganado Holstein individual desde la vista lateral al salir de una estación de ordeño. Considera las imágenes de entrada de una cámara RGB térmica. Las imágenes térmicas se utilizan para delinear la vaca desde el fondo. Posteriormente, las varillas de oclusión de la estación de ordeño se retiran y se pintan con el algoritmo de marcha rápida. Luego, extrae el mapa RGB del ganado segmentado junto con un novedoso mapa de contorno CORF3D. Este último contiene tres mapas de contorno extraídos por el modelo de Combinación de Campos Receptivos (CORF) con diferentes fortalezas de inhibición push–pull. Este mecanismo suprime el ruido en forma de textura de tipo grano. La efectividad del enfoque propuesto se demuestra mediante experimentos que utilizan una validación cruzada de 5 veces y un día de ausencia en un nuevo conjunto de datos de 3694 imágenes de 383 vacas recolectadas del Campus de Lácteos en Leeuwarden (Países Bajos) durante 9 días. En particular, al combinar mapas RGB y CORF3D por fusión tardía, se obtuvo una precisión promedio de 99.64%(±0.13) para la validación cruzada de 5 veces y 99.71%(±0.31) para el experimento de dejar un día fuera. Los dos mapas se combinaron aprendiendo primero dos modelos de clasificación ConvNet, uno para cada tipo de mapa. Los vectores de características en las dos capas FC obtenidas de las imágenes de entrenamiento se concatenaron y se utilizaron para aprender un modelo de clasificación SVM lineal. En principio, el enfoque propuesto con los nuevos mapas de contorno CORF3D es adecuado para diversas aplicaciones de clasificación de imágenes, especialmente cuando la textura del tipo de grano es una variable de confusión.Files
1_s2.0_S0957417421016511_main.pdf.pdf
Files
(5.0 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:d339db1cda7454a1c06921dca3e087b8
|
5.0 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- خرائط كفاف CORF3D مع تطبيق التعرف على ماشية هولشتاين من RGB والصور الحرارية
- Translated title (French)
- Cartes de contour CORF3D avec application à la reconnaissance des bovins Holstein à partir d'images RVB et thermiques
- Translated title (Spanish)
- Mapas de contorno CORF3D con aplicación al reconocimiento de ganado Holstein a partir de imágenes RGB y térmicas
Identifiers
- Other
- https://openalex.org/W4200393818
- DOI
- 10.1016/j.eswa.2021.116354
References
- https://openalex.org/W179463195
- https://openalex.org/W2012875423
- https://openalex.org/W2023430855
- https://openalex.org/W2033922886
- https://openalex.org/W2038450847
- https://openalex.org/W2045722683
- https://openalex.org/W2055781575
- https://openalex.org/W2103302826
- https://openalex.org/W2108598243
- https://openalex.org/W2132649652
- https://openalex.org/W2140136878
- https://openalex.org/W2151103935
- https://openalex.org/W2162151596
- https://openalex.org/W2169636726
- https://openalex.org/W2261633870
- https://openalex.org/W2281484990
- https://openalex.org/W2318391375
- https://openalex.org/W2393620086
- https://openalex.org/W2531409750
- https://openalex.org/W2555361934
- https://openalex.org/W2555371250
- https://openalex.org/W2559129759
- https://openalex.org/W2559264028
- https://openalex.org/W2566705668
- https://openalex.org/W2764259953
- https://openalex.org/W2766739066
- https://openalex.org/W2769210209
- https://openalex.org/W2790979755
- https://openalex.org/W2792603898
- https://openalex.org/W2890958486
- https://openalex.org/W2940610781
- https://openalex.org/W2950929782
- https://openalex.org/W2963150697
- https://openalex.org/W2963446712
- https://openalex.org/W2970073937
- https://openalex.org/W2973563900
- https://openalex.org/W2997035735
- https://openalex.org/W3010815318
- https://openalex.org/W4285719527
- https://openalex.org/W4297775537
- https://openalex.org/W4297816008