Published August 1, 2023
| Version v1
Publication
Open
Visual number sense for real-world scenes shared by deep neural networks and humans
Creators
- 1. Anhui University
- 2. Institute of Biophysics
- 3. Chinese Academy of Sciences
- 4. Center for Excellence in Brain Science and Intelligence Technology
- 5. University of Chinese Academy of Sciences
- 6. Ministry of Education of the People's Republic of China
Description
Recently, visual number sense has been identified from deep neural networks (DNNs). However, whether DNNs have the same capacity for real-world scenes, rather than the simple geometric figures that are often tested, is unclear. In this study, we explore the number perception of scenes using AlexNet and find that numerosity can be represented by the pattern of group activation of the category layer units. The global activation of these units increases with the number of objects in the scene, and the variations in their activation decrease accordingly. By decoding the numerosity from this pattern, we reveal that the embedding coefficient of a scene determines the likelihood of potential objects to contribute to numerical perception. This was demonstrated by the more optimized performance for pictures with relatively high embedding coefficients in both DNNs and humans. This study for the first time shows that a distinct feature in visual environments, revealed by DNNs, can modulate human perception, supported by a group-coding mechanism.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
في الآونة الأخيرة، تم تحديد استشعار الأرقام المرئية من الشبكات العصبية العميقة (DNNs). ومع ذلك، من غير الواضح ما إذا كانت شبكات أسماء النطاقات لديها نفس القدرة على مشاهد العالم الحقيقي، بدلاً من الأشكال الهندسية البسيطة التي يتم اختبارها في كثير من الأحيان. في هذه الدراسة، نستكشف إدراك العدد للمشاهد باستخدام AlexNet ونجد أن العد يمكن تمثيله بنمط تنشيط المجموعة لوحدات طبقة الفئة. ويزداد التنشيط العالمي لهذه الوحدات مع زيادة عدد الأشياء في المشهد، وتنخفض الاختلافات في تنشيطها وفقًا لذلك. من خلال فك تشفير العدد من هذا النمط، نكشف أن معامل التضمين للمشهد يحدد احتمالية مساهمة الأشياء المحتملة في الإدراك العددي. وقد تجلى ذلك من خلال الأداء الأمثل للصور ذات معاملات التضمين العالية نسبيًا في كل من DNNs والبشر. تُظهر هذه الدراسة لأول مرة أن السمة المميزة في البيئات المرئية، التي كشفت عنها DNNs، يمكن أن تعدل الإدراك البشري، مدعومًا بآلية ترميز المجموعة.Translated Description (French)
Récemment, la détection visuelle des nombres a été identifiée à partir des réseaux neuronaux profonds (DNN). Cependant, il n'est pas clair si les DNN ont la même capacité pour les scènes du monde réel, plutôt que les simples figures géométriques qui sont souvent testées. Dans cette étude, nous explorons la perception numérique des scènes à l'aide d'AlexNet et constatons que la numérosité peut être représentée par le modèle d'activation de groupe des unités de couche de catégorie. L'activation globale de ces unités augmente avec le nombre d'objets dans la scène, et les variations de leur activation diminuent en conséquence. En décodant la numérosité de ce motif, nous révélons que le coefficient d'intégration d'une scène détermine la probabilité que des objets potentiels contribuent à la perception numérique. Cela a été démontré par les performances plus optimisées pour les images avec des coefficients d'intégration relativement élevés chez les DNN et les humains. Cette étude montre pour la première fois qu'une caractéristique distincte des environnements visuels, révélée par les DNN, peut moduler la perception humaine, soutenue par un mécanisme de codage de groupe.Translated Description (Spanish)
Recientemente, se ha identificado el sentido numérico visual a partir de redes neuronales profundas (DNN). Sin embargo, no está claro si las DNN tienen la misma capacidad para escenas del mundo real, en lugar de las simples figuras geométricas que a menudo se prueban. En este estudio, exploramos la percepción numérica de las escenas utilizando AlexNet y encontramos que la numerosidad puede representarse mediante el patrón de activación grupal de las unidades de capa de categoría. La activación global de estas unidades aumenta con el número de objetos en la escena, y las variaciones en su activación disminuyen en consecuencia. Al decodificar la numerosidad de este patrón, revelamos que el coeficiente de incrustación de una escena determina la probabilidad de que los objetos potenciales contribuyan a la percepción numérica. Esto se demostró por el rendimiento más optimizado para imágenes con coeficientes de incrustación relativamente altos tanto en DNN como en humanos. Este estudio muestra por primera vez que una característica distintiva en entornos visuales, revelada por las DNN, puede modular la percepción humana, respaldada por un mecanismo de codificación de grupos.Files
pdf.pdf
Files
(16.1 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:02a4ff3faed3a4c7a59c55fef900e96b
|
16.1 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- الإحساس بالأرقام المرئية لمشاهد العالم الحقيقي التي تشاركها الشبكات العصبية العميقة والبشر
- Translated title (French)
- Sens visuel des nombres pour les scènes du monde réel partagées par les réseaux de neurones profonds et les humains
- Translated title (Spanish)
- Sentido numérico visual para escenas del mundo real compartidas por redes neuronales profundas y humanos
Identifiers
- Other
- https://openalex.org/W4385212319
- DOI
- 10.1016/j.heliyon.2023.e18517
References
- https://openalex.org/W1969803959
- https://openalex.org/W1986533012
- https://openalex.org/W1988175151
- https://openalex.org/W1996491993
- https://openalex.org/W2001274155
- https://openalex.org/W2014481741
- https://openalex.org/W2021443299
- https://openalex.org/W2030503833
- https://openalex.org/W2045063000
- https://openalex.org/W2047802071
- https://openalex.org/W2050236785
- https://openalex.org/W2050787555
- https://openalex.org/W2057307785
- https://openalex.org/W2064658612
- https://openalex.org/W2066647729
- https://openalex.org/W2076440842
- https://openalex.org/W2090042416
- https://openalex.org/W2092560695
- https://openalex.org/W2094764749
- https://openalex.org/W2098658055
- https://openalex.org/W2107188560
- https://openalex.org/W2108858705
- https://openalex.org/W2117155192
- https://openalex.org/W2119537639
- https://openalex.org/W2121174009
- https://openalex.org/W2121822954
- https://openalex.org/W2123304883
- https://openalex.org/W2123627635
- https://openalex.org/W2142733387
- https://openalex.org/W2143576607
- https://openalex.org/W2146347813
- https://openalex.org/W2146737585
- https://openalex.org/W2152913445
- https://openalex.org/W2160654481
- https://openalex.org/W2170328124
- https://openalex.org/W2274405424
- https://openalex.org/W2328322609
- https://openalex.org/W2334482223
- https://openalex.org/W2513488959
- https://openalex.org/W2518024568
- https://openalex.org/W2577940976
- https://openalex.org/W2586948806
- https://openalex.org/W2600810431
- https://openalex.org/W2606256519
- https://openalex.org/W2607241531
- https://openalex.org/W2618530766
- https://openalex.org/W2738724892
- https://openalex.org/W2745482427
- https://openalex.org/W2781750260
- https://openalex.org/W2781767592
- https://openalex.org/W2782172576
- https://openalex.org/W2789526456
- https://openalex.org/W2797507693
- https://openalex.org/W2892707838
- https://openalex.org/W2913606428
- https://openalex.org/W2944629072
- https://openalex.org/W2978368159
- https://openalex.org/W2990154821
- https://openalex.org/W3002029229
- https://openalex.org/W3009747840
- https://openalex.org/W3022625596
- https://openalex.org/W3031423845
- https://openalex.org/W3033019023
- https://openalex.org/W3065974826
- https://openalex.org/W3085842316
- https://openalex.org/W3108571598
- https://openalex.org/W3118848875
- https://openalex.org/W3130752418
- https://openalex.org/W3157541632
- https://openalex.org/W3161200315
- https://openalex.org/W3206898201
- https://openalex.org/W3214603381
- https://openalex.org/W4244139634
- https://openalex.org/W4256331673
- https://openalex.org/W4382020019