Invariance and Same-Equivariance Measures for Convolutional Neural Networks
Description
Neural networks are currently the state-of-the-art for many tasks.Invariance and same-equivariance are two fundamental properties to characterize how a model reacts to transformation: equivariance is the generalization of both. Equivariance to transformations of the inputs can be necessary properties of the network for certain tasks. Data augmentation and specially designed layers provide a way for these properties to be learned by networks. However, the mechanisms by which networks encode them is not well understood.We propose several transformational measures to quantify the invariance and same-equivariance of individual activations of a network. Analysis of these results can yield insights into the encoding and distribution of invariance in all layers of a network. The measures are simple to understand and efficient to run, and have been implemented in an open-source library. We perform experiments to validate the measures and understand their properties, showing their stability and effectiveness. Afterwards, we use the measures to characterize common network architectures in terms of these properties, using affine transformations. Our results show, for example, that the distribution of invariance across the layers of a network has well a defined structure that is dependent only on the network design and not on the training process.
Translated Descriptions
Translated Description (Arabic)
الشبكات العصبية هي حاليًا أحدث ما توصلت إليه العديد من المهام. إن عدم التباين ونفس التباين هما خاصيتان أساسيتان لوصف كيفية تفاعل النموذج مع التحول: التباين هو تعميم كليهما. يمكن أن يكون التباين مع تحويلات المدخلات خصائص ضرورية للشبكة لمهام معينة. توفر زيادة البيانات والطبقات المصممة خصيصًا طريقة لتعلم هذه الخصائص عن طريق الشبكات. ومع ذلك، فإن الآليات التي تشفر بها الشبكات ليست مفهومة جيدًا. نقترح العديد من التدابير التحويلية لتحديد مقدار الثبات والتباين نفسه للتنشيط الفردي للشبكة. يمكن أن يؤدي تحليل هذه النتائج إلى رؤى حول ترميز وتوزيع الثبات في جميع طبقات الشبكة. هذه التدابير سهلة الفهم وفعالة للتشغيل، وقد تم تنفيذها في مكتبة مفتوحة المصدر. نقوم بإجراء تجارب للتحقق من صحة المقاييس وفهم خصائصها، مما يدل على ثباتها وفعاليتها. بعد ذلك، نستخدم المقاييس لتوصيف هياكل الشبكة المشتركة من حيث هذه الخصائص، باستخدام التحولات المترابطة. تظهر نتائجنا، على سبيل المثال، أن توزيع الثبات عبر طبقات الشبكة له هيكل محدد بشكل جيد يعتمد فقط على تصميم الشبكة وليس على عملية التدريب.Translated Description (French)
Les réseaux de neurones sont actuellement à la pointe de la technologie pour de nombreuses tâches. L'invariance et la même équivariance sont deux propriétés fondamentales pour caractériser la façon dont un modèle réagit à la transformation : l'équivariance est la généralisation des deux. L'équivariance aux transformations des entrées peut être des propriétés nécessaires du réseau pour certaines tâches. L'augmentation des données et les couches spécialement conçues fournissent un moyen pour que ces propriétés soient apprises par les réseaux. Cependant, les mécanismes par lesquels les réseaux les codent ne sont pas bien compris. Nous proposons plusieurs mesures transformationnelles pour quantifier l'invariance et la même équivariance des activations individuelles d'un réseau. L'analyse de ces résultats peut fournir des informations sur l'encodage et la distribution de l'invariance dans toutes les couches d'un réseau. Les mesures sont simples à comprendre et efficaces à exécuter, et ont été mises en œuvre dans une bibliothèque open source. Nous effectuons des expériences pour valider les mesures et comprendre leurs propriétés, en montrant leur stabilité et leur efficacité. Ensuite, nous utilisons les mesures pour caractériser les architectures de réseau communes en termes de ces propriétés, en utilisant des transformations affines. Nos résultats montrent, par exemple, que la répartition de l'invariance entre les couches d'un réseau a bien une structure définie qui ne dépend que de la conception du réseau et non du processus de formation.Translated Description (Spanish)
Las redes neuronales son actualmente el estado del arte para muchas tareas. La invariancia y la misma equivariancia son dos propiedades fundamentales para caracterizar cómo reacciona un modelo a la transformación: la equivariancia es la generalización de ambas. La equivalencia a las transformaciones de las entradas pueden ser propiedades necesarias de la red para ciertas tareas. El aumento de datos y las capas especialmente diseñadas proporcionan una forma de que estas propiedades sean aprendidas por las redes. Sin embargo, los mecanismos por los cuales las redes los codifican no se entienden bien. Proponemos varias medidas transformacionales para cuantificar la invariancia y la misma equivariancia de las activaciones individuales de una red. El análisis de estos resultados puede proporcionar información sobre la codificación y distribución de la invariancia en todas las capas de una red. Las medidas son fáciles de entender y eficientes de ejecutar, y se han implementado en una biblioteca de código abierto. Realizamos experimentos para validar las medidas y comprender sus propiedades, demostrando su estabilidad y eficacia. Posteriormente, utilizamos las medidas para caracterizar las arquitecturas de red comunes en términos de estas propiedades, utilizando transformaciones afines. Nuestros resultados muestran, por ejemplo, que la distribución de la invariancia entre las capas de una red tiene una estructura bien definida que depende solo del diseño de la red y no del proceso de capacitación.Files
398.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- مقاييس الثبات والتكافؤ نفسه للشبكات العصبية الالتفافية
- Translated title (French)
- Mesures d'invariance et de même equivariance pour les réseaux neuronaux convolutionnels
- Translated title (Spanish)
- Medidas de invariancia y equivalencia para redes neuronales convolucionales
Identifiers
- Other
- https://openalex.org/W3156686014
- DOI
- 10.19153/cleiej.24.1.8