Published January 1, 2020
| Version v1
Publication
Open
Deep Tensor Capsule Network
- 1. Tianjin University of Technology
- 2. Ministry of Education of the People's Republic of China
Description
Capsule network is a promising model in computer vision. It has achieved excellent results on simple datasets such as MNIST, but the performance deteriorates as data becomes complicated. In order to address this issue, we propose a deep capsule network in this paper. To deepen the capsule network, we present a new tensor capsule based routing algorithm and the corresponding convolution operation. Compared to vector capsules, tensor capsules can capture more instance-level information. Together, the relevant convolution operation is beneficial for reducing the amount of parameters in the routing process. Furthermore, we propose a dropout mechanism for vectors and tensors in order to alleviate the potential overfitting problem. Finally, we also inject the multi-scale capsules of the middle layers into a multi-scale decoder to pursue more details of an image and more clear reconstructed image. Experimental results on CIFAR10, Fashion-MNIST, and SVHN demonstrate that the proposed deep tensor network can achieve very competitive performance compared to other state-of-the-art capsule networks.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
شبكة الكبسولات هي نموذج واعد في رؤية الكمبيوتر. لقد حققت نتائج ممتازة على مجموعات بيانات بسيطة مثل MNIST، لكن الأداء يتدهور مع تعقيد البيانات. من أجل معالجة هذه المشكلة، نقترح شبكة كبسولات عميقة في هذه الورقة. لتعميق شبكة الكبسولات، نقدم خوارزمية توجيه جديدة تعتمد على كبسولة الموتر وعملية الالتفاف المقابلة. بالمقارنة مع كبسولات المتجهات، يمكن لكبسولات الموتر التقاط المزيد من المعلومات على مستوى المثيل. معًا، تكون عملية الالتفاف ذات الصلة مفيدة لتقليل كمية المعلمات في عملية التوجيه. علاوة على ذلك، نقترح آلية للتسرب من النواقل والموترات من أجل التخفيف من مشكلة الإفراط المحتملة. أخيرًا، نقوم أيضًا بحقن الكبسولات متعددة المقاييس للطبقات الوسطى في وحدة فك ترميز متعددة المقاييس لمتابعة المزيد من تفاصيل الصورة وصورة أعيد بناؤها بشكل أكثر وضوحًا. تُظهر النتائج التجريبية على CIFAR10 و Fashion - MNIST و SVHN أن شبكة الموتر العميق المقترحة يمكن أن تحقق أداءً تنافسيًا للغاية مقارنة بشبكات الكبسولات الحديثة الأخرى.Translated Description (English)
Capsule network is a promising model in computer vision. It has achieved excellent results on simple datasets such as MNIST, but the performance deteriorates as data becomes complicated. In order to address this issue, we propose a deep capsule network in this paper. To deepen the capsule network, we present a new tensor capsule based routing algorithm and the corresponding convolution operation. Compared to vector capsules, tensor capsules can capture more instance-level information. Together, the relevant convolution operation is beneficial for reducing the amount of parameters in the routing process. Furthermore, we propose a dropout mechanism for vectors and tensors in order to alleviate the potential overfitting problem. Finally, we also inject the multi-scale capsules of the middle layers into a multi-scale decoder to pursue more details of an image and more clear reconstructed image. Experimental results on CIFAR10, Fashion-MNIST, and SVHN demonstrate that the proposed deep tensor network can achieve very competitive performance compared to other state-of-the-art capsule networks.Translated Description (French)
Le réseau de capsules est un modèle prometteur en vision par ordinateur. Il a obtenu d'excellents résultats sur des ensembles de données simples tels que le MNIST, mais les performances se détériorent à mesure que les données se compliquent. Afin de résoudre ce problème, nous proposons un réseau de capsules profondes dans cet article. Pour approfondir le réseau de capsules, nous présentons un nouvel algorithme de routage à base de capsules tensorielles et l'opération de convolution correspondante. Par rapport aux capsules vectorielles, les capsules tensorielles peuvent capturer plus d'informations au niveau de l'instance. Ensemble, l'opération de convolution pertinente est bénéfique pour réduire la quantité de paramètres dans le processus de routage. De plus, nous proposons un mécanisme d'abandon pour les vecteurs et les tenseurs afin d'atténuer le problème potentiel de sur-équipement. Enfin, nous injectons également les capsules multi-échelles des couches intermédiaires dans un décodeur multi-échelles pour poursuivre plus de détails d'une image et une image reconstruite plus claire. Les résultats expérimentaux sur CIFAR10, Fashion-MNIST et SVHN démontrent que le réseau de tenseurs profonds proposé peut atteindre des performances très compétitives par rapport à d'autres réseaux de capsules à la pointe de la technologie.Translated Description (Spanish)
La red de cápsulas es un modelo prometedor en visión artificial. Ha logrado excelentes resultados en conjuntos de datos simples como MNIST, pero el rendimiento se deteriora a medida que los datos se complican. Para abordar este problema, proponemos una red de cápsulas profundas en este documento. Para profundizar en la red de cápsulas, presentamos un nuevo algoritmo de enrutamiento basado en cápsulas tensoriales y la operación de convolución correspondiente. En comparación con las cápsulas vectoriales, las cápsulas tensoras pueden capturar más información a nivel de instancia. En conjunto, la operación de convolución relevante es beneficiosa para reducir la cantidad de parámetros en el proceso de enrutamiento. Además, proponemos un mecanismo de abandono para vectores y tensores con el fin de aliviar el posible problema de sobreajuste. Finalmente, también inyectamos las cápsulas multiescala de las capas intermedias en un decodificador multiescala para buscar más detalles de una imagen y una imagen reconstruida más clara. Los resultados experimentales en CIFAR10, Fashion-MNIST y SVHN demuestran que la red de tensores profundos propuesta puede lograr un rendimiento muy competitivo en comparación con otras redes de cápsulas de última generación.Files
09097902.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:bacab2ffb025825653bda57d1ec618bc
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- شبكة كبسولات الشد العميق
- Translated title (English)
- Deep Tensor Capsule Network
- Translated title (French)
- Deep Tensor Capsule Network
- Translated title (Spanish)
- Red de cápsulas tensoras profundas
Identifiers
- Other
- https://openalex.org/W3028488836
- DOI
- 10.1109/access.2020.2996282
References
- https://openalex.org/W2112796928
- https://openalex.org/W2194775991
- https://openalex.org/W2895526696
- https://openalex.org/W2911968856
- https://openalex.org/W2963260436
- https://openalex.org/W2963446712
- https://openalex.org/W2965481041
- https://openalex.org/W3098854735