Published January 1, 2020
| Version v1
Publication
Open
Local Sigmoid Method: Non-Iterative Deterministic Learning Algorithm for Automatic Model Construction of Neural Network
- 1. King Mongkut's Institute of Technology Ladkrabang
- 2. Hokkaido University
Description
A non-iterative learning algorithm for artificial neural networks is an alternative to optimize the neural network parameters with extremely fast convergence time. Extreme learning machine (ELM) is one of the fastest learning algorithms based on a non-iterative method for a single hidden layer feedforward neural network (SLFN) model. ELM uses a randomization technique that requires a large number of hidden nodes to achieve the high accuracy. This leads to a large and complex model, which is slow at the inference time. Previously, we reported analytical incremental learning (AIL) algorithm, which is a compact model and a non-iterative deterministic learning algorithm, to be used as an alternative. However, AIL cannot grow its set of hidden nodes, due to the node saturation problem. Here, we describe a local sigmoid method (LSM) that is also a sufficiently compact model and a non-iterative deterministic learning algorithm to overcome both the ELM randomization and AIL node saturation problems. The LSM algorithm is based on "divide and conquer" method that divides the dataset into several subsets which are easier to optimize separately. Each subset can be associated with a local segment represented as a hidden node that preserves local information of the subset. This technique helps us to understand the function of each hidden node of the network built. Moreover, we can use such a technique to explain the function of hidden nodes learned by backpropagation, the iterative algorithm. Based on our experimental results, LSM is more accurate than other non-iterative learning algorithms and one of the most compact models.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تعد خوارزمية التعلم غير التعلمية للشبكات العصبية الاصطناعية بديلاً لتحسين معلمات الشبكة العصبية مع وقت تقارب سريع للغاية. آلة التعلم المتطرفة (ELM) هي واحدة من أسرع خوارزميات التعلم القائمة على طريقة غير أصلية لنموذج الشبكة العصبية ذات الطبقة المخفية الواحدة (SLFN). تستخدم عِلم تقنية التوزيع العشوائي التي تتطلب عددًا كبيرًا من العقد المخفية لتحقيق الدقة العالية. وهذا يؤدي إلى نموذج كبير ومعقد، وهو بطيء في وقت الاستدلال. في السابق، أبلغنا عن خوارزمية التعلم التزايدي التحليلي (AIL)، وهي نموذج مدمج وخوارزمية تعلم حتمية غير أدبية، لاستخدامها كبديل. ومع ذلك، لا يمكن أن تنمو مجموعة العقد المخفية، بسبب مشكلة تشبع العقدة. هنا، نصف طريقة سينية محلية (LSM) وهي أيضًا نموذج مضغوط بما فيه الكفاية وخوارزمية تعلم حتمية غير أدبية للتغلب على كل من التوزيع العشوائي لـ ELM ومشاكل تشبع العقدة. تعتمد خوارزمية LSM على طريقة "فرق تسد" التي تقسم مجموعة البيانات إلى عدة مجموعات فرعية يسهل تحسينها بشكل منفصل. يمكن ربط كل مجموعة فرعية بجزء محلي يتم تمثيله كعقدة مخفية تحافظ على المعلومات المحلية للمجموعة الفرعية. تساعدنا هذه التقنية على فهم وظيفة كل عقدة مخفية من الشبكة التي تم إنشاؤها. علاوة على ذلك، يمكننا استخدام مثل هذه التقنية لشرح وظيفة العقد المخفية التي تم تعلمها عن طريق الانتشار الخلفي، الخوارزمية التكرارية. استنادًا إلى نتائجنا التجريبية، تعد LSM أكثر دقة من خوارزميات التعلم غير التعلمية الأخرى وواحدة من أكثر النماذج المدمجة.Translated Description (French)
Un algorithme d'apprentissage non itératif pour les réseaux de neurones artificiels est une alternative pour optimiser les paramètres du réseau de neurones avec un temps de convergence extrêmement rapide. La machine d'apprentissage extrême (ELM) est l'un des algorithmes d'apprentissage les plus rapides basés sur une méthode non itérative pour un modèle de réseau neuronal à anticipation à couche cachée unique (SLFN). ELM utilise une technique de randomisation qui nécessite un grand nombre de nœuds cachés pour atteindre la haute précision. Cela conduit à un modèle grand et complexe, qui est lent au moment de l'inférence. Auparavant, nous avions signalé un algorithme d'apprentissage incrémentiel analytique (AIL), qui est un modèle compact et un algorithme d'apprentissage déterministe non itératif, à utiliser comme alternative. Cependant, AIL ne peut pas développer son ensemble de nœuds cachés, en raison du problème de saturation des nœuds. Ici, nous décrivons une méthode sigmoïde locale (LSM) qui est également un modèle suffisamment compact et un algorithme d'apprentissage déterministe non itératif pour surmonter à la fois la randomisation ELM et TOUS LES problèmes de saturation des nœuds. L'algorithme LSM est basé sur la méthode « diviser pour régner » qui divise l'ensemble de données en plusieurs sous-ensembles plus faciles à optimiser séparément. Chaque sous-ensemble peut être associé à un segment local représenté comme un nœud caché qui préserve les informations locales du sous-ensemble. Cette technique nous aide à comprendre la fonction de chaque nœud caché du réseau construit. De plus, nous pouvons utiliser une telle technique pour expliquer la fonction des nœuds cachés appris par rétropropagation, l'algorithme itératif. Sur la base de nos résultats expérimentaux, le LSM est plus précis que d'autres algorithmes d'apprentissage non itératif et l'un des modèles les plus compacts.Translated Description (Spanish)
Un algoritmo de aprendizaje no iterativo para redes neuronales artificiales es una alternativa para optimizar los parámetros de la red neuronal con un tiempo de convergencia extremadamente rápido. La máquina de aprendizaje extremo (ELM) es uno de los algoritmos de aprendizaje más rápidos basados en un método no iterativo para un modelo de red neuronal de alimentación directa de una sola capa oculta (SLFN). ELM utiliza una técnica de aleatorización que requiere una gran cantidad de nodos ocultos para lograr la alta precisión. Esto conduce a un modelo grande y complejo, que es lento en el momento de la inferencia. Anteriormente, informamos sobre el algoritmo analítico de aprendizaje incremental (AIL), que es un modelo compacto y un algoritmo de aprendizaje determinista no iterativo, que se utilizará como alternativa. Sin embargo, AIL no puede hacer crecer su conjunto de nodos ocultos, debido al problema de saturación de nodos. Aquí, describimos un método sigmoide local (LSM) que también es un modelo suficientemente compacto y un algoritmo de aprendizaje determinista no iterativo para superar tanto la aleatorización de ELM como los problemas de saturación de TODOS los nodos. El algoritmo LSM se basa en el método "divide y vencerás" que divide el conjunto de datos en varios subconjuntos que son más fáciles de optimizar por separado. Cada subconjunto se puede asociar con un segmento local representado como un nodo oculto que conserva la información local del subconjunto. Esta técnica nos ayuda a entender la función de cada nodo oculto de la red construida. Además, podemos utilizar esta técnica para explicar la función de los nodos ocultos aprendidos por retropropagación, el algoritmo iterativo. Según nuestros resultados experimentales, LSM es más preciso que otros algoritmos de aprendizaje no iterativo y uno de los modelos más compactos.Files
08967052.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:39203f69f36866536d2fde563b409a5b
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- الطريقة السينية المحلية: خوارزمية التعلم الحتمية غير التكرارية لبناء النموذج التلقائي للشبكة العصبية
- Translated title (French)
- Méthode sigmoïde locale : algorithme d'apprentissage déterministe non itératif pour la construction automatique de modèles de réseaux neuronaux
- Translated title (Spanish)
- Método sigmoide local: algoritmo de aprendizaje determinista no iterativo para la construcción automática de modelos de redes neuronales
Identifiers
- Other
- https://openalex.org/W3002384845
- DOI
- 10.1109/access.2020.2968983
References
- https://openalex.org/W1540007258
- https://openalex.org/W1551553193
- https://openalex.org/W1677182931
- https://openalex.org/W1906653193
- https://openalex.org/W1971102034
- https://openalex.org/W1973433968
- https://openalex.org/W1986336378
- https://openalex.org/W1988019790
- https://openalex.org/W1988115241
- https://openalex.org/W1990938413
- https://openalex.org/W2002011878
- https://openalex.org/W2018270822
- https://openalex.org/W2087070363
- https://openalex.org/W2103496339
- https://openalex.org/W2108995755
- https://openalex.org/W2111072639
- https://openalex.org/W2122385067
- https://openalex.org/W2130378394
- https://openalex.org/W2141695047
- https://openalex.org/W2147800946
- https://openalex.org/W2150796457
- https://openalex.org/W2154642048
- https://openalex.org/W2163683764
- https://openalex.org/W2165967751
- https://openalex.org/W2236623899
- https://openalex.org/W2256578114
- https://openalex.org/W2524606750
- https://openalex.org/W2554395215
- https://openalex.org/W2556305121
- https://openalex.org/W2557449848
- https://openalex.org/W2567393029
- https://openalex.org/W2741186499
- https://openalex.org/W2751060233
- https://openalex.org/W2753648062
- https://openalex.org/W2762869965
- https://openalex.org/W2773497437
- https://openalex.org/W2792641098
- https://openalex.org/W2794590714
- https://openalex.org/W2962851944
- https://openalex.org/W2963285578
- https://openalex.org/W2964121744
- https://openalex.org/W2998508934
- https://openalex.org/W3101609372
- https://openalex.org/W3125537303
- https://openalex.org/W4229494842
- https://openalex.org/W4238143865
- https://openalex.org/W4245552223
- https://openalex.org/W4300954432
- https://openalex.org/W4388297464
- https://openalex.org/W6908809