Opportunistic Use of Crowdsourced Workers for Online Relabeling of Potential Adversarial Examples

Les réseaux de neurones profonds (DDN) ont obtenu d'énormes succès dans la gestion de diverses tâches d'apprentissage automatique (ML), telles que la reconnaissance vocale, le traitement du langage naturel et la classification des images. Cependant, ils ont montré leur vulnérabilité à des intrants bien conçus appelés exemples contradictoires. Des chercheurs de l'industrie et du monde universitaire ont proposé de nombreux exemples de techniques de défense contradictoires. Cependant, aucun ne peut fournir une robustesse complète. Les techniques de défense de pointe offrent une fiabilité partielle. Ainsi, il est indispensable de les compléter par une autre couche de protection, en particulier pour les applications critiques. Cet article propose un nouvel algorithme de sélection et de réétiquetage en ligne (OSRA) qui utilise de manière opportuniste un nombre limité de travailleurs crowdsourcés (crowdsourcing à contraintes budgétaires) pour maximiser la robustesse du système de ML. OSRA s'efforce d'utiliser efficacement les travailleurs crowdsourcés en sélectionnant les intrants les plus suspects (les exemples contradictoires potentiels) et en les transférant aux travailleurs crowdsourcés pour qu'ils soient validés et corrigés (réétiquetés). En conséquence, l'impact des exemples contradictoires est réduit et, par conséquent, le système de BC devient plus robuste. Nous avons également proposé une méthode de sélection de seuil heuristique qui contribue à améliorer la fiabilité du système de prédiction. Nous avons validé empiriquement notre algorithme proposé et constaté qu'il peut utiliser efficacement et de manière optimale le budget alloué au crowdsourcing. Il est également efficacement intégré à une technique de défense de boîte noire (basée sur le transfert) ultramoderne, ce qui permet d'obtenir un système plus robuste. Les résultats de la simulation montrent QUE l'OSRA peut surpasser un algorithme de sélection aléatoire de 60 % et atteindre des performances comparables à un benchmark de sélection hors ligne optimal. Ils montrent également que les PERFORMANCES d'osra ont une corrélation positive avec la robustesse du système.

Las redes neuronales profundas (DDN) han logrado un gran éxito en el manejo de varias tareas de aprendizaje automático (ML), como el reconocimiento de voz, el procesamiento del lenguaje natural y la clasificación de imágenes. Sin embargo, han mostrado vulnerabilidad a entradas bien diseñadas llamadas ejemplos contradictorios. Los investigadores de la industria y el mundo académico han propuesto muchas técnicas de defensa de ejemplo contradictorio. Sin embargo, ninguno puede proporcionar una robustez completa. Las técnicas de defensa de vanguardia ofrecen una fiabilidad parcial. Por lo tanto, es imprescindible complementarlos con otra capa de protección, especialmente para aplicaciones de misión crítica. Este documento propone un nuevo algoritmo de selección y reetiquetado en línea (osra) que utiliza de manera oportunista un número limitado de trabajadores de crowdsourcing (crowdsourcing con restricciones presupuestarias) para maximizar la solidez del sistema de ML. OSRA se esfuerza por utilizar a los trabajadores de crowdsourcing de manera efectiva seleccionando los insumos más sospechosos (los posibles ejemplos contradictorios) y trasladándolos a los trabajadores de crowdsourcing para que sean validados y corregidos (reetiquetados). Como resultado, el impacto de los ejemplos contradictorios se reduce y, en consecuencia, el sistema de ML se vuelve más robusto. También propusimos un método de selección de umbral heurístico que contribuye a mejorar la fiabilidad del sistema de predicción. Validamos empíricamente nuestro algoritmo propuesto y descubrimos que puede utilizar de manera eficiente y óptima el presupuesto asignado para el crowdsourcing. También se integra de manera efectiva con una técnica de defensa de caja negra (basada en transferencia) de última generación, lo que resulta en un sistema más robusto. Los resultados de la simulación muestran que OSRA puede superar a un algoritmo de selección aleatoria en un 60% y lograr un rendimiento comparable a un punto de referencia de selección fuera de línea óptimo. También muestran que el RENDIMIENTO de osra tiene una correlación positiva con la robustez del sistema.