TecNoticias, tu portal de información

Explorando un nuevo documento que tiene como objetivo explicar los comportamientos de DNN

Recientemente, un gran investigador de AAC Technologies, Caglar Aytekin, publicó un artículo titulado “Neural Networks are Decision Trees”. Lo leí cuidadosamente y traté de entender exactamente cuál es el gran descubrimiento de este artículo. Como muchos científicos de datos probablemente estarán de acuerdo, muchas transformaciones llevan un algoritmo a otro. Sin embargo, las redes neuronales (profundas) (DNN) son difíciles de interpretar. Entonces, ¿Aytekin descubrió algo nuevo que nos lleve un paso más cerca de la era explicable de la IA?unsplashEn esta publicación, exploremos el documento e intentemos comprender si se trata realmente de un nuevo descubrimiento. Alternativamente, examinaremos si es solo un punto importante que cualquier científico de datos necesita saber y recordar mientras maneja el desafío de interpretabilidad de DNN. Aytekin demostró que cualquier DNN de avance clásico con funciones de activación lineal por partes (como ReLU) se puede representar por un modelo de árbol de decisión. Repasemos la principal diferencia entre ambos:

DNN ajusta los parámetros a transformar la entrada e indirectamente dirigen las activaciones de sus neuronas.Árboles de decisión encajar explícitamente parámetros para dirigir el flujo de datos.

La motivación de este trabajo es abordar la naturaleza de caja negra de los modelos DNN y tener otra forma de explicar los comportamientos de DNN. El trabajo maneja redes totalmente conectadas y convolucionales y presenta una representación de árbol de decisión directamente equivalente. Entonces, en esencia, examina la transformación de DNN a un modelo de árbol de decisión al tomar una secuencia de pesos con no linealidad entre ellos y transformarla en una nueva estructura de pesos. Un resultado adicional que analiza Aytekin son las ventajas de la DNN correspondiente en términos de complejidad computacional (menos memoria de almacenamiento). Frost y Hinton presentaron en su trabajo [4] “Destilación de una red neuronal en un árbol de decisión suave” un gran enfoque para explicar las DNN usando árboles de decisión. Sin embargo, su trabajo difiere del artículo de Aytekin, ya que combinaron las ventajas de DNN y árboles de decisión. Construcción del árbol de expansión calculando los nuevos pesos: el algoritmo sugerido toma las señales que llegan a la red y busca las señales donde están las ReLU. activados y donde no están activados. Eventualmente, el algoritmo (transformación) reemplaza/coloca un vector de unos (o los valores de pendientes) y ceros. El algoritmo se ejecuta en todas las capas. Para cada capa, ve cuáles son las entradas de la capa anterior y calcula la dependencia de cada entrada. En realidad, en cada capa, una nueva filtro eficiente se selecciona para que se aplique a la entrada de red (basado en la decisión anterior). Al hacerlo, una DNN completamente conectada se puede representar como un único árbol de decisión donde la matriz efectiva, encontrada por las transformaciones, actúa como reglas de categorización. También puede implementarla para una capa convolucional. La principal diferencia es que muchas decisiones se toman en regiones de entrada parciales en lugar de toda la entrada a la capa. Acerca de dimensionalidad y complejidad computacional: El número de categorías en el árbol de decisión obtenido parece ser enorme. En un árbol completamente balanceado, necesitamos 2 a la potencia de la profundidad del árbol (intratable). Sin embargo, también debemos recordar las reglas infractoras y redundantes que proporcionan una poda sin pérdidas.Imagen del autor Esta idea es válida para DNN con funciones de activación lineal por partes. La base de esta idea de que las redes neuronales son árboles de decisión no es nueva. Personalmente, la explicación y la descripción matemática me parecieron muy sencillas. [1]motivado para usarlo y potenciar el dominio de IA explicableAlguien necesita probar esta idea en ResNet 😊El documento original se puede encontrar en: https://arxiv.org/pdf/2210.05189.pdf[1] Aytekin, Caglar. “Las redes neuronales son árboles de decisión”. preimpresión de arXiv arXiv:2210.05189 (2022).Si quieres ver un 30 min. entrevista sobre el papel mira aquí:[2] El gran Yannic Kilcher entrevista a Alexander Mattick sobre este artículo en YouTube: https://www.youtube.com/watch?v=_okxGdHM5b8&ab_channel=YannicKilcherUn excelente artículo sobre la aplicación de la teoría de la aproximación al aprendizaje profundo para estudiar cómo el modelo DNN organiza las señales de manera jerárquica:[3] Balestriero, Randall. “Una teoría spline del aprendizaje profundo”. Conferencia Internacional sobre Aprendizaje Automático. PMLR, 2018.Un gran trabajo que combina el poder de los árboles de decisión y los DNN:[4] Frost, Nicholas y Geoffrey Hinton. “Destilación de una red neuronal en un árbol de decisión suave”. preimpresión de arXiv arXiv:1711.09784 (2017).Puedes leer una publicación en Medium que resume este trabajo [4]:[5] Destilación de una red neuronal en un árbol de decisión suave por Razorthink Inc, Medium, 2019. Barak Or es un emprendedor y experto en inteligencia artificial y navegación; Ex-Qualcomm. Barak tiene M.Sc. y B.Sc. en Ingeniería y BA en Economía del Technion. Ganador del premio Gemunder. Barak terminó su Ph.D. en los campos de IA y Sensor Fusion. Autor de varios artículos y patentes. Es el fundador y CEO de ALMA Tech. LTD, una empresa de inteligencia artificial y navegación avanzada.