Nested Learning: The Illusion of Deep Learning Architectures
https://abehrouz.github.io/files/NL.pdf
Over the last decades, developing more powerful neural architectures and simultaneously designing optimization algorithms to effectively train them have been
the core of research efforts to enhance the capability of machine learning models.
Despite the recent progresses, particularly in developing Language Models (LMs),
there are fundamental challenges and unanswered questions about how such models
can continually learn/memorize, self-improved, and find “effective solutions,”. In
this paper, we present a new learning paradigm, called Nested Learning (NL), that
coherently represents a model with a set of nested, multi-level, and/or parallel
optimization problems, each of which with its own “context flow”. NL reveals
that existing deep learning methods learns from data through compressing their
own context flow, and explain how in-context learning emerges in large models.
NL suggests a path (a new dimension to deep learning) to design more expressive
learning algorithms with more “levels”, resulting in higher-order in-context learning abilities. In addition to its neuroscientifically plausible and mathematically
white-box nature, we advocate for its importance by presenting three core contributions: (1) Deep Optimizers: Based on NL, we show that well-known gradient-based
optimizers (e.g., Adam, SGD with Momentum, etc.) are in fact associative memory
modules that aim to compress the gradients with gradient descent. Building on this
insight, we present a set of more expressive optimizers with deep memory and/or
more powerful learning rules; (2) Self-Modifying Titans: Taking advantage of NL’s
insights on learning algorithms, we present a novel sequence model that learns
how to modify itself by learning its own update algorithm; and (3) Continuum
Memory System: We present a new formulation for memory system that generalizes the traditional viewpoint of “long-term/short-term memory”. Combining our
self-modifying sequence model with the continuum memory system, we present a
learning module, called HOPE, showing promising results in language modeling, continual learning, and long-context reasoning tasks.
Ingenieria mas neurociencia-neuropsicologia....evolución de la IA
La respuesta estaba en la neurociencia, y vaya respuesta!
Google Research podría haber encontrado la clave para que los modelos de IA, y con ellos los robots, puedan aprender en tiempo real.
La idea sorprende, porque la solución siempre estuvo delante de nuestras narices, pero no la veíamos porque pensamos como ingenieros, no como neurocientíficos. Por eso es tan importante que la neuropsicología entre de lleno en la IA.
Hasta ahora, los robots que usan modelos de lenguaje tenían dos fuentes de información, lo que aprendían en su pre-training y lo que podían mantener en su ventana de contexto. Nada más.
Esto significa que un robot no puede incorporar conocimiento nuevo en el momento, ni ajustar sus pesos, ni consolidar una habilidad descubierta durante su interacción con el entorno.
En términos neuropsicológicos, funcionaban como alguien con amnesia anterógrada, recordaban su pasado, entendían el presente (con un recuerdo inmediato dependiente de su ventana de contexto enorme), pero no podían aprender nada nuevo.
Los autores del trabajo reinterpretan los Transformers desde una perspectiva neurocientífica y proponen el paradigma de Nested Learning (NL).
Según NL, un modelo de deep learning no es realmente una pila de capas como siempre nos han enseñado, sino un sistema de memorias que operan a distintas velocidades o frecuencias.
Cada componente del modelo (la atención, las capas MLP e incluso los optimizadores) funciona como una memoria asociativa que almacena, resume y reutiliza información del pasado para producir mejores resultados.
No son simples “capas”, son niveles de memoria que se actualizan a ritmos diferentes. Esta idea conecta de forma directa con el cerebro humano, donde existen ritmos rápidos para reaccionar al instante y ritmos lentos para consolidar recuerdos. Los autores incluso comparan estas frecuencias de actualización con las ondas cerebrales.
Esta reinterpretación conduce a una idea poderosa, y es que entrenar un modelo equivale a guardar asociaciones entre lo que recibe y la corrección que debería haber hecho (tendencias vectoriales).
Si el modelo ve un círculo y lo clasifica como cuadrado, la señal de error que recibe es, en realidad, una instrucción de memoria: “cuando veas algo así, ajusta tus parámetros en esta dirección”. Esa asociación se guarda, y la próxima vez el error es menor. Esto recuerda mucho al predictive coding de Karl Friston.
Esta reinterpretación conduce a una idea poderosa, y es que entrenar un modelo equivale a guardar asociaciones entre lo que recibe y la corrección que debería haber hecho (tendencias vectoriales).
Si el modelo ve un círculo y lo clasifica como cuadrado, la señal de error que recibe es, en realidad, una instrucción de memoria: “cuando veas algo así, ajusta tus parámetros en esta dirección”. Esa asociación se guarda, y la próxima vez el error es menor. Esto recuerda mucho al predictive coding de Karl Friston.
En este mismo marco, los optimizadores dejan de ser herramientas puramente matemáticas y pasan a verse como memorias internas especializadas.
Estos mecanismos pueden interpretarse como sistemas que almacenan representaciones del historial de gradientes, pequeñas memorias internas que permiten al modelo refinar cómo debe actualizarse.
Y entonces aparece HOPE, que es posiblemente el avance más relevante del trabajo.
HOPE es un módulo de aprendizaje auto-referencial (capacidad de ajustar sus parámetros) que incorpora un sistema de memoria continua llamado Continuum Memory System (CMS) y, sobre todo, estos dos elementos permiten que el modelo aprenda a modificar sus propios parámetros mientras funciona.
Ya no existe solo memoria a corto y largo plazo, sino que el CMS propone memorias jerárquicas organizadas como por frecuencia. Algunas memorias se actualizan cada token, otras cada cientos o miles de tokens.
Es un sistema de múltiples memorias en funcionamiento simultáneo, cada una especializándose en una escala temporal distinta.
Así, HOPE permite que los pesos vuelvan a actualizarse incluso después del entrenamiento.
Y aquí es donde entra la robótica. Este enfoque permitiría, por primera vez, que un robot ajuste sus pesos en tiempo real, igual que un organismo biológico.
Un robot podría corregir su fuerza de agarre después de fallar varias veces, adaptarse a un nuevo tipo de terreno, mejorar una habilidad sobre la marcha o aprender la preferencia particular de un usuario sin necesidad de volver a entrenar un modelo entero.
Es decir, un robot que realmente acumula experiencia y mejora con ella. Un robot que no solo ejecuta, sino que aprende. Un robot que no solo se comporta, sino que evoluciona (no olvidemos que DeepMind acaba de fichar al CTO de Boston Dynamics!!!)
Si esta línea de investigación se consolida, podríamos estar ante un cambio de paradigma, y pasar de modelos congelados a sistemas de memoria vivos, capaces de adaptar su comportamiento en tiempo real.
Puede que esta sea un avance más de la IA, o que de verdad estemos antes el nacimiento de la in-home setting robotics... solo el tiempo lo dirá!
https://x.com/umbertoleon/status/1993115764354592832
Desglosador de Temas Complejos
Creador de Rutas de Aprendizaje
"Diseña un plan de estudio de 4 semanas para adquirir un nivel básico/intermedio en [HABILIDAD NUEVA]. Incluye hitos semanales, tipos de recursos a buscar (videos, artículos, ejercicios) y una estimación de tiempo diario."
Generador de Explicaciones Alternativas
"No termino de entender [CONCEPTO ESPECÍFICO DENTRO DE UN TEMA]. Explícamelo de tres maneras diferentes: una muy técnica, una con una metáfora y otra enfocada en su aplicación práctica."
Diseñador de Mini-Proyectos Prácticos
"Para practicar [HABILIDAD NUEVA], sugiéreme 3 pequeños proyectos que pueda completar en menos de 2 horas cada uno y que me ayuden a consolidar lo aprendido sobre [ASPECTO ESPECÍFICO]."
Creador de Cuestionarios Rápidos
"Basándote en la información sobre [TEMA ESTUDIADO], crea un cuestionario de 5 preguntas de opción múltiple para evaluar mi comprensión. Incluye las respuestas correctas al final."
Identificador de Conceptos Clave
"Analiza este texto/artículo sobre [TEMA]: [PEGAR TEXTO o LINK]. Identifica los 3-5 conceptos o ideas más importantes que debo retener sí o sí."
Simulador de Escenarios Reales
"Actúa como un [ROL, ej: entrevistador, cliente, colega]. Quiero practicar cómo explicar [CONCEPTO o HABILIDAD] en una situación real. Hazme preguntas como si no supieras nada del tema."
Recomendador de Siguientes Pasos
"Ya tengo una comprensión básica de [TEMA/HABILIDAD]. ¿Cuáles serían los siguientes 3 pasos lógicos para profundizar mis conocimientos y acercarme a un nivel avanzado?" 
