Durante una década, los modelos de gradient boosting (como xgboost) han sido la opción por defecto para el modelado predictivo sobre datos tabulares, los datos estructurados detrás de la mayor parte de la ciencia de dato…
Durante una década, los modelos de gradient boosting (como xgboost) han sido la opción por defecto para el modelado predictivo sobre datos tabulares, los datos estructurados detrás de la mayor parte de la ciencia de datos en el mundo real. Cada nueva tabla implica entrenar un modelo nuevo, ajustar hiperparámetros y esperar tener suficientes filas para obtener resultados confiables. Los Tabular Foundation Models (TFMs) traen un enfoque distinto a la IA tabular. Un único modelo, preentrenado una sola vez, hace predicciones sobre tablas que nunca ha visto, de forma análoga a como un LLM responde a un prompt.
Esta charla presenta TabICL, un TFM open source co-desarrollado por investigadores del ecosistema scikit-learn. Veremos cómo funciona el aprendizaje en contexto (in-context learning), cómo el preentrenamiento se basa en tablas sintéticas generadas a partir de modelos causales estructurales, y cómo se compara TabICL con gradient boosting en casos concretos de regresión y clasificación. La comparación considera tiempo de cómputo, métricas de evaluación, tamaño del dataset y calibración de probabilidades.
Los asistentes se llevarán criterios fundamentados en el pensamiento estadístico para decidir cuándo vale la pena probar un TFM en su próximo proyecto y cuándo gradient boosting sigue siendo la mejor opción, además de un punto de partida para profundizar a su propio ritmo con un curso abierto y gratuito sobre TFMs disponible en Skolar. Sobre David Arturo Amor Quiroz: Hice mi doctorado en física cuántica teórica en la UNAM, en Ciudad de México, seguido de una posición postdoctoral en el mismo campo en la École Polytechnique en Francia. Desde 2021 soy contribuidor principal de scikit-learn, formando parte del equipo de documentación para garantizar una documentación clara, accesible y actualizada que facilite su uso.
Actualmente soy cofundadora de Probabl, una empresa fundada por los creadores y mantenedores de scikit-learn. En este rol formo parte del equipo de formación y certificación, donde desarrollo materiales educativos y programas de certificación que conectan la teoría con la práctica, ayudando a profesionales a alcanzar estándares internacionalmente reconocidos en machine learning y las buenas prácticas asociadas.