En esta sesión de live coding y hacking ofensivo, construiremos una red neuronal desde cero, expondremos un endpoint de re-entrenamiento, utilizandolo para la toma de de…
¿Que pasa cuando la IA atenta contra nosotros?
En esta sesión de live coding y hacking ofensivo, construiremos una red neuronal desde cero, expondremos un endpoint de re-entrenamiento, utilizandolo para la toma de decisiones de una compañia ficticia y, finalmente, introducimos un pie en el servidor mediante una inyección de código (RCE) en los pesos del modelo. Una perspectiva cruda y real que desnuda la inseguridad en la cadena de suministro de modelos de ML que nos invita a repensar los escenarios de amenaza de la industria.
En esta charla no veremos diapositivas, veremos código. El objetivo es demostrar la fragilidad de los modelos de aprendizaje profundo y los sistemas que los sirven. Dividiremos la sesión en tres actos:
Fundamentos en crudo: Implementaremos en vivo una red neuronal profunda usando únicamente Numpy. Desmitificaremos el descenso de gradiente para entender cómo el modelo "aprende" y por consecuencia, cómo podemos manipular su aprendizaje desde afuera.
El ataque adversarial: Expondremos un endpoint de entrenamiento para demostrar cómo un atacante puede manipular los pesos en tiempo real, alterando las decisiones del modelo sin que el sistema detecte la anomalía.
Persistencia mediante RCE: Nuestro gran final. Explotaremos la deserialización insegura en la carga de modelos para ejecutar código arbitrario en el servidor. Demostraremos cómo un modelo malicioso no solo afecta al negocio, sino que es un vector que podria poner en riesgo toda la organizacion. Sobre Francisco Gutierrez: Security Engineer con 6 años de trayectoria en seguridad ofensiva. Especializado en Red Teaming, infraestructura y entornos Cloud, su trabajo se centra en la explotación técnica de vulnerabilidades y la simulación de adversarios para equipos multidisciplinarios. Actualmente, investiga la convergencia entre la Inteligencia Artificial y la seguridad ofensiva. Su enfoque combina la implementación matemática de modelos de ML con el hacking de infraestructura para exponer riesgos críticos en la cadena de suministro de modelos.
Watch talk