OpenAI, notable por su investigación avanzada en IA y la creación de modelos como ChatGPT, presentó una nueva iniciativa el 25 de octubre de 2023, destinada a abordar la multitud de riesgos asociados con las tecnologías de inteligencia artificial. La iniciativa presagia la formación de un equipo especializado denominado «Preparación», dedicado a monitorear, evaluar, anticipar y mitigar los riesgos catastróficos que emanan de los avances de la IA. Este paso proactivo se produce en medio de una creciente preocupación global por los peligros potenciales entrelazados con las florecientes capacidades de IA.
Presentación de la iniciativa de preparación
Bajo el liderazgo de Aleksander Madry, el equipo de Preparación se centrará en un amplio espectro de riesgos que podrían plantear los modelos de IA de vanguardia, aquellos que superan las capacidades de los modelos líderes actuales. La misión principal gira en torno al desarrollo de marcos sólidos para monitorear, evaluar, predecir y proteger contra las capacidades potencialmente peligrosas de estos sistemas fronterizos de inteligencia artificial. La iniciativa subraya la necesidad de comprender y construir la infraestructura necesaria que garantice la seguridad de sistemas de IA altamente capaces.
Las áreas específicas de enfoque incluyen amenazas de persuasión individualizada, ciberseguridad, amenazas químicas, biológicas, radiológicas y nucleares (CBRN), junto con replicación y adaptación autónomas (ARA). Además, la iniciativa tiene como objetivo abordar cuestiones críticas relacionadas con el uso indebido de los sistemas de inteligencia artificial fronterizos y la posible explotación de pesos de modelos de inteligencia artificial robados por parte de entidades maliciosas.
Política de desarrollo basada en riesgos
Una parte integral de la iniciativa de Preparación es la elaboración de una Política de Desarrollo Informada sobre los Riesgos (PDR). El PDR describirá evaluaciones rigurosas, procedimientos de seguimiento y una serie de medidas de protección para la capacidad del modelo de frontera, estableciendo una estructura de gobernanza para la rendición de cuentas y la supervisión durante todo el proceso de desarrollo. Esta política aumentará los esfuerzos de mitigación de riesgos existentes de OpenAI, contribuyendo a la seguridad y la alineación de nuevos sistemas de IA altamente capaces antes y después de la implementación.
Involucrar a la comunidad global
En un intento por descubrir preocupaciones menos obvias y atraer talento, OpenAI también lanzó un Desafío de preparación para la IA. El desafío, destinado a prevenir un uso indebido catastrófico de la tecnología de IA, promete 25.000 euros en créditos API para hasta 10 presentaciones ejemplares. Es parte de una campaña de reclutamiento más amplia para el equipo de Preparación, que busca talentos excepcionales de diversos dominios técnicos para contribuir a la seguridad de los modelos de IA de vanguardia.
Además, esta iniciativa sigue a un compromiso voluntario asumido en julio por OpenAI, junto con otros laboratorios de IA, para fomentar la seguridad y la confianza en la IA, en consonancia con los puntos focales de la Cumbre de Seguridad de la IA del Reino Unido.
Preocupaciones crecientes e iniciativas anteriores
La creación del equipo de Preparación no es un movimiento aislado. Se remonta a afirmaciones anteriores de OpenAI sobre la formación de equipos dedicados para abordar los desafíos inducidos por la IA. Este reconocimiento de riesgos potenciales va acompañado de una narrativa más amplia, que incluye una carta abierta publicada en mayo de 2023 por el Centro para la Seguridad de la IA, instando a la comunidad a priorizar la mitigación de las amenazas a nivel de extinción de la IA junto con otros riesgos existenciales globales.
Fuente de la imagen: Shutterstock