Ep.2: Gobernanza y Seguridad de Agentes

En este segundo episodio de "La Humanidad Aumentada", David Nogueras y Antonio Medina exploran los desafíos de gobernanza, seguridad y regulación de la IA generativa y los agentes inteligentes.Temas principales:🔹 Caso Cloud Bot: Analizan el meteórico ascenso de esta aplicación de código abierto que pasó de cero a millones de usuarios en solo 5 días, superando récords históricos de Linux. Discuten los problemas de seguridad que surgieron, incluyendo cambios de marca forzados y malware en extensiones.🔹 Riesgos de los agentes de IA: Más allá de las alucinaciones (que han disminuido significativamente), los verdaderos riesgos actuales incluyen:Control de acceso y credencialesSesgos en el entrenamientoTendencia a complacer al usuarioShadow AI (agentes no controlados en las organizaciones)🔹 Casos reales problemáticos: Desde el chatbot de Air Canada que ofrecía reembolsos incorrectos, hasta sistemas de crédito con sesgo de género.🔹 Regulación vs. Innovación: Debate sobre el enfoque regulatorio de la UE frente al modelo más liberal de Estados Unidos y Asia. ¿Estamos sacrificando innovación por seguridad o construyendo confianza a largo plazo?🔹 Responsabilidad: ¿Quién tiene la culpa cuando un agente de IA comete un error? La importancia del rol de "AI Owner" y la responsabilidad compartida entre usuarios, empresas y desarrolladores de modelos.Conclusión: Los agentes de IA tienen el potencial de convertirse en empleados digitales, pero requieren gobernanza clara, supervisión humana y límites bien definidos para evitar riesgos operacionales, reputacionales y legales.