Contra el MAXIPOK: el riesgo existencial no lo es todo

El principio Maxipok, que afirma que maximizar la probabilidad de evitar una catástrofe existencial debe ser la prioridad absoluta para mejorar el futuro a largo plazo, se basa en una suposición implícita de dicotomía: que los resultados futuros son fuertemente bimodales, agrupándose en estados casi óptimos o casi inútiles. Esta visión dicotómica es cuestionada. Los argumentos que sugieren que las sociedades supervivientes convergen inevitablemente hacia resultados casi óptimos o que el valor futuro es limitado se consideran inverosímiles, especialmente si se tiene en cuenta cómo puede surgir una variación continua del valor a largo plazo a través de la división de los recursos cósmicos entre diferentes sistemas de valores en un entorno dominado por la defensa. Además, se rechaza la creencia de que solo los riesgos existenciales tienen efectos persistentes en el futuro a largo plazo. Es muy probable que el próximo siglo vea un bloqueo de valores, instituciones y distribuciones de poder, principalmente a través de estructuras de gobernanza impuestas por la IAG y la colonización temprana del espacio. Estos mecanismos garantizan que las decisiones tempranas y no existenciales, como los valores específicos incorporados en la IA transformadora o el diseño de las instituciones globales iniciales, puedan alterar de forma permanente y sustancial el valor esperado de la civilización. En consecuencia, mejorar el futuro a largo plazo requiere ampliar el enfoque más allá de la mera reducción del riesgo existencial para abarcar un conjunto más amplio de «grandes retos» que optimicen el resultado en caso de que se garantice la supervivencia. – Resumen generado por IA.