Patricio Bustamante Díaz. Fundación Altura Patrimonio. 21 07 2026.
A través de la historia, personas con conocimientos técnicos han advertido de los riesgos de la introducción de tecnologías y o materiales sin los estudios y resguardos necesarios para prevenir daños. Sin embargo por razones económicas, políticas u otras, sus advertencias han sido ignoradas e han sido sujetos a descalificaciones e incluso persecuciones. La IA nos pone nuevamente ante este escenario y se repite el mismo patrón.
La mujer que podía ver el futuro
Casandra, hija de los reyes de Troya, recibió de Apolo el don de la profecía. Al rechazar sus pretensiones, fue castigada de forma cruel: conservaría la capacidad de conocer el futuro, pero nadie creería sus palabras. Podía anticipar la catástrofe y señalar cómo evitarla, pero permanecería condenada a ser tratada como una mujer delirante. Advirtió sobre la destrucción de Troya, pero sus conciudadanos desoyeron sus palabras. Su nombre se convirtió en metáfora de quienes formulan advertencias verdaderas pero son desacreditados (Aeschylus, 1926).
La figura de Casandra resulta apropiada para pensar la historia de la tecnología. Cada gran innovación ha despertado entusiasmo y también voces que señalaron peligros. Algunas exageraron, otras se equivocaron, pero varias advirtieron con anticipación consecuencias que luego se hicieron evidentes. No se opusieron al progreso, sino a la forma en que una tecnología era introducida. Podemos llamarlas «Casandras tecnológicas«.
Las Casandras tecnológicas de la historia
El asbesto. En 1898, la inspectora británica Lucy Deane informó que el polvo del asbesto contenía partículas afiladas que podían ingresar en los pulmones. El material era valorado por su resistencia al fuego y durabilidad, pero durante décadas se empleó en construcciones y vehículos hasta demostrarse su relación con asbestosis y cáncer pulmonar. El Reino Unido no lo prohibió hasta un siglo después (European Environment Agency, 2001).
Gasolina con plomo. En la década de 1920, el tetraetilo de plomo se añadió al combustible para mejorar motores. La médica Alice Hamilton advirtió que dispersar plomo mediante millones de automóviles crearía un problema sanitario enorme. Trabajadores de las plantas sufrieron intoxicaciones y muertes, pero la industria aseguró que el producto era seguro. Décadas después se confirmó que incluso exposiciones bajas dañaban el desarrollo cerebral infantil (Rosner & Markowitz, 1985).
Bomba atómica. En junio de 1945, científicos del Proyecto Manhattan encabezados por James Franck advirtieron que el monopolio nuclear estadounidense no podría mantenerse, que otros países fabricarían armas y que su uso iniciaría una carrera armamentista. Recomendaron una demostración pública y controles internacionales. Sus propuestas no fueron aceptadas. Cuatro años después, la Unión Soviética probó su primera bomba (Franck et al., 1945).
Pesticidas. En 1962, Rachel Carson publicó Primavera silenciosa, describiendo los efectos del DDT. No sostuvo que todo control químico fuera ilegítimo, sino que cuestionó la liberación masiva sin evaluar su acumulación en organismos y cadenas alimentarias. La industria la acusó de alarmista, pero investigaciones posteriores confirmaron sus advertencias (Carson, 1962).
CFC y ozono. En 1974, Molina y Rowland explicaron que los clorofluorocarbonos, estables y útiles en refrigeradores y aerosoles, podían destruir el ozono estratosférico. La industria cuestionó sus conclusiones, pero en 1985 se documentó el agujero de ozono sobre la Antártica. El Protocolo de Montreal de 1987 restringió estas sustancias, mostrando que escuchar a Casandra no significa detener el progreso (Molina & Rowland, 1974; Farman et al., 1985).
Automatización. Norbert Wiener, fundador de la cibernética, advirtió en 1960 que las máquinas capaces de aprender podían desarrollar estrategias no previstas y que la rapidez de los sistemas podía hacer ineficaz la supervisión humana (Wiener, 1960).
¿Qué caracteriza a una Casandra tecnológica?
Estos casos comparten una estructura reconocible.
Primero, la advertencia aparece durante la etapa de entusiasmo: la tecnología promete resolver un problema concreto, con beneficios inmediatos y visibles, mientras los daños son indirectos, acumulativos o postergados.
Segundo, la Casandra observa el sistema completo: no pregunta si la innovación funciona, sino qué ocurrirá cuando sea usada por millones de personas durante décadas, considerando su interacción con la economía, el ambiente y la política.
Tercero, existe desigualdad frente a la incertidumbre: a quienes advierten se les exige certeza absoluta; a quienes comercializan les basta mostrar que el riesgo no ha sido probado. La ausencia provisional de evidencia se transforma en evidencia de ausencia.
Cuarto, las advertencias desafían intereses poderosos: empresas que buscan recuperar inversiones, gobiernos que buscan ventajas, consumidores que valoran la comodidad. La prudencia aparece como obstáculo y la aceleración como necesidad.
Quinto, existe una paradoja: cuando la advertencia es escuchada y el daño se evita, la catástrofe que no ocurrió se usa como prueba de que nunca existió peligro.
La inteligencia artificial y la repetición del patrón
La IA reproduce estos elementos, pero a escala y velocidad excepcionales. Sus beneficios son reales: análisis de imágenes médicas, investigación científica, traducción, accesibilidad, educación. El problema son las condiciones de desarrollo e incorporación social.
La competencia entre empresas y Estados premia el aumento de capacidades y la rápida llegada al mercado, mientras la seguridad y la reflexión avanzan más lentamente. El resultado es una carrera donde todos reconocen los riesgos pero ninguno desea reducir la velocidad. La utilidad se demuestra en minutos; las consecuencias sobre el empleo, la educación o la confianza pública requieren años de observación.
El International AI Safety Report 2026 (Bengio et al., 2026) organiza los peligros en tres grupos: utilización maliciosa, fallas o comportamientos imprevistos, y riesgos sistémicos. No sostiene que los escenarios más graves vayan a materializarse, pero concluye que las capacidades avanzan rápidamente mientras persisten limitaciones para evaluar y controlar los modelos.
El desafío de la IA
Hay una diferencia decisiva: el asbesto, el plomo o los CFC producían efectos físicos relativamente estables. Los sistemas de IA son modificables, adaptables e integrables en millones de procesos. Un mismo modelo puede usarse para enseñar, manipular, diagnosticar o atacar. La pregunta no es qué puede hacer la IA, sino “quién decide lo que hará, en beneficio de quién, bajo qué límites y con qué responsabilidad”.
El Papa: no temer a la IA, sino preguntarse cómo se construye
El papa León XIV ha situado la IA en el centro de su reflexión social. Al explicar su nombre, recordó que León XIII publicó Rerum Novarum frente a la primera Revolución Industrial. Aquella industrialización incrementó la producción pero también generó explotación laboral antes de que surgieran protecciones sociales (León XIV, 2025a).
El Papa no sostiene que la IA deba eliminarse, sino que su valoración ética depende de los propósitos humanos y las estructuras de poder que orientan su utilización (León XIV, 2025b). En mayo de 2026 afirmó que la IA debía ser «desarmada»: liberada de lógicas que la transformen en instrumento de dominación. La idea central es que no debemos temer a la IA, pero tampoco podemos construirla sin fundamentos humanos sólidos. Delegar una decisión en un algoritmo no elimina la responsabilidad humana; a veces solo la vuelve más difícil de localizar (León XIV, 2026).
Yoshua Bengio: el creador que pide reducir la velocidad
Yoshua Bengio, uno de los investigadores que contribuyó decisivamente al aprendizaje profundo, se ha convertido en una voz insistente sobre la necesidad de desarrollar sistemas seguros. Sostiene que los riesgos deben estudiarse antes de que los sistemas alcancen niveles que hagan extremadamente difícil su corrección. Esta postura reconoce una asimetría: esperar pruebas definitivas puede ser razonable frente a daños reversibles, pero irresponsable cuando las consecuencias potenciales son masivas y la intervención tardía podría ser ineficaz (Bengio et al., 2026).
Geoffrey Hinton: entre la promesa y el peligro
Geoffrey Hinton, Premio Nobel de Física 2024, destacó en su discurso del Nobel los beneficios de la IA, pero señaló riesgos inmediatos: cámaras de eco, vigilancia autoritaria, fraudes, armas autónomas. Añadió una preocupación de largo plazo: la posibilidad de construir sistemas más inteligentes que los humanos sin saber cómo mantenerlos bajo control. Para Hinton, el problema reside en los incentivos: cuando el desarrollo está dirigido por empresas en competencia intensa, la seguridad puede quedar subordinada a la carrera por sistemas más poderosos (Hinton, 2024).
Escuchar a Casandra sin paralizar el futuro
La metáfora de Casandra debe usarse con cuidado. En el mito, ella siempre tenía razón; en la realidad, las advertencias son hipótesis fundamentadas, no profecías infalibles.
Pero reconocer la incertidumbre no significa que todas las opiniones tengan el mismo valor. Una advertencia merece atención cuando identifica un mecanismo plausible, presenta evidencia, distingue hechos de conjeturas y el daño potencial es grave e irreversible. En ese caso debe aplicarse el Principio de Precaución, su formulación más conocida aparece en el Principio 15 de la Declaración de Río sobre el Medio Ambiente y el Desarrollo (ONU 1992):
“Cuando exista peligro de daño grave o irreversible, la falta de certeza científica absoluta no deberá utilizarse como razón para postergar medidas eficaces destinadas a impedir la degradación ambiental”.
La respuesta sensata no consiste en detener toda innovación, ni en permitir el despliegue y preguntar después. Entre la prohibición indiscriminada y la ausencia de límites existe espacio para la investigación independiente, pruebas previas, supervisión humana, transparencia y participación democrática.
Las Casandras históricas no pedían un mundo sin industrias, automóviles o computadoras. Pedían que el progreso no se midiera solo por lo que una tecnología permitía hacer, sino también por los daños que podía producir y las decisiones que podía volver irreversibles. La discusión verdaderamente importante no enfrenta a quienes están a favor con quienes están en contra, sino distintas maneras de imaginar el futuro de la IA.
Casandra veía la destrucción de Troya, pero no podía convencer a quienes estaban fascinados por el caballo. La enseñanza no es suponer que toda innovación es un caballo de Troya, sino recordar que los regalos más admirables también deben ser examinados antes de abrirles las puertas. La verdadera tragedia sería construir una de las tecnologías más poderosas de la historia, escuchar las advertencias sobre sus riesgos y decidir ignorarlas hasta que ya fuera demasiado tarde.
En numerosos casos se ha desoído o silenciado a quienes advertían de los riesgos de una nueva tecnología, luego se demostró que el riesgo era real.
¿Tropezaremos nuevamente con la misma piedra?.
Referencias
Aeschylus. (1926). Aeschylus, with an English translation by Herbert Weir Smyth (Vol. 2). Harvard University Press. https://archive.org/details/aeschyluswitheng02aescuoft/page/12/mode/2up
Bengio, Y., et al. (2026). International AI Safety Report 2026. Department for Science, Innovation and Technology. https://internationalaisafetyreport.org/sites/default/files/2026-02/international-ai-safety-report-2026.pdf
Carson, R. (1962). Silent spring. Houghton Mifflin. https://archive.org/details/fp_Silent_Spring-Rachel_Carson-1962
European Environment Agency. (2001). Late lessons from early warnings: The precautionary principle 1896–2000. https://www.ecolomics-international.org/biosd_late_lessons_from_early_warnings_eea.pdf
Farman, J. C., Gardiner, B. G., & Shanklin, J. D. (1985). Large losses of total ozone in Antarctica reveal seasonal ClOₓ/NOₓ interaction. Nature, 315, 207–210. https://legacy.bas.ac.uk/met/jds/ozone/nature_paper.pdf
Franck, J., et al. (1945). Report of the Committee on Political and Social Problems. University of Chicago. https://www.atomicarchive.com/resources/documents/manhattan-project/franck-report.html
Hinton, G. (2024). Banquet speech. Nobel Prize Outreach. https://www.nobelprize.org/prizes/physics/2024/hinton/speech/
León XIV. (2025a). Discurso al Colegio Cardenalicio. https://www.vatican.va/content/leo-xiv/es/speeches/2025/may/documents/20250510-collegio-cardinalizio.html
León XIV. (2025b). Mensaje a la Segunda Conferencia Anual sobre IA, Ética y Gobernanza. https://www.vatican.va/content/leo-xiv/es/messages/pont-messages/2025/documents/20250617-messaggio-ia.html
León XIV. (2026). Presentación de la encíclica Magnifica humanitas. https://episcopado.org/assetsweb/cont/4888/carta_enciclica_de_su_santidad_leon_xiv_magnifica_humanitas_(15_de_mayo_de_2026).pdf
Molina, M. J., & Rowland, F. S. (1974). Stratospheric sink for chlorofluoromethanes. Nature, 249, 810–812. https://www.fnorio.com/0106heat_engine_refrigeration_cycle_0/Molina_Rowland_1974.pdf
ONU. (1992). Informe de la Conferencia de las Naciones Unidas sobre el Medio Ambiente y el Desarrollo, Río de Janeiro, 3–14 de junio de 1992 (A/CONF.151/26, Vol. I). https://www.un.org/esa/documents/ga/conf151/aconf15126-1.htm
Rosner, D., & Markowitz, G. (1985). A «gift of God»? The public health controversy over leaded gasoline during the 1920s. American Journal of Public Health, 75(4), 344–352. https://pmc.ncbi.nlm.nih.gov/articles/PMC1646253/?page=3
Wiener, N. (1960). Some moral and technical consequences of automation. Science, 131(3410), 1355–1358. https://gwern.net/doc/reinforcement-learning/safe/1960-wiener.pdf