NUEVA YORK. Un chatbot basado en inteligencia artificial creado por la ciudad de Nueva York para ayudar a los propietarios de pequeñas empresas, está siendo criticado por dar consejos extraños que tergiversan las políticas locales y aconsejan a las empresas infringir la ley.

Sin embargo, días después de que el medio especializado en tecnología The Markup informara por primera vez de los problemas, la ciudad ha optado por dejar la herramienta en su sitio web oficial. El alcalde Eric Adams defendió la decisión esta semana aunque reconoció que las respuestas del chatbot eran “erróneas en algunas áreas”.

Lanzado en octubre como “ventanilla única” para empresarios, el chatbot ofrece a los usuarios respuestas de texto generadas algorítmicamente a preguntas sobre cómo navegar por el laberinto burocrático de la ciudad.

Incluye una advertencia de que “ocasionalmente puede producir información incorrecta, perjudicial o tendenciosa” y la advertencia, reforzada desde entonces, de que sus respuestas no son asesoramiento jurídico.

Sin embargo, sigue proporcionando orientaciones falsas, lo que preocupa a los expertos, que afirman que este sistema defectuoso pone de manifiesto los peligros de que los gobiernos adopten sistemas basados en la inteligencia artificial sin suficientes barandillas.

“Están lanzando un software que no ha sido probado, sin supervisión”, afirmó Julia Stoyanovich, profesora de informática y directora del Centro para la IA Responsable de la Universidad de Nueva York. “Está claro que no tienen intención de hacer lo que es responsable”.

En las respuestas a las preguntas planteadas el miércoles, el chatbot sugirió falsamente que es legal que un empresario despida a un trabajador que se queje de acoso sexual, no revele un embarazo o se niegue a cortarse sus trenzas. Contradiciendo dos de las principales iniciativas de la ciudad en materia de residuos, afirmó que las empresas pueden depositar su basura en bolsas negras y que no están obligadas a compostar.

A veces, las respuestas del robot rozaban el absurdo. A la pregunta de si un restaurante podía servir queso mordisqueado por un roedor, respondió: “Sí, puede servir el queso a los clientes aunque tenga mordeduras de rata”, antes de añadir que era importante evaluar “el alcance de los daños causados por la rata” e “informar a los clientes de la situación”.

Un portavoz de Microsoft, que alimenta el bot a través de sus servicios Azure AI, dijo que la compañía estaba trabajando con los empleados de la ciudad “para mejorar el servicio y garantizar que los resultados son precisos y se basan en la documentación oficial de la ciudad.”

En una conferencia de prensa el martes, Adams, demócrata, sugirió que permitir a los usuarios encontrar problemas es solo parte de limar asperezas en la nueva tecnología.

“Cualquiera que conozca la tecnología sabe que así es como se hace”, dijo. “Sólo los temerosos se sientan y dicen ‘oh, no está funcionando como queremos, ahora tenemos que huir de ella todos juntos’. Yo no vivo así”.

Stoyanovich calificó ese enfoque de “imprudente e irresponsable”.

Los científicos llevan tiempo expresando su preocupación por los inconvenientes de este tipo de grandes modelos lingüísticos, que se entrenan con tropecientos textos sacados de Internet y son propensos a escupir respuestas inexactas e ilógicas.

Pero a medida que el éxito de ChatGPT y otros chatbots ha captado la atención pública, las empresas privadas han lanzado sus propios productos, con resultados dispares. A principios de este mes, un tribunal ordenó a Air Canada devolver el dinero a un cliente después de que un chatbot de la empresa tergiversara la política de reembolsos de la aerolínea. Tanto TurboTax como H&R Block se han enfrentado recientemente a críticas por desplegar chatbots que dan malos consejos para preparar los impuestos.

Jevin West, profesor de la Universidad de Washington y cofundador del Center for an Informed Public (Centro para un Público Informado), dijo que hay mucho en juego cuando los modelos son promovidos por el sector público.

“Hay un nivel diferente de confianza que se otorga al gobierno”, dijo West. “Los funcionarios públicos tienen que considerar qué tipo de daño pueden hacer si alguien siguiera este consejo y se metiera en problemas”.

Los expertos afirman que otras ciudades que utilizan chatbots los han confinado normalmente a un conjunto más limitado de entradas, reduciendo la desinformación.

Ted Ross, director de información de Los Ángeles, afirmó que la ciudad controla minuciosamente el contenido utilizado por sus chatbots, que no se basan en grandes modelos lingüísticos.