Aviso legal
El contenido de este artículo tiene fines exclusivamente informativos y no constituye asesoramiento jurídico. Aunque elaboramos la información con el mayor cuidado, no garantizamos su exactitud, integridad ni actualidad. Para un asesoramiento vinculante sobre tu situación específica, consulta a un abogado o abogada cualificado/a.
La pregunta más importante: ¿alto riesgo o no?
Al introducir un sistema de IA en la empresa, hay una pregunta más decisiva que todas las demás: ¿el sistema entra en la categoría de “alto riesgo”? La respuesta a esta pregunta determina el esfuerzo, los costes y tu riesgo legal. Un sistema de alto riesgo está sujeto a requisitos extremadamente estrictos y costosos. Un sistema de riesgo limitado, en cambio, solo tiene obligaciones de transparencia manejables.
Los asistentes de chat y voz sencillos, cuyo propósito principal es responder preguntas de clientes, por lo general no entran en las áreas de alto riesgo del Anexo III del EU AI Act. Para ellos, la obligación de transparencia del art. 50 ocupa el primer plano. Si esto se aplica a tu uso depende de cómo utilices el sistema.
Sin embargo, la complejidad comienza cuando entran en juego funciones más avanzadas. ¿Podría un análisis de sentimiento o una detección automática de urgencia convertir tu asistente de IA en un sistema de alto riesgo?
¿Cuándo se convierte una herramienta de comunicación en un sistema de alto riesgo?
El AI Act enumera en su Anexo III las áreas en las que los sistemas de IA se consideran potencialmente de alto riesgo. Para la atención al cliente, son especialmente relevantes dos puntos: sistemas que deciden sobre el acceso a servicios esenciales, o sistemas que realizan un perfilado de personas físicas.
Aquí surgen las preocupaciones típicas:
- ¿Se considera un análisis de sentimiento (“el llamante suena enfadado”) como “reconocimiento de emociones” prohibido o “perfilado” de riesgo?
- Si la IA detecta una urgencia (“asunto urgente”), ¿está decidiendo sobre el acceso a un servicio esencial?
Estas preocupaciones son comprensibles. Que se apliquen o no depende de tu uso concreto.
La clave: ¿la IA es solo un asistente para el ser humano?
El AI Act prevé excepciones específicas para cuando un sistema, a pesar de una posible inclusión en el Anexo III, no se considera de alto riesgo. Dos de estas excepciones son decisivas para la atención al cliente:
- La IA sirve para mejorar el resultado de una actividad humana previamente completada.
- La IA realiza una tarea preparatoria para una evaluación que, en última instancia, es realizada por una persona.
Aquí está la clave. Un asistente que solo prepara información y la presenta a una persona para que decida puede entrar en estas excepciones. El análisis de sentimiento, por ejemplo, no toma entonces una decisión autónoma. Realiza una tarea preparatoria al proporcionar a un empleado humano un dato adicional (p. ej., “el llamante parece enfadado”). El empleado puede utilizar esta información para gestionar mejor la conversación. La excepción no se aplica, sin embargo, si el sistema realiza un perfilado de personas físicas. Debes comprobar tú si tu uso entra en una excepción.
Este principio de “Human-in-the-Loop Augmentation” puede influir en la clasificación. No sustituye la revisión de tu uso concreto. La clase de riesgo depende de cómo utilices el sistema.
Evaluar tu propio uso
La conclusión para ti como empresario: la clase de riesgo depende de cómo utilices el sistema, y evalúas tú tu propio uso.
Un asistente de IA como Safina, por ejemplo, prepara la información y la presenta a una persona para que decida. Informa a quienes llaman, al inicio de cada llamada, de que hablan con una IA. Esto forma parte de la obligación de transparencia del art. 50 del AI Act. Safina no afirma en qué clase de riesgo entra tu uso. Comprueba tu caso de uso y busca asesoramiento jurídico si tienes dudas.
