Cuando la promesa tecnológica no responde: evaluación crítica de un asistente académico especializado

En el marco de una sesión de evaluación en el aula, analizamos el funcionamiento de un asistente digital denominado Ocnos GPT, diseñado para interactuar con los contenidos de una revista académica. Su propósito era claro: recomendar artículos a partir de una temática propuesta por el usuario, contextualizarlos (autoría, año, enfoque teórico, metodología, etc.) y orientar la conversación hacia una exploración más profunda del material disponible. La experiencia, sin embargo, evidenció importantes limitaciones.

El diseño del asistente respondía a una necesidad real en el ámbito investigador: facilitar la exploración bibliográfica a través de preguntas progresivas, tales como:

• ¿Puedes recomendarme artículos relacionados con el tema “mi tema de investigación”?
• ¿Qué artículos recientes abordan enfoques teóricos relevantes para mi tema de investigación?
• ¿Puedes sugerirme artículos que traten específicamente sobre el concepto “concepto clave” dentro de mi área?
• ¿Qué artículos utilizan metodologías aplicables a mi TFM/tesis dentro de este campo?
• ¿Podrías recomendarme artículos que conecten mi tema con prácticas educativas / análisis de datos / estudios de caso?

La propuesta, en términos teóricos, resultaba prometedora: un asistente capaz de dialogar con un corpus cerrado (los artículos de la revista) y generar recomendaciones contextualizadas, casi como una mediación bibliográfica automatizada.

La evaluación se realizó de forma simultánea por más de veinte estudiantes. A partir de la segunda pregunta (focalización temática), el sistema comenzó a mostrar signos de bloqueo. En algunos casos, solicitó reformulaciones hacia términos más genéricos; en otros, dejó de responder completamente.

En áreas específicas como la literatura o la poesía andalusí —campos que requieren un mínimo de especialización conceptual— el asistente no logró ofrecer resultados pertinentes. Ante consultas más afinadas, optaba por sugerir una mayor generalización del tema, lo cual vaciaba de sentido la investigación académica, cuyo avance depende precisamente de la precisión conceptual. Finalmente, el sistema colapsó y dejó de responder.

La experiencia permitió identificar varios aspectos problemáticos:

• Escasa capacidad de concurrencia: el sistema no soportó múltiples interacciones simultáneas.
• Débil profundidad temática: mostró dificultades ante campos especializados.
• Problemas de reformulación semántica: ante términos específicos, optaba por la generalización en lugar de realizar una búsqueda conceptual adecuada.
• Falta de continuidad conversacional: no logró sostener una progresión lógica entre niveles de exploración (general → específico → metodológico → aplicado).

Más que un simple fallo técnico, la experiencia evidencia el trabajo pendiente en el desarrollo de asistentes académicos especializados. La integración entre corpus cerrado, procesamiento semántico profundo y capacidad de diálogo estructurado sigue siendo un reto.

Un asistente académico no solo debe recuperar información; debe comprender matices disciplinares, distinguir niveles de abstracción, relacionar teoría, metodología y aplicación y mantener coherencia conversacional bajo carga de uso.

La prueba también pone de relieve una cuestión más amplia: la expectativa que depositamos en la inteligencia artificial en contextos académicos. La promesa de automatizar la mediación bibliográfica resulta atractiva, pero exige desarrollos robustos tanto a nivel técnico (infraestructura y escalabilidad) como epistemológico (modelado del conocimiento disciplinar).

En definitiva, la experiencia con Ocnos GPT no debe leerse únicamente como un fracaso, sino como un indicador del punto en el que nos encontramos. Los asistentes especializados tienen un potencial considerable, pero todavía requieren mejoras sustanciales para convertirse en herramientas fiables en entornos de investigación.

La inteligencia artificial en el ámbito académico no sustituye la lectura crítica, la búsqueda autónoma ni el criterio investigador. En todo caso, aspira —todavía de forma imperfecta— a acompañarlos.