Las respuestas a exámenes generadas por la IA no se detectan en una prueba a ciegas en el mundo real
Un estudio confirma que los examinadores experimentados pueden tener serias dificultades para detectar respuestas generadas por la inteligencia artificial.
Por la Universidad de Reading
Los profesores son incapaces —o casi incapaces— de determinar si las respuestas a un examen han sido hechas por una inteligencia artificial. Imagen generada con DALL-E
Investigadores han descubierto que los examinadores experimentados pueden tener dificultades para detectar respuestas generadas por la inteligencia artificial (IA).
El estudio se llevó a cabo en la Universidad de Reading, en el Reino Unido, donde los responsables universitarios están trabajando para identificar los posibles riesgos y oportunidades de la inteligencia artificial para la investigación, la enseñanza, el aprendizaje y la evaluación.
Los investigadores instan al sector educativo mundial a seguir el ejemplo de la Universidad de Reading y de otros centros que también están elaborando nuevas políticas y orientaciones, y a hacer más esfuerzos por abordar este problema emergente. Así es, el papel de la IA en el fraude académico es un problema emergente que requiere una respuesta coordinada.
La IA puede ser utilizadas por los estudiantes para completar tareas sin realmente entender los contenidos
Las herramientas de IA pueden generar respuestas a preguntas de examen, ensayos, informes de investigación y otros tipos de trabajos académicos con poco o ningún esfuerzo humano. Esto incluye desde la creación de textos simples hasta la formulación de argumentos complejos o análisis detallados. Estas herramientas pueden ser utilizadas por los estudiantes para completar tareas sin realmente entender el material tratado o hacer el trabajo ellos mismos.
La IA puede ayudar a los estudiantes a alterar trabajos existentes de maneras que evaden la detección de plagio, por ejemplo, reescribiendo textos o modificando ligeramente materiales copiados para que parezcan originales. Esto puede socavar los estándares académicos y dificultar la evaluación precisa de la autenticidad del trabajo del estudiante.
Los exámenes realizados por la IA generativa obtuvieron calificaciones más altas que los realizados por estudiantes reales
Por otro lado, las herramientas avanzadas de IA, accesibles a través de dispositivos móviles o smartwatches, pueden permitir a los estudiantes buscar respuestas o comunicarse sutilmente con otros durante los exámenes sin ser detectados. Es más, a medida que la IA se vuelve más sofisticada, también lo hacen los métodos para utilizarla en el fraude académico. Esto incluye el uso de IA para crear herramientas más avanzadas que pueden, por ejemplo, adaptar respuestas al estilo de escritura del estudiante o generar respuestas creativas a preguntas abiertas.
Uno de los restos de los responsables académicos es educar a los estudiantes sobre la ética en el uso de la IA y desarrollar políticas claras que definan qué constituye un uso aceptable de la tecnología en el trabajo académico. Imagen generada con DALL-E
En una rigurosa prueba a ciegas de un sistema real de exámenes universitarios, las respuestas a exámenes generadas por ChatGPT y enviadas para aprobar varios módulos de licenciatura en Psicología, pasaron desapercibidas en el 94% de los casos, según explican los autores de la investigación en la revista PLoS ONE. Es más, de media, los exámenes hechos con IA obtuvieron calificaciones más altas que los enviadas por estudiantes reales.
Se trata del mayor y más sólido estudio ciego de este tipo, realizado hasta la fecha, que desafía a los educadores humanos a detectar contenidos generados por IA.
Una llamada de atención a los educadores
No hay que olvidar que un estudio ciego es una metodología de investigación utilizada principalmente en las ciencias médicas, psicológicas y sociales para minimizar los sesgos en los resultados del estudio. Este método consiste en ocultar información específica a los participantes del estudio y, en algunos casos, a los investigadores, para prevenir que sus expectativas, creencias o comportamientos influyan en los resultados del estudio.
Los profesores Peter Scarfe y Etienne Roesch, que dirigieron el estudio en la Facultad de Psicología y Ciencias Clínicas del Lenguaje, en la Universidad de Reading, afirman que sus conclusiones deberían servir de "llamada de atención" a los educadores de todo el mundo. Una encuesta reciente de la UNESCO realizada en 450 escuelas y universidades reveló que menos del 10% disponía de políticas u orientaciones sobre el uso de la IA generativa.
"Muchas instituciones se han alejado de los exámenes tradicionales para hacer que la evaluación sea más inclusiva —dice Scarfe. Y añade—: Nuestra investigación demuestra que es de importancia internacional comprender cómo la IA afectará a la integridad de las evaluaciones educativas.
Cómo esperan los profesores que los estudiantes utilicen y reconozcan el papel de la IA en su trabajo
En palabras de Scarfe, “no necesariamente volveremos completamente a los exámenes escritos a mano, pero el sector educativo global tendrá que evolucionar frente a la IA”. Y añade—: “Es un testimonio del sincero rigor académico y el compromiso con la integridad de la investigación en la Universidad de Reading que hayamos puesto el microscopio en nosotros mismos para liderar esto".
Una encuesta reciente de la UNESCO realizada en 450 escuelas y universidades ha revelado que menos del 10% disponía de políticas u orientaciones sobre el uso de la IA generativa. Imagen generada con DALL-E
“Como sector, tenemos que ponernos de acuerdo sobre cómo esperamos que los estudiantes utilicen y reconozcan el papel de la IA en su trabajo —comenta Roesch. Y continúa—: Lo mismo ocurre con el uso más amplio de la IA en otros ámbitos de la vida, para evitar una crisis de confianza en toda la sociedad”.
"Nuestro estudio —dice Roesch — pone de manifiesto la responsabilidad que tenemos como productores y consumidores de información. Debemos redoblar nuestro compromiso con la integridad académica y de investigación".
En palabras de Elizabeth McCrum, vicerrectora de Educación y Experiencia Estudiantil de la Universidad de Reading, "está claro que la IA tendrá un efecto transformador en muchos aspectos de nuestras vidas, incluida la forma en que enseñamos a los estudiantes y evaluamos su aprendizaje”.
“En la Universidad de Reading hemos emprendido un amplio programa de trabajo para considerar todos los aspectos de nuestra enseñanza, incluido un mayor uso de la tecnología para mejorar la experiencia de los estudiantes e impulsar las habilidades de empleabilidad de los graduados —señala McCrum. Y añade—: Las soluciones incluyen alejarse de las ideas anticuadas de evaluación y acercarse a las que están más alineadas con las habilidades que los estudiantes necesitarán en el lugar de trabajo, incluido el uso de la IA. Compartir enfoques alternativos que permitan a los estudiantes demostrar sus conocimientos y habilidades, con colegas de todas las disciplinas, es de vital importancia”.
"Confío en que, gracias a la revisión detallada de todos nuestros cursos, ya establecida en nuestra universidad, nos encontremos en una posición sólida para ayudar a nuestros estudiantes actuales y futuros a conocer los rápidos avances de la IA y a beneficiarse de ellos", concluye McCrum. ◾️
Información facilitada por la Universidad de Reading -Adaptación: Enrique Coperías / RexMolón Producciones
Fuente: Peter Scarfe, Kelly Watcham, Alasdair Clarke, Etienne Roesch. A real-world test of artificial intelligence infiltration of a university examinations system: A “Turing Test” case study. PLoS ONE (2024). DOI: https://doi.org/10.1371/journal.pone.0305354
