Funciones de detección de escritura de IA en español de Turnitin

 

¿Turnitin ofrece una solución para detectar la escritura de IA en las entregas en español?

Sí. Turnitin lanzó sus funciones de detección de escritura de IA en español para ayudar a los educadores a mantener la integridad académica y garantizar que los estudiantes reciban un trato justo.

Agregamos un indicador de escritura de IA al Reporte de Similitud. Muestra un porcentaje general del documento que la IA pudo haber generado. El indicador se vincula además a un reporte que destaca los segmentos de texto que nuestro modelo predice que probablemente la IA escribió. Tenga en cuenta que solo los instructores y los administradores pueden ver el indicador.

Es posible que nuestro modelo de detección de escritura de IA no siempre sea preciso (puede confundir el texto escrito por humanos), por lo que no debe usarse como único fundamento para tomar medidas adversas contra un estudiante. Se necesita un mayor análisis y el criterio humano, junto con la aplicación de las políticas académicas específicas de una organización, para determinar si se produjo alguna mala conducta académica.

¿Cómo funciona?

Cuando se envía un trabajo a Turnitin, la entrega se divide primero en segmentos de texto que tienen aproximadamente unas escasas cien palabras (alrededor de cinco a diez oraciones). Esos segmentos se superponen entre sí para capturar cada oración en contexto.

 

Nuestro modelo de detección de IA procesa los segmentos y le asignamos a cada oración un puntaje entre 0 y 1 para determinar si está escrita por un ser humano o por IA. Si nuestro modelo determina que una oración no fue generada por IA, recibirá un puntaje de 0. Si determina que es probable que la IA generara toda la oración, recibirá un puntaje de 1.

Al usar los puntajes promedio de todos los segmentos dentro del documento, el modelo genera una predicción general de la cantidad de texto en la entrega que creemos que la IA puede que haya generado.

Actualmente, el modelo de detección de escritura de IA en español de Turnitin puede detectar contenido de los modelos de lenguaje GPT-3.5 (turbo lanzado el 06/11/2023) y GPT-4 (lanzado el 13/06/2023). Estamos trabajando de forma activa en la expansión de nuestro modelo para que nos permita detectar mejor el contenido de otros modelos de lenguaje de IA.

¿Cómo se formó el modelo español?

Nuestro modelo está entrenado con una muestra representativa de datos distribuidos a lo largo de un periodo de tiempo, que incluye tanto la escritura académica generada por IA como la auténtica en distintas zonas geográficas y áreas temáticas. Al crear nuestro conjunto de datos de muestra, también tuvimos en cuenta a los estudiantes de un segundo idioma, con el fin de minimizar el sesgo al entrenar nuestro modelo.

¿El detector de español identifica el contenido parafraseado por IA cuando se utilizan herramientas como Quillbot, etc., para parafrasear el contenido generado por IA?

Nuestro detector de español está entrenado para detectar contenido probablemente generado a partir de GPT-3.5 y GPT-4, y la modificación del texto generado por estos sistemas tendrá un impacto en las capacidades de nuestro detector para identificar el texto que la IA quizás haya escrito. Si bien hace poco lanzamos unas funciones de detección de parafraseo de IA en nuestro detector de IA en inglés, en la actualidad estamos desarrollando unas funciones similares para el modelo español que se lanzarán en el futuro.

¿Puedo verificar las tareas enviadas anteriormente en español para la escritura de IA?

Sí. Las tareas enviadas anteriormente se pueden verificar para detectar la escritura de IA si se reenvían a Turnitin y si tiene habilitada la escritura de IA en su cuenta.

¿Qué sucederá si se envía un documento que no sea en inglés o español? 

Si se envía un trabajo que no sea en inglés o español, el detector no procesará la entrega. El indicador mostrará un estado vacío o de error con una orientación "en la aplicación" que indicará a los usuarios que esta función solo se puede utilizar para los idiomas compatibles. No se generará ningún reporte si el contenido enviado no está en inglés o español.

¿Puede mi institución tener acceso a la función de detección de IA para poder probarla? 

No, los nuevos clientes deben hablar con un representante de Turnitin para obtener una demostración de la función. 

¿Puedo yo o mi administrador desactivar el indicador y el reporte nuevos si no queremos verlos? 

Sí, los administradores tienen la opción de habilitar/deshabilitar la función de escritura de IA desde su página de configuración.  Al desactivar la función, se eliminará el indicador de escritura de IA y el informe del Reporte de Similitud, y los instructores y los administradores no lo podrán ver hasta que lo vuelvan a habilitar. Esto significará que las entregas realizadas a Turnitin no se procesarán para la detección de escritura de IA, tanto para los trabajos en inglés como en español.

¿Cambiará mi flujo de trabajo o la forma en que uso el Reporte de Similitud agregar la funcionalidad de detección de IA de Turnitin al Reporte de Similitud?

No. Esta funcionalidad adicional no cambia la forma en que usa el Reporte de Similitud o sus flujos de trabajo existentes. Nuestras funciones de detección de IA se han agregado al Reporte de Similitud para brindar una experiencia sin contratiempos para nuestros clientes. 

¿Las funciones de detección de IA estarán disponibles a través de sistemas de gestión de aprendizaje (LMS) como Moodle, Blackboard, Canvas, etc.?

Sí, los usuarios podrán ver el indicador y el reporte a través del LMS que están utilizando. Hemos logrado que la detección de escritura de IA esté disponible a través del Reporte de Similitud. No hay un indicador o un puntaje de escritura de IA integrado directamente en la interfaz de usuario del LMS, por lo que los usuarios deberán ingresar al reporte para ver el puntaje de IA.

¿En qué se diferencia la detección de Authorship dentro de Originality de la detección de escritura de IA?

La tecnología de detección de escritura IA de Turnitin es diferente de la utilizada dentro de Authorship (Originality). Nuestro modelo de detección de escritura de IA calcula el porcentaje general de texto en el documento enviado que probablemente una herramienta de escritura de IA haya generado. Authorship, por otro lado, utiliza metadatos y análisis de lenguaje forense para detectar si a la tarea enviada la escribió alguien que no es un estudiante; por ejemplo, un redactor de trabajos. No podrá indicar si la escribió la IA; solo mostrará que el contenido no es una producción propia del estudiante.

Resultados e interpretación de la detección de IA

¿Qué significa el porcentaje en el indicador de detección de escritura de IA? 

El porcentaje indica la cantidad de texto calificado dentro de la entrega que el modelo de detección de escritura de IA de Turnitin determina que la IA probablemente generó. Este texto calificado incluye solo oraciones en prosa, lo que significa que solo analizamos bloques de texto que estén escritos con oraciones gramaticales estándar y no incluyan otros tipos de escritura, como listas, viñetas u otras estructuras sin oraciones.

Este porcentaje no siempre es el porcentaje de toda la entrega. Si el texto dentro de la entrega no se considera texto largo en prosa, no se incluirá. 

 

¿Cuál es la precisión del indicador de escritura de IA en español de Turnitin?

Nos esforzamos por maximizar la efectividad de nuestro detector mientras mantenemos nuestra tasa de falsos positivos (la identificación incorrecta de texto completamente escrito por humanos como generado por IA) por debajo del 1 % para los documentos con más del 20 % de escritura de IA. En otras palabras, podríamos marcar un documento escrito por humanos como escrito por IA en uno de cada 100 documentos escritos completamente por humanos. 

 

El porcentaje que se muestra a veces no coincide con la cantidad de texto resaltado. ¿Por qué? 

A diferencia de nuestro Reporte de Similitud, el porcentaje de escritura de IA no siempre se correlaciona con la cantidad de texto en la entrega. El modelo de detección de escritura de IA de Turnitin solo busca las oraciones en prosa que se encuentran en un formato de escritura largo. El texto en prosa que se encuentra en un formato de escritura largo se refiere a las oraciones individuales que forman los párrafos de una pieza más larga de trabajo escrito, como un ensayo, una disertación o un artículo, etc. El modelo no detecta de manera confiable posibles el texto generado por IA en forma de no prosa, como poesía, guiones o códigos, ni detecta la escritura en un formato corto/no convencional, como viñetas o bibliografías anotadas.

Esto significa que un documento que contenga varios tipos de escritura diferentes daría como resultado una disparidad entre el porcentaje y los textos resaltados.

¿Qué significan los diferentes indicadores?

Al abrir el Reporte de Similitud, después de un periodo de procesamiento corto, el indicador de detección de escritura de IA mostrará uno de los siguientes:

• Azul con un porcentaje entre 0 y 100: La entrega se procesó de manera correcta. El porcentaje mostrado indica la cantidad de texto calificado dentro de la entrega que el modelo de detección de escritura de IA de Turnitin determina que probablemente la IA generó.

Como se señaló anteriormente, este porcentaje no siempre es el porcentaje de toda la entrega. Si el texto dentro de la entrega no se consideró texto largo en prosa, no se incluirá. Para explorar los resultados de las funciones de detección de escritura de IA, seleccione el indicador para abrir el reporte de escritura de IA.

En nuestras pruebas, se determinó que hay una mayor incidencia de falsos positivos cuando el porcentaje es inferior a 20. Para reducir la probabilidad de una interpretación errónea, el indicador de IA mostrará un asterisco sin ningún puntaje para los porcentajes inferiores a 20, con el fin de llamar la atención sobre el hecho de que el puntaje es menos confiable.

Para explorar los resultados de las funciones de detección de escritura de IA, seleccione el indicador para abrir el reporte de escritura de IA. El reporte de escritura de IA se abrirá en una nueva pestaña de la ventana, que se utilizará para iniciar el Reporte de Similitud. Si tiene instalado un bloqueador de ventanas emergentes, asegúrese de que permite las ventanas emergentes de Turnitin.

• Gris sin porcentaje mostrado (- -): El indicador de detección de escritura de IA no puede procesar esta entrega. Esto puede deberse a una o varias de las siguientes razones:
  • La entrega se realizó antes del lanzamiento de las funciones de detección de escritura de IA de Turnitin. La única forma de ver el indicador/reporte de detección de escritura de IA en las entregas registradas es reenviándolas.
  • La entrega no cumple con los requisitos de archivo necesarios para procesarla con éxito y así detectar la escritura de IA. Para que una entrega genere un reporte y un porcentaje de escritura de IA, debe cumplir con los siguientes requisitos:

• • • El tamaño del archivo debe ser inferior a 100 MB
    • El archivo debe tener al menos 300 palabras de texto en prosa en un formato de escritura largo
    • Los archivos no deben exceder las 30 000 palabras 
    • El archivo debe estar escrito en español
    • Tipos de archivo aceptados: .docx, .pdf, .txt, .rtf
• Error (! ): Este error significa que Turnitin no pudo procesar la entrega.  Turnitin trabaja de manera constante para mejorar su servicio, pero desafortunadamente, pueden ocurrir incidentes como este. Inténtelo de nuevo más tarde. Si el archivo cumple con todos los requisitos indicados anteriormente y aún aparece este estado de error, comuníquese con nuestro centro de soporte para que podamos investigarlo por usted.

 

¿Qué puedo hacer si siento que el indicador de IA es incorrecto? ¿Cómo maneja el indicador de Turnitin los falsos positivos? 

Si encuentra documentos que la IA escribió que no hayamos detectado o nota un trabajo auténtico de un estudiante que hayamos considerado como probablemente generado por IA, ¡háganoslo saber! Sus comentarios son fundamentales para permitirnos mejorar aún más nuestra tecnología. Puede brindar comentarios a través del botón "Feedback" (Comentarios) que se encuentra en el reporte de escritura de IA.

A veces, los falsos positivos (los que marcan de manera incorrecta el texto escrito por humanos como probablemente generado por IA) pueden incluir listas sin mucha variación estructural, un texto que literalmente se repite o un texto que se parafraseó sin desarrollar nuevas ideas. Si nuestro indicador muestra una mayor cantidad de escritura probablemente generada por IA en dicho texto, le recomendamos que lo tenga en cuenta al observar el porcentaje que aparece.

En un documento más largo con una combinación de escritura auténtica y un texto probablemente generado por IA, puede ser difícil determinar con exactitud dónde comienza la probable escritura de IA y dónde termina la original, pero nuestro modelo le servirá de guía para que se comunique con el estudiante que realizó la entrega.

En los documentos más cortos donde solo hay unos pocos cientos de palabras, es muy probable que la predicción sea de "todo o nada" porque la estamos realizando en un solo segmento, sin la oportunidad de realizar superposiciones. Esto significa que alguna parte del texto que sea una mezcla de contenido probablemente generado por IA y original podría marcarse como probablemente generado por IA por completo. 

Tenga en cuenta estos puntos mientras revisa los datos y hace un seguimiento con los estudiantes u otras personas. 

¿Los estudiantes podrán ver los resultados?

Los estudiantes no pueden ver el indicador y el reporte de detección de escritura de IA. Sin embargo, con la función de descarga de PDF, los instructores pueden descargar y compartir el informe de IA con los estudiantes.

¿El indicador de IA sube de forma automática el trabajo de un estudiante a un repositorio?

No, no es así. No hay un repositorio separado para la detección de escritura de IA. Nuestras funciones de detección de escritura de IA son parte de nuestro flujo de trabajo de Reportes de Similitud existente. En el caso de las instituciones que tienen habilitada la función de escritura de IA, cuando recibimos las entregas, estas se comparan y evalúan a través de nuestros algoritmos patentados, tanto para determinar la coincidencia de texto de similitud como la probabilidad de que la escritura sea de IA (esté generada por los LLM). 

Si está habilitada, se realiza la detección de escritura de IA en una entrega y los resultados se comparten en el Reporte de Similitud. Los resultados con respecto al porcentaje de escritura de IA identificado por el detector, junto con los segmentos reconocidos como probablemente escritos por IA, se conservan como parte del Reporte de Similitud.

¿Cuál es la diferencia entre el puntaje de similitud y el porcentaje de detección de escritura de IA? ¿Funcionan los dos completamente por separado o se influyen uno al otro?

El puntaje de similitud y el porcentaje de detección de escritura de IA son completamente independientes y no se influyen entre sí. El puntaje de similitud indica el porcentaje de texto con coincidencias que se encuentra en el documento enviado en comparación con el contenido completo de Turnitin usado para la verificación de similitudes. 

El porcentaje de detección de escritura de IA, por otro lado, muestra el porcentaje general de texto en una entrega que el modelo de detección de escritura de IA de Turnitin predice que probablemente fue generado por herramientas de escritura de IA. 

¿El modelo de Turnitin tiene en cuenta que la tecnología de detección de escritura de IA podría estar sesgada en contra de las personas que escriben en un segundo idioma?

Sí, así es. Uno de los principios orientadores de nuestra empresa y de nuestro equipo de IA ha sido minimizar el riesgo de daño a los estudiantes. Por lo tanto, al crear nuestro conjunto de datos de muestra, tomamos en cuenta grupos estadísticamente subrepresentados, como los estudiantes de un segundo idioma, con el fin de minimizar el sesgo. Las pruebas internas han demostrado que la tasa de falsos positivos entre los estudiantes de español es inferior al 1 % para los documentos con más del 20 % de contenido de IA.

¿Cómo puedo usar el porcentaje del indicador de IA en el aula con los estudiantes?

El indicador de detección de IA de Turnitin muestra el porcentaje de texto que probablemente una herramienta de escritura de IA generó, mientras que el reporte destaca los segmentos que la IA pudo haber escrito. La decisión final sobre si se produjo alguna mala conducta recae en el revisor/instructor. Turnitin no toma la determinación de que se produjo una mala conducta, sino que facilita datos para que los educadores tomen una decisión informada basada en sus políticas académicas e institucionales. 

¿Puedo descargar el reporte de IA como el Reporte de Similitud?

Sí. El reporte de detección de IA se puede descargar como PDF a través del botón "Download" (Descargar) ubicado en la esquina derecha del reporte.

¿Puedo ver los puntajes agregados de IA en las entregas de mi institución?

Sí, los administradores pueden ver los puntajes agregados de IA de su institución. Esta función actualmente solo está disponible para los administradores y muestra estadísticas a nivel de institución/padres. Tenga en cuenta que no podemos diferenciar entre los puntajes en inglés y español en esta primera iteración. Buscaremos agregar más detalle a estas estadísticas a medida que continuamos desarrollando esta función.

Alcance de la detección

¿Qué modelos de escritura de IA puede detectar el modelo de escritura de IA en español de Turnitin?

Esta iteración de las funciones de detección de escritura de IA en español de Turnitin se entrenó para detectar ciertos modelos, entre los que se incluyen GPT-3.5 (turbo lanzado el 06/11/2023) y GPT-4 (lanzado el 13/06/2023). Nuestra tecnología también puede detectar otras herramientas de escritura de IA que se basan en estos modelos, como ChatGPT. Planeamos expandir nuestras funciones de detección a otros modelos en el futuro.

¿En qué modelo se basa el modelo de detección de IA de Turnitin?

Nuestro modelo se basa en un clasificador impulsado por transformadores que se personalizó para el idioma español. Realizamos varias rondas de reentrenamiento, evaluación y ajuste cuidadosamente calibrados. Lo que realmente debemos enfatizar es que el poder único de nuestro modelo surge de los datos cuidadosamente seleccionados que hemos utilizado para entrenar al modelo y de aprovechar nuestros más de 25 años de experiencia en la escritura auténtica de los estudiantes, junto con la tecnología que desarrollamos para extraer el máximo poder predictivo del modelo entrenado en esos datos. Al entrenar a nuestro modelo, nos enfocamos en minimizar los falsos positivos y maximizar la precisión para la última generación de LLM; así nos aseguraremos de ayudar a los educadores a mantener la integridad académica mientras protegemos los intereses de los estudiantes.

Acceso y licencias

¿Cómo pueden los clientes acceder a la detección de escritura de IA? 

La detección de escritura de IA solo está disponible para los clientes que tienen una licencia de Turnitin Originality. Si es un cliente de Turnitin Similarity, Turnitin Feedback Studio (TFS) u Originality Check, hable con su administrador de cuenta de Turnitin sobre el acceso a la función de detección de escritura de IA.

Tenga en cuenta que, para los clientes que adquieren licencias de TFS, el término "OriginalityCheck" que aparece en los productos disponibles al acceder al panel de control de su cuenta institucional se refiere al componente de la licencia de TFS de su institución que permite verificar los trabajos con nuestra base de datos y generar Reportes de Similitud, y es distinto de Turnitin Originality.

Los clientes de iThenticate 2.0 pueden obtener acceso a esta función si obtienen una licencia de las funciones de escritura de IA como complemento. Hable con su administrador de cuenta para obtener más detalles.

¿La detección de escritura de IA de Turnitin es una solución independiente o es parte de otro producto?

Las funciones de detección de escritura de IA de Turnitin son una característica separada del Reporte de Similitud y están disponibles para los clientes cuando adquieren la licencia de Turnitin Originality además de su producto existente, o el complemento de escritura de IA cuando usan iThenticate 2.0.

¿Dónde puedo encontrar más información sobre esta nueva solución?

Puede encontrar información en nuestro artículo sobre las funciones de detección de escritura de IA de Turnitin.

¿Turnitin procesará mi entrega para detectar la escritura de IA si mi institución no utiliza la función?

No, solo procesaremos las entregas para detectar la escritura de IA si la institución tiene la función habilitada.

¿Puede mi institución optar por no participar si no queremos que Turnitin procese nuestras entregas para detectar la escritura de IA?

Sí, si su institución no desea que se procesen las entregas para detectar la escritura de IA, puede optar por desactivar esta función desde la página de configuración de su cuenta de administrador.

Si vuelvo a habilitar la detección de escritura de IA, ¿me mostrará de forma automática los puntajes de las entregas realizadas antes de que se habilitara?

No, no podemos procesar las entregas de forma retroactiva. Si desea procesar las entregas anteriores para detectar la escritura de IA, deberá volver a enviar el documento.

¿Puedo solicitar que se eliminen los datos de mi institución antes de desactivar la función?

Sí, los clientes pueden solicitar que se eliminen por completo sus entregas. No podemos gestionar solicitudes de eliminación parcial de datos con el fin de suprimir solo el componente de escritura de IA de los datos de las entregas.