TurnitinのAIライティング検知機能に関するFAQ

Turnitinは、日本語の提出物に対してAIライティングを検知するソリューションを提供していますか？

はい。 Turnitinは、教育者がアカデミック・インテグリティを守り、学生への公平な対応を支援するため、日本語のAIライティング検知機能をリリースしました。 これは、英語とスペイン語のAIライティング検知機能に追加されるものです。

類似性レポートにAIライティングインジケーターを追加しました。 AIが生成した可能性のあるドキュメント全体の割合を示します。 このインジケーターはさらに、当社のモデルがAIによって書かれた可能性が高いと予測したテキストセグメントをハイライト（強調表示）するレポートにリンクしています。 なお、インジケーターはインストラクターと管理者のみが表示できます。

当社のAIライティング検知モデルは、必ずしも正確とは限りません（人間が書いた文章を誤認する可能性があります）。したがって、学生に対する対応の唯一の根拠として使用すべきではありません。 学術的な不正行為があったかどうかを判断するには、組織による特定の学術的方針の適用と合わせて、さらなる精査と人間の判断が必要です。

それはどのように機能しますか？

論文がTurnitinに提出されると、このモデルでは提出された論文はまず約2～3文章のテキストのセグメントに分割されます。 次に、これらのセグメントを互いに重ね合わせて、各文を文脈の中でとらえます。

セグメントをAI検知モデルに照らし合わせ、各文章に0から1のスコアを与えて、それが人間によって書かれたものなのか、AIによって書かれたものなのかを判断します。 AIによって生成された文章ではないとモデルが判断した場合、その文章には0のスコアが与えられます。 文章全体がAIによって生成された可能性が高いと判断された場合、スコアは1になります。

文書内のすべてのセグメントの平均スコアを使用して、モデルは、AIによって生成された可能性が高いと思われる提出物内のテキスト量について全体的な予測を生成します。

Turnitinの日本語AIライティング検知モデルは、GPT-4（バージョン0613）、GPT4-o（2024年5月13日と8月6日リリース）、GPT-4o-mini（2024年7月18日リリース）の言語モデルからコンテンツを検知するように学習させています。 当社は、他のAI言語モデルからコンテンツをより適切に検知できるよう、モデルの拡張に積極的に取り組んでいます。

日本語モデルはどのように学習させましたか？

当社のモデルは、一定期間にわたる代表的なデータサンプルで学習させています。このデータには、AIが作成したものと、地域や主題分野を超えた本物の学術的な著述の両方が含まれます。

Quillbotなどのツールを使ってAIが生成したコンテンツを言い換えた場合、日本語検知器はAIが言い換えたコンテンツを識別しますか？

前のFAQに記載されているように、当社の日本語検知機能は、大規模な言語モデルによって生成された可能性の高いコンテンツを検知するように学習させており、言い換えツールによって生成されたテキストを修正すると、AIが書いた可能性の高いテキストを識別する検知機能の能力に影響を与えます。 現在、AIによる言い換え検知機能は、英語のAI検知機能でのみ利用可能です。

過去に提出された日本語のAIライティングの課題をチェックできますか？

はい。 アカウントでAIライティングを有効にし、Turnitinに再提出すると、以前に提出した課題もAIライティングの検知をチェックできます。

どの言語に対応していますか？

TurnitinのAIライティング検知機能は、英語、スペイン語、日本語で提出された長い文書について、AIが作成した可能性の高いコンテンツを検知することができます。 ただし、AIによる言い換え検知機能は、英語の提出物にのみ対応しています。

対応言語以外の論文を提出した場合はどうなりますか？ 

未対応の言語での論文が提出された場合、検知機能では提出物を処理することができません。 このインジケーターは、「アプリ内」のガイダンスとともに、この機能がサポートされている言語でのみ機能することをユーザーに通知するために、空またはエラーの状態を表示します。 提出されたコンテンツが対応言語のいずれかでない場合、レポートは生成されません。

私の教育機関は、AI検知にアクセスして試すことはできますか？

いいえ。新規のお客様は、Turnitinの担当者と相談の上、 デモンストレーションを依頼できます。

新しいインジケーターやレポートを表示したくない場合、私自身でまたは管理者がそれを非表示にできますか？

はい。 管理者は、管理者設定ページからAIライティング機能を有効および無効にすることができます。  この機能を無効にすると、類似性レポートからAIライティングのインジケーターとレポートが削除され、再び有効にするまで、インストラクターや管理者には表示されなくなります。 つまり、Turnitinに提出されたものは、AIライティング検知向けに処理されません。

TurnitinのAI検知機能が類似性レポートに追加されることで、私のワークフローや類似性レポートの使用方法は変わりますか？

いいえ。この追加機能によって、類似性レポートの使用方法や既存のワークフローが変更されることはありません。 当社のAI検知機能は、お客様にシームレスなエクスペリエンスを提供するために、類似性レポートに追加されました。

AI検知機能は、Moodle、Blackboard、CanvasなどのLMSで利用できますか？

はい。 ユーザーは、使用しているLMSを通じてインジケーターとレポートを確認できます。 類似性レポートを通じてAIライティング検知を利用できるようにしました。 LMSのユーザーインターフェースには、AIライティングのインジケーターやスコアが直接埋め込まれていないため、ユーザーはレポートにアクセスしてAIスコアを確認する必要があります。

Originalityでのオーサーシップ検出は、AIのライティング検出とどう違うのですか？

TurnitinのAIライティング検知技術は、オーサーシップ（Originality）で使用されている技術とは異なります。 当社のAIライティング検知モデルは、提出された文書に含まれるテキストのうち、AIライティングツールによって生成された可能性の高いテキストの全体的な割合を計算します。 一方、オーサーシップは、メタデータとフォレンジック言語分析を使って、提出された課題が学生以外の誰か（論文代行など）によって書かれたかどうかを検知します。 AIで書かれたものであるかどうかを示すことはできませんが、その内容が学生が自ら作成したものではないことだけはわかります。

AIの検出結果と解釈

AIライティング検出インジケーターの割合は何を意味しますか？ 

この割合は、TurnitinのAIライティング検知モデルがAIによって作成された可能性が高いと判断した、提出物内の対象となるテキストの量を示しています。 つまり、標準的な文法で書かれた文章のブロックのみを分析し、リストや箇条書きなど、文章以外の構造などの他のタイプの記述は含まれません。

この割合は、必ずしも提出物全体に対する割合ではありません。 提出物内のテキストが長い散文テキストとみなされない場合は、そのテキストは含まれません。

Turnitinの日本語AIライティングインジケーターの精度はどのくらいですか？

当社は、20％以上のAIによる文章について、誤検知率（完全に人間が書いたテキストをAIが生成した可能性が高いと誤って識別する）を1％未満に抑えながら、検知機能の有効性を最大限に高めるよう努めています。 言い換えれば、人間が書いた文書をAIが書いたものであると誤って判断してしまう確率は、完全に人間が書いた文書100件のうち1件の割合になります。

表示されるパーセンテージが、ハイライト（強調表示）されたテキストの量と一致しない場合があります。 それはどうしてですか？

類似性レポートとは異なり、AIライティングの割合は必ずしも提出物のテキスト量と相関するわけではありません。 TurnitinのAIライティング検知モデルは、長文に含まれる散文のみを検知します。 長文に含まれる散文とは、エッセイ、論文、記事など、より長い著作物を構成する段落に含まれる個々の文章を意味します。このモデルでは、詩、スクリプト、コードなど、散文以外の形式でAIが生成した可能性の高いテキストを確実に検知することはできません。また、箇条書き、注釈付き参考文献、表内のテキストなど、短い形式や自由な文章も検知できません。

つまり、複数の異なる記述タイプを含む文書では、割合とハイライト（強調表示）の間に格差が生じることになります。

それぞれのインジケーターは何を意味しますか？

類似性レポートを開くと、短時間の処理の後、AIライティング検知インジケーターに以下のいずれかが表示されます。

• パーセンテージが0～100の場合は青色： 提出物は正常に処理されました。 表示されるパーセンテージは、TurnitinのAIライティング検知モデルがAIによって生成された可能性が高いと判断した、提出物内の適格なテキストの量を示します。

前述の通り、このパーセンテージは必ずしも提出物全体に対するパーセンテージではありません。 提出物内のテキストが長文の散文とみなされない場合は、そのテキストは含まれません。 AIライティング検知機能の結果を調べるには、インジケーターを選択してAIライティングレポートを開きます。

当社のテストでは、パーセンテージが20未満の場合、誤検知の発生率が高くなることが判明しています。 誤検知の可能性を減らすため、AIインジケーターにはアスタリスクが表示され、スコアの信頼性が低いという事実に注意を促すため、パーセンテージが20未満の場合はスコアが表示されません。

AIライティング検知機能の結果を調べるには、インジケーターを選択してAIライティングレポートを開きます。 AIライティングレポートは、類似性レポートの起動に使用したウィンドウの新しいタブで開きます。 ポップアップブロッカーがインストールされている場合は、Turnitinのポップアップが許可されていることを確認してください。

•  

  • パーセンテージが非表示の場合は灰色（- -）： AIライティング検知インジケーターは、この提出物を処理できません。 これは、以下の理由のいずれか、または複数が原因である可能性があります。
    • この提出物は、TurnitinのAIライティング検知機能がリリースされる前に行われました。 過去の提出物に対するAIライティング検知インジケーター／レポートを確認する唯一の方法は、再提出することです。
    • 提出物は、AIライティング検知を正常に処理するために必要なファイル要件を満たしていません。 AIライティングレポートとパーセンテージを生成するためには、提出物は次の下の要件を満たす必要があります。
      • ファイルサイズが100MB未満である
      • ファイルには、長文形式で300語以上の散文テキストが含まれている
      • ファイルが30,000語未満である 
      • ファイルは次のサポートされている言語で作成する必要があります。 英語、スペイン語、日本語
      • 有効なファイルタイプ：.docx、.pdf、.txt、.rtf

  エラー（！ ）： このエラーは、Turnitinが提出物の処理に失敗したことを意味します。  Turnitinはサービスの改善に常に取り組んでいますが、このような事態が発生することがあります。 後でもう一度やり直してください。 上記のファイル要件をすべて満たしているにもかかわらず、このエラーが表示される場合は、当社で調査いたしますので サポートセンター までご連絡ください。

AIインジケーターが正しくないと感じた場合、どうすればよいですか？ Turnitinのインジケーターはどのように誤検出に対処していますか？ 

もし、当社で見逃したAI生成の文書や、AIで書かれた可能性が高い考えられる実際の学生の提出物を見つけた場合は、当社までお知らせください。 皆様からのフィードバックは、当社の技術をさらに向上させるために非常に重要です。 AIライティングレポートにある「フィードバック」ボタンからフィードバックを提供することができます。

誤検知（人間が書いたテキストをAIが作成した可能性が高いと誤って判断すること）には、構造的なバリエーションが少ないリスト、文字どおり同じことを繰り返すテキスト、新しい考えに発展させずに言い換えたテキストなどが含まれることがあります。 当社のインジケーターが、このような文章に対してAIが書いている可能性が高いことを示した場合、表示されたパーセンテージを見る際には、その点について注意してください。

学生によって書かれた文章とAIが作成したと思われる文章が混在する長い文書では、どこからがAIが作成したと思われる文章で、どこからがオリジナルの文章かを正確に判断することは難しいかもしれません。しかし、当社のモデルは、課題を提出した学生との会話を促進するためのガイドとして活用いただけます。

数百文字しかないような短い文書では、重複する機会のない単一のセグメントに基づいて予測するため、予測はほとんど「オール・オア・ナッシング」になります。 つまり、AIが作成した可能性の高いコンテンツとオリジナルのコンテンツが混在するテキストは、完全にAIが作成した可能性が高いとしてフラグが立てられる可能性があります。 

データを確認し、学生やその他の方とフォローアップする際には、これらの点を考慮してください。

学生たちが結果を見ることはできますか？

Turnitin Originality を使用している場合、AI ライティング検出インジケーターとレポートは学生には表示されません。ただし、PDF ダウンロード機能を使用することで、インストラクターは AI レポートをダウンロードして学生と共有することができます。iThenticate 2.0 をご利用のお客様は、すべてのユーザーが AI ライティングにアクセスできます。

AIインジケーターは、学生の論文を自動的にリポジトリにフィードしますか？

いいえ、そのようなことはありません。 AIライティング検知用の独立したリポジトリはありません。 当社のAIライティング検知機能は、既存の類似性レポートワークフローの一部です。 AIライティング機能を有効にしている教育機関の場合：提出物を受け取ると、類似性テキストのマッチングとAIライティング（LLMによって生成された）である可能性の両方について、当社独自のアルゴリズムによって比較および評価されます。 

有効にすると、AIライティング検知が提出物に対して実行され、その結果が類似性レポートで共有されます。 検知機能によって識別されたAIライティングのパーセンテージと、AIライティングの可能性が高いと識別されたセグメントに関する結果は、類似性レポートの一部として保存されます。

類似性スコアとAIライティング検出率の違いは何ですか？ この2つは完全に別物ですか、それとも互いに影響し合っていますか？

類似性スコアとAIライティング検知率は完全に独立しており、互いに影響し合うことはありません。 類似性スコアは、類似性チェックのためにTurnitinのコンテンツの包括的なコレクションと比較したときに、提出された文書で見つかった一致するテキストのパーセンテージを示します。 

一方、AIライティング検知のパーセンテージは、TurnitinのAIライティング検知モデルがAIライティングツールによって生成された可能性が高いと予測する提出物のテキストの全体的なパーセンテージを示します。

AIインジケーターのパーセンテージは、学生に対してどのように使えばよいでしょうか？

TurnitinのAI検知インジケーターは、AIライティングツールによって生成された可能性の高いテキストのパーセンテージを示し、レポートはAIライティングの可能性のあるセグメントをハイライト（強調表示）します。 不正行為があったかどうかの最終判断は、レビュー者／インストラクターに委ねられます。 Turnitinは不正行為の判定を行うものではなく、教育関係者が学問的および組織的な方針に基づいて十分な情報に基づいた判断を行うためのデータを提供するものです。

類似性レポートのようにAIレポートをダウンロードできますか？

はい。 AI検知レポートは、レポートの右隅にある「ダウンロード」ボタンからPDFでダウンロードできます。

自分の教育機関の提出課題全体に関するAIスコアの集計を見ることはできますか？

はい。 管理者は、教育機関のAIスコアを集計して見ることができます。 この機能は現在、管理者のみが利用でき、教育機関／親レベルでの統計が表示されます。 なお、第1回目の処理では、提出物の言語に基づくスコアの区別をすることはできません。 当社は、この機能をさらに発展させながら、これらの統計にさらに詳細情報を加えていく予定です。

検知範囲

Turnitinの日本語AIライティングモデルでは、どのAIライティングモデルを検知できますか？

Turnitinの日本語AIライティング検知機能におけるこのバージョンは、GPT-4（バージョン0613）、GPT4-o（2024年5月13日と2024年8月6日リリース）、GPT-4o-mini（2024年7月18日リリース）の言語モデルから生成されたコンテンツを検知するように学習させています。 当社の技術は、ChatGPTのような、これらのモデルに基づく他のAIライティングツールも検知することができます。 今後、他のモデルにも対応できるよう、検知機能を拡大していく予定です。

TurnitinのAI検知モデルはどのモデルに基づいていますか？

当社のモデルは、日本語用にカスタマイズされたトランスフォーマーベースの分類機能に基づいています。 当社は、慎重に調整された再トレーニング、評価、微調整を何度も繰り返しました。 強調すべき点である当社のモデルの独自なパワーは、本当に学生によるライティングかどうかを判断する当社の25年以上の専門知識を活用し、当社が開発した技術とともに、注意深くキュレートされたデータに基づいて学習させたモデルから最大の予測力を引き出します。 当社のモデルを学習させる際、学生を守りながら教員がアカデミック・インテグリティを維持できるよう、最新世代のLLMの精度を最大限に高めつつ、誤検知を最小限に抑えることに注力しました。

アクセスとライセンス

顧客はどのようにしてAIライティング検出を利用できますか？ 

AIライティング検知は、Turnitin Originalityのライセンスをお持ちのお客様のみご利用いただけます。 Turnitin Similarity、Turnitin Feedback Studio（TFS）、Originality Checkをご利用のお客様は、AIライティング検知へのアクセスについてTurnitinアカウントマネージャーにご相談ください。

TFSのライセンスをお持ちのお客様は、機関アカウントダッシュボードにアクセスした際に利用可能な製品に記載されている「Originality Check」は、お客様の機関のTFSライセンスの部分を指し、論文を当社のデータベースと照合し、類似性レポートを作成することができ、Turnitin Originalityとは異なります。

iThenticate 2.0のお客様は、AIライティング機能をアドオンとしてライセンスすることで、この機能にアクセスすることができます。 詳しくはアカウントマネージャーにご相談ください。

TurnitinのAIライティング検知は独立したソリューションですか、それとも別の製品の一部ですか？

TurnitinのAIライティング検知機能は、類似性レポートとは別の機能であり、既存製品に加えてTurnitin Originalityをライセンス契約する場合、またはiThenticate 2.0を使用している場合はAIライティングアドオンをライセンス契約する場合にご利用いただけます。

この新しいソリューションに関する詳しい情報はどこで入手できますか？

TurnitinのAIライティング検出機能については、こちらのページをご覧ください。

私の教育機関がこの機能を使用していない場合、Turnitinは私の提出物を処理してAIライティング検知を行いますか？

いいえ。教育機関がこの機能を有効にしている場合のみ、提出物に対するAIライティング検知を行います。

提出物に対するTurnitinによるAIライティング検知をを望まない場合、教育機関はオプトアウトできますか？

はい。 教育機関が提出物に対するAIライティング検知処理を望まない場合は、管理者アカウントの設定ページからAIライティング検知を無効にして、オプトアウトすることができます。

AIライティング検出を再び有効にした場合、有効にする前に提出されたスコアは自動的に表示されますか？

いいえ。提出物をさかのぼって処理することはできません。 過去に提出した文書に対してAIライティング検知を実行したい場合は、文書を再提出する必要があります。

機能を無効にする前に、私の教育機関のデータ削除を要求できますか？

はい。 お客様は、提出物の完全なデータ削除をリクエストすることができます。提出物データのAIライティング部分のみを削除する部分的なデータ削除リクエストには対応していません。