まずは、個人アカウントのプロビジョニングを行います。Turnitin経由で所属機関に提出されたレポートはすべてAuthorship for Investigatorsによって処理され、Authorship for Investigatorsアカウントの「マイダッシュボード」エリアに表示されます。
ダッシュボード本文
ダッシュボード本文には、提出物の予測スコアが0.573以上である学生が表示されます。
さらに調査したい学生を含む行を選択して、レポートを開きます。
ダッシュボード本文には、Turnitinアカウントに提出を完了したすべての学生が表示されるわけではありません。以下の学生のみが表示されます。
- Turnitin アカウントに複数のファイルを送信している。
- 学生 ID を明示して提出した。
- 予測スコアが0.57を超えている。
- 2つ以上のフラグを含む課題がある。
学生は、しきい値または提出日でフィルター処理できます。
ダッシュボードには6つの列があります。
名前
1列目には、学生の名前が含まれます。
ダッシュボードは、学生 ID を含む論文のレポートのみを生成します。登録していない学生や、直接提出またはクイック送信を使用した学生は、ダッシュボードに表示されません。
優先度
2列目には、予測スコアに基づく学生の優先度が表示されます。これは、クリティカル、高、なし、のいずれかになります。列タイトルの横にある疑問符を選択すると、ダッシュボードの優先度、予測スコア、平均予測スコアの詳細が表示されます。
フラグ
3 列目には、レポートで検出されたフラッグの数が表示されます。
フラッグは、学生の作品が完全に自作ではない可能性を示す目に見える証拠です。ファイルのメタデータが学生の情報と一致しない場合、または複数のドキュメント間でメタデータが異なる場合は、警告を発します。
フラッグは別の作者の証拠ではなく、学生の執筆物を再確認を提案するものです。
この数値にカーソルを合わせると、そのレポートでどのフラッグがハイライト表示されているかが分かります。
フラグの詳細を確認し、ダッシュボードでフラグの平均数を確認するには、列のタイトルの横にある疑問符を選択します。
最終提出日
4 列目には、この学生による最後の提出日が表示されます。
学生が新しい論文を提出するたびに、改めてレポートが作成されます。この場合、この学生の以前のダッシュボード レポートが上書きされます。
ステータス
5 列目には、レポートの状態が表示されます。ここでのステータスは、最後に保存された学生のオーサーシップレポートのステータスを反映します。ステータスを使用して優先順位を付け、特定の学生を調査します。ステータスを更新するには、レポートを開く必要があります。
最終保存者
「最終保存者」列には、概要コメントを最後に残した、またはオーサーシップレポートの調査ステータスを最後に選択した調査員が表示されます。
ダウンロード
ダッシュボードを .csv ファイルとしてダウンロードするには、[ダウンロード] ボタンを選択します。
ダッシュボードから、ある学生を除外する。
学生名の横にあるチェックボックスをオンにして、対象の学生を選択します。選択した学生は、ダッシュボードから除外されます。複数の学生を一度に選択して除外できます。
除外された学生は、今後の提出物で2つ以上のフラグが付いたり、スコアが0.57を超えたりした場合でも、ダッシュボードに表示されません。 学生が所属する教育機関に何らかの理由で在籍しなくなった場合にのみ、その学生を除外するようにしてください。
除外された学生のレポートは、.csvダウンロードに含まれません。
ダッシュボードから除外した学生を確認するには、「却下済みを表示」を選択します。
ダッシュボードのフィルター処理
しきい値による
予測スコアでダッシュボードをフィルター処理できます。これを行うには、3 つのフラッグフィルターを使用します。
以下の3つのフィルターがあります。
すべてのフラグ - スコアが0.57を超えるすべてのレポートが表示されます。このしきい値は、レポート代行の可能性があるすべてのレポートをキャプチャして計算したしきい値です。
ハイスコア - スコアが0.57から0.76までのすべてのレポートが表示されます。レポート代行の可能性があるレポートをキャプチャするために、このしきい値スパンは計算済みです。
クリティカルスコア - スコアが0.77から0.100までのすべてのレポートが表示されます。このしきい値スパンは、さらに調査を必要とするフラッグと異常の数が最も多いケースを識別するものです。
日付範囲別
ダッシュボードの上部には、最新の提出日でレポートをフィルター処理する機能があります。
フィルターを設定できる最も古い日付は、Turnitin Originalityのライセンスがプロビジョニングされた日付です。 アカウントをプロビジョニングしたばかりの場合は、選択可能な日付範囲が限定的になる可能性があります。 学生がプロビジョニング日以降に提出を行うと、過去の提出物がダッシュボードに表示されるようになります。
日付範囲ドロップダウンを選択してカレンダーを表示し、レポートを表示する日付範囲を選択します。日付を次の形式で入力することもできます。2019 年 8 月 1 日。
学生の行は、提出のたびに更新されます。古い提出日を使用している場合は、調査する学生が表示されない場合があります。
予測スコアの根拠について
予測スコアは、ダッシュボードで各学生に割り当てられる0～1のスコアです。スコアが1に近づくほど、調査の必要性が高くなります。これは、自然言語処理（NLP）メソッドを使用するTurnitinの予測アルゴリズムを使用して計算されます。
NLP は人工知能の一領域で、コンピューターが人間の言語を理解および処理し、コンピューターを人間レベルの言語理解に近づけることを可能にすることに焦点を当てています。
Turnitin の予測アルゴリズムの裏側
予測アルゴリズムは、同一の学生が作成したレポートと異なる学生が作成したレポートを含むラベル付きデータセットを使用してトレーニングされています。 機械学習アルゴリズムは、オーサーシップが適切か不適切か示す特徴を学習するため、何百もの言語的特徴をまたいで大規模なラベル付きデータセットでトレーニングされています。 さらに、モデルがトレーニングデータ以外のデータに対応可能であることを確認するために、トレーニング済みのアルゴリズムを別の大規模なテストおよび検証データセットでテストしています。
これらの言語的特徴は、多くの場合、貴重なデータとして提示するには複雑すぎます。そのため、これらの複雑な特徴を組み合わせて、学生のレポートの評価に使用できるわかりやすいスコアを提供しています。
それは正確ですか?
Turnitinの精度目標は、採点者がレポート代行を特定するように指示された場合、どの程度正確に不正行為を識別できるかについてまとめられた、ディーキン大学の調査に基づいて設定されています。その研究では、レポート代行を62%の確率で特定できました。当社のアルゴリズムは、予測アルゴリズムの検証に基づいて異なる作成者を特定する際に、同じレベルの感度 (検出率) を持つものにチューニングされています。
Authorship for Investigators を使用する機関が多ければ多いほど、予測モデルの精度は上がっていきます。
弊社が学生がレポート代行を行ったと主張することはありません。あくまで、さらなる調査を推奨するまでです。レポート代行の申し立てを行うのに十分な証拠があるかどうかを判断するのは調査担当者にかかっています。