1.データセットとは？

データセットとは、データ分析や機械学習のシーンに利用される、一定の形式に整えられたデータを集めてまとめたものです。主に膨大なデータを収集して解析する際に用いられます。また、AIの機械学習（※1）の対象となる学習データとして利用されています。

※1 機械学習：コンピュータが大量のデータを分析してパターンや規則性を見つけ出し、予測や意思決定の精度を向上させる技術。

例えばAIモデル開発を行う際には、あらかじめ機械学習を行わせるトレーニングを行い、その後のテストにおいても利用します。データセットは正確な分析や予測、データ学習に欠かせない存在です。

機械学習によく使われるデータセットには、画像データセットや動画データセット、テキストデータセットのほか、専門分野のデータセットがあります。専門分野のデータセットには、公共機関によるデータセットや医療データセット、金融データセットなど多様な種類があります。

データセットとデータベースとの違い

データセットが「データの集合体」であると知り、「データベース」との違いはどこにあるのか気になった方もいるのではないでしょうか。

データベースはデータを集約する点ではデータセットと同様ですが、データベースはデータの長期的な保存や複数ユーザーのアクセス、管理などを目的としている点でデータセットと異なります。

データセットの目的はデータ分析や機械学習に役立てられることにあります。

2.データセットの種類

機械学習に利用されるデータセットは、次の3つに分類されます。

トレーニングセット

トレーニングセットとは、文字通り、AIモデルのトレーニングに活用するデータセットです。AI開発の際に最初に使われる学習用セットで、AIに目的に応じた基本的な知識を身につけさせるために使用されます。AIはこのトレーニングデータをもとにデータのパターンや特徴を学習します。

トレーニングセットには、アノテーション（※2）と呼ばれるタグ（ラベル）付け作業が行われます。このときのタグ（ラベル）付けは、AIに「正解」だと認識させるためのタグ（ラベル）が付けられます。

※2 アノテーション：AIが機械学習に利用するデータを作る作業。タグ（ラベル）を付けてAIが効率よく学習できるように情報整理し、解釈を明確にする。

バリデーションセット

バリデーションセットとは、検証データのセットです。つまり、AIの性能を評価・検証するために使用するデータセットです。

トレーニングデータを学習させたAIのパラメータを調整するために利用します。AIモデルの性能を左右するパラメータを最適化するのが目的です。バリデーションセットを用いてパラメータを調整することで、AIモデルが最適化され、予測や分析のパフォーマンス向上につながります。

テストセット

テストセットは、最終的なAIモデルの性能を評価するために使用するデータセットです。これまで使われたデータセットとは異なるものを用いることで、AIが正確に予測・分析・生成などができるかをテストします。AIにとっては未知なる初めてのデータセットとなるため、最終試験を受けるイメージとなります。

これらのデータセットを用いてAIモデルが最適化されます。

3.データセットの準備方法と作り方

実際にAIモデルを構築する際には、データセットを用意する必要があります。データセットの準備方法には主に次の4つの手段があります。

1.オープンデータセットを活用する：政府や企業、大学が無料で提供しているデータセットを活用します。
2.データセットを購入する：アノテーション済みのデータセットを販売している企業から購入します。
3.外注する：データ収集やアノテーションなどを含めたデータセット作りを外注する方法です。
4.自社で作成する：データセットを自社で内製する方法です。

データセットは自らデータ収集を行い、アノテーションを行うことで作ることができます。ここでは、自社で作成する方法を手順を追って解説します。

1.目的の明確化
AIモデルを開発する目的を明確にします。

2.データ収集
目的を達成するために必要なデータを洗い出し、収集します。社内に蓄積されているデータやアンケート調査結果などを用います。

3.アノテーション
収集したデータに対し、アノテーションを行います。トレーニングセットには「正解」のタグ（ラベル）を付けます。

4.データ加工
コンピュータが読み取りやすいように欠損データの補完や削除、外れ値・異常値の除去などを行います。

5.データ分割
加工が済んだらデータをトレーニングセットとテストセットに分割するなどして、AIモデルの構築に利用します。

4.データセットを作る・準備する際の注意点

データセットを自社で内製する際や、外部から調達する際に、注意するべきことを見ていきましょう。

データ品質の確保

AIモデルの開発はデータによって行われます。よって、データの品質が直接AIの精度に影響します。そのことを踏まえたうえで、データセットを準備しましょう。そうなると、データセットは高品質であることが必要です。

データセットを準備する方法のうち、最もデータの品質が高く見込めるのは、外注と内製といえるでしょう。外注では専門家が自社の目的に合わせて高品質なデータを大量に収集し、アノテーションや加工を実施してくれるところを選ぶべきです。しかし外注にはコストがかかるという懸念点があります。

内製の場合も精度を高められますが、膨大な量のデータを自社だけで集めるのは現実的ではないでしょう。最適な方法を選び、データセットのデータ品質を確保しましょう。

アノテーションの精度の確保

精度の高いAIモデルの開発を進めるには、正確性や一貫性のある精度の高いアノテーションを行うことが重要です。品質を均一化することも求められるため、内製が難しいこともあるでしょう。その場合は外注が向いています。

著作権への配慮

自社でデータ収集して内製する場合、Webスクレイピングなどで実施すると思われますが、その際、著作権侵害にならないかなど、十分に注意しなければなりません。
またAI開発への利用の承諾を得る必要のあるケースもありますので、注意しましょう。

5.まとめ

データセットは、AIモデルの開発に欠かせないデータの集合体です。データセットは高品質なものほどAIモデルの精度が上がります。注意点を踏まえた上で、最適なデータセットを準備し、AI開発を進めましょう。

リコーは多岐にわたるAI関連サービスのご提供が可能です。AI導入をご検討の際は、ぜひ、お気軽にご相談ください。

リコーのAIソリューションカタログ

リコーのAIサイト