目次(23項目)
「データサイエンス」と聞くと、難しい数学やプログラミングを使って、大量の数字を分析する学問だと思うかもしれません。
しかし、データサイエンスで扱うのは数字だけではありません。
私たちが普段撮影する写真、スマートフォンで録音した音声、SNSに投稿された文章、アンケートの回答なども、すべてデータとして扱うことができます。
では、これらのまったく異なる情報を、どのように分析するのでしょうか。
実は、データサイエンスでは、いきなり難しい計算をするわけではありません。
まず、どのようなデータがあるのかを理解し、目的に合ったデータを集め、分析できる状態に整える必要があります。
この「データを整える作業」が前処理です。
今回は、データサイエンスを初めて学ぶ人に向けて、データの種類、収集方法、前処理の基本を具体例から解説します。
1. そもそもデータサイエンスとは?
データサイエンスとは、さまざまなデータを収集・整理・分析し、そこから傾向や規則性を発見して、問題の理解や意思決定に役立てる分野です。
例えば、学校で次のような疑問が生まれたとします。
「勉強時間が長い生徒ほど、テストの点数が高いのだろうか?」
これを調べるには、生徒の勉強時間とテストの点数を集める必要があります。
| 生徒 | 勉強時間 | テスト点数 |
|---|---|---|
| A | 30分 | 60点 |
| B | 60分 | 75点 |
| C | 90分 | 85点 |
| D | 120分 | 80点 |
この表を眺めるだけでも、勉強時間と点数に何らかの関係がありそうだと考えられます。
しかし、ここで「勉強時間を長くすれば、必ず点数が上がる」と判断するのは早すぎます。
もともとの学力が異なるかもしれませんし、勉強の内容やテストの難易度が違うかもしれません。
データサイエンスでは、このような問題を考えながら、データの特徴や関係性を調べていきます。
データ分析は「計算」から始まるわけではない
基本的な流れを整理すると、次のようになります。
① 目的を決める
何を知りたいのか、どのような問題を解決したいのかを明確にします。
↓
② データを集める
目的に必要な情報を、調査や記録などから収集します。
↓
③ データを整える(前処理)
入力ミス、欠損、単位の違いなどを確認し、分析できる状態にします。
↓
④ 分析・可視化する
平均値やグラフなどを使って、特徴や規則性を調べます。
↓
⑤ 結果を解釈する
分かったことと、まだ分からないことを区別し、判断や改善につなげます。
この流れの中で、今回特に理解したいのが②と③です。
図1
データ分析の基本的な流れ
この記事で特に理解したいのは、2番目(データを集める)と3番目(データを整える=前処理)です。
-
目的を決める
何を知りたいのか、どのような問題を解決したいのかを明確にします
-
データを集める
目的に必要な情報を、調査や記録などから収集します
-
データを整える(前処理)
入力ミス、欠損、単位の違いなどを確認し、分析できる状態にします
-
分析・可視化する
平均値やグラフなどを使って、特徴や規則性を調べます
-
結果を解釈する
分かったことと、まだ分からないことを区別し、判断や改善につなげます
なぜなら、どれほど高度な分析方法を使っても、集めたデータ自体に問題があれば、結果も信用できなくなるからです。
2. データにはどんな種類がある?
データは一つの方法だけで分類されるわけではありません。
「何を表しているか」「どのような形式で保存されているか」「どのように数値として扱うか」といった観点によって分類できます。
まずは全体像を確認しましょう。
| 分類の観点 | 代表的な種類 | 具体例 |
|---|---|---|
| 情報の内容 | 数値・文章・画像・音声・動画 | 売上、口コミ、写真 |
| データの構造 | 構造化・半構造化・非構造化 | Excel、JSON、写真 |
| 数値の性質 | 離散データ・連続データ | 人数、身長 |
| 値の意味 | 量的データ・質的データ | 年齢、血液型 |
| 記録する時間 | 横断データ・時系列データなど | ある日の調査、毎日の気温 |
これらは互いに排他的な分類ではありません。
例えば「毎日の気温を記録したExcelファイル」は、数値データであり、連続的な量を測定したデータであり、時系列データでもあります。
一つのデータが複数の性質を持つことを理解しましょう。
3. アナログデータとデジタルデータは何が違う?
データの種類を理解する前提として、アナログとデジタルの違いも知っておきましょう。
アナログは連続的、デジタルは離散的
アナログは、連続的に変化する量をそのまま表現する考え方です。
例えば、アナログ時計の秒針は、時間の経過に合わせて連続的に動きます。
一方、デジタル時計では「10時15分30秒」のように、決められた単位で時間を表示します。
デジタルデータでは、このように情報を区切られた値として表現します。
ただし、デジタル時計でも秒以下を表示できるように、どこまで細かく記録するかは仕組みによって異なります。
なぜコンピュータは0と1を使うの?
コンピュータは基本的に情報を0と1の組み合わせで表現します。
この0か1の情報を1つ記録する単位が「ビット(bit)」です。
1ビットなら、表現できる状態は2通りです。
2ビットなら、00・01・10・11の4通りです。
8ビットなら、2の8乗で256通りの状態を表現できます。
8ビットは1バイト(Byte)に相当します。
文章も写真も動画も、コンピュータの内部ではこうした情報の組み合わせによって表現されているというわけです。
デジタル化すると何が便利なの?
デジタルデータには、複製・保存・検索・共有・加工がしやすいという特徴があります。
例えば、紙のアンケートを100枚集めた場合、回答を数えるには一枚ずつ確認しなければなりません。
しかし、回答をデジタルデータとして保存すれば、Excelなどで集計できます。
紙のアンケートを画像として保存しただけでは、そのまま回答を集計できるとは限りません。文字を読み取り、回答を項目ごとに整理する作業が必要です。
4. 数値データ・文章・画像・音声・動画の違い
① 数値データ
数値データは、数で表される情報です。
例えば、気温、身長、売上金額、テストの点数などがあります。
数値データの中には、次の2種類があります。
離散データ
取り得る値が飛び飛びになっているデータです。
例えば、教室にいる生徒の人数は、20人、21人、22人のように数えます。
通常、20.5人という人数にはなりません。
連続データ
ある範囲の中で、連続的な値を取り得る量です。
例えば身長は、160cm、160.5cm、160.53cmというように、理論上はさらに細かく測れます。
ただし、実際に記録するときは測定器の精度に合わせて丸められます。
ここで混乱しやすいのは、アナログ・デジタルの分類と、離散・連続という量の性質の分類は別だという点です。
身長は連続的な量ですが、デジタルの表に記録できます。
② 文章データ
SNSへの投稿、ニュース記事、アンケートの自由記述などが文章データです。
例えば、飲食店の口コミとして次の文章があったとします。
「料理はおいしかったけれど、提供されるまで時間がかかりました。」
人間なら、料理には満足しているものの、待ち時間には不満があると理解できます。
しかし、コンピュータがこの文章を分析するには、文字や単語などを一定の方法で表現する必要があります。
文章を処理しやすい単位に分割することを、トークン化といいます。
文章の意味を分析する際には、単語などを数値に変換する処理も利用されます。
このように言語をコンピュータで扱う分野を、自然言語処理といいます。
③ 画像データ
写真やイラストなどもデータです。
デジタル画像は、小さな点である「ピクセル」を組み合わせて表現されます。
例えば、横1920ピクセル、縦1080ピクセルの画像には、207万3600個のピクセルがあります。
一般的なカラー画像では、各ピクセルの色を赤(R)、緑(G)、青(B)の組み合わせで表現します。
各色を8ビットで表現すると、それぞれ256段階になるため、組み合わせは約1677万色です。
こうした仕組みを利用することで、コンピュータは画像を保存したり、画像内の物体を識別したりできます。
④ 音声データ
人の声や音楽もデータです。
音は空気の振動によって生まれます。
音声をデジタル化するときには、一定の時間間隔で音の波の状態を測定します。
これを標本化(サンプリング)といいます。
さらに、測定した値を決められた段階の数値として表現することを量子化といいます。
音声データでは、音の高さや強さ、時間による変化などを分析できます。
例えば、音声認識や話者の特徴の分析などに利用されています。
⑤ 動画データ
動画は、連続する画像と音声などを組み合わせたものです。
動画は、パラパラ漫画のように、画像を連続して表示することで動きを表現します。
1秒間に表示する画像の枚数をフレームレートといい、fpsという単位で表します。
例えば30fpsなら、1秒間に30枚の画像を表示します。
動画分析では、物体の動きや時間的な変化を捉えることができます。
5. 構造化データと非構造化データは何が違う?
データサイエンスで特に押さえたいのが、データの構造による分類です。
構造化データとは?
構造化データとは、あらかじめ決められた項目や形式に従って整理されたデータです。
例えば、次のような表を考えましょう。
| 商品 | 価格 | 販売個数 |
|---|---|---|
| りんご | 150円 | 20個 |
| バナナ | 120円 | 30個 |
| みかん | 100円 | 25個 |
商品名、価格、販売個数という項目が決まっています。
このような表であれば、売上金額を計算したり、販売個数を比較したりしやすくなります。
ExcelやCSV、データベースの表などが代表例です。
非構造化データとは?
非構造化データとは、表のように項目や形式が統一されているとは限らないデータです。
写真、録音した音声、動画、自由形式の文章などが代表例です。
例えば、100枚の料理写真があったとしても、それだけでは「どの写真にカレーが写っているか」を簡単に表形式で集計できません。
写真の内容を識別したり、人間が分類したりする必要があります。
半構造化データとは?
構造化と非構造化の中間的な性質を持つものに、半構造化データがあります。
代表例としてJSONやXMLなどがあります。
これらは、一般的な表のようにすべての行が同じ列を持つとは限りませんが、項目名や階層構造などを持っています。
例えば、商品ごとに商品名・価格・レビューなどの項目を整理できます。
なお、写真にタグを付けても、その写真の画像部分自体が構造化データになるわけではありません。写真に関する情報が整理され、検索や管理に利用しやすくなると理解しましょう。
メタデータとは?
メタデータとは、「データについて説明するデータ」です。
例えば、スマートフォンで撮影した写真には、撮影日時や画像サイズ、機器情報、位置情報などが付いている場合があります。
写真そのものとは別に、写真についての情報が記録されているのです。
また、書籍についての著者名、発行年、タイトルなどもメタデータの例です。
これによって、データの管理や検索がしやすくなります。
アノテーションとは?
アノテーションとは、データに意味を示すラベルや注釈を付けることです。
例えば、猫の写真に「猫」というラベルを付けることが考えられます。
AIに猫を識別させるための学習データを作るときには、このようなラベルが必要になります。
ただし、ラベルを付ける人の判断が誤っていれば、AIが誤った関係を学習してしまう可能性があります。
データの品質は、数値の正確さだけでなく、付けられたラベルの正確さにも左右されるのです。
6. 量的データと質的データの違い
もう一つ覚えておきたいのが、量的データと質的データの区別です。
量的データは、数値の大小や差などに意味があるデータです。
一方、質的データは、種類や分類を表すデータです。
例えば、テストの点数は量的データですが、血液型は質的データです。
ここで注意したいのが、「数字で書かれているから量的データ」とは限らないことです。
例えば、アンケートで次のように回答を設定したとします。
1=満足、2=普通、3=不満
この1、2、3は数字ですが、回答の分類を示しています。
数値を足して6になるからといって、満足度が6という意味にはなりません。
また、データは測り方(尺度)によって4つの水準に分けられます。名義尺度と順序尺度は質的データ、間隔尺度と比例尺度は量的データにあたります。
| 種類 | 特徴 | 例 |
|---|---|---|
| 名義尺度 | 分類に意味があり、順序はない | 血液型、居住地域 |
| 順序尺度 | 分類に順序がある | 満足・普通・不満 |
| 間隔尺度 | 数値の差に意味がある | 摂氏温度 |
| 比例尺度 | 差と比に意味があり、意味のあるゼロ点を持つ | 身長、重さ、時間の長さ |
これらの尺度の違いによって、適切な集計方法も変わります。
例えば、満足度を5段階で答えてもらった場合、回答に順序はありますが、1と2の差が4と5の差と同じとは限りません。
平均値を利用することもありますが、その場合は回答の段階を等間隔のように扱う仮定を置いていることを理解する必要があります。
数字の形をしていることと、数として計算してよいことは別なのです。
7. データはどのように収集するの?
ここまでデータの種類を確認してきました。
では、実際にデータを集めるときには、どのような方法があるのでしょうか。
代表的な方法として、アンケート調査、観察・測定、既存データの利用、Webサイトやシステムの記録などがあります。
① アンケートで収集する
人の意識、行動、満足度などを調べたい場合に利用されます。
例えば、大学生の学習習慣を調べるとします。
「1日に何時間勉強していますか?」
「自宅と図書館のどちらで勉強することが多いですか?」
このような質問を通じてデータを集めます。
ただし、アンケートでは質問の仕方が結果を左右することがあります。
例えば、
「勉強時間を増やすことは、成績向上のために大切だと思いますか?」
という質問は、回答者に「大切だ」と答える方向を意識させる可能性があります。
また、自分からアンケートに回答する人だけを集めると、回答していない人との違いによって結果が偏る可能性もあります。
② 観察・測定によって収集する
温度計による気温の測定や、センサーによる動きの記録などが該当します。
例えば、教室の温度を1時間ごとに測定すれば、時間による温度変化を調べられます。
しかし、測定する場所や時間帯が変わると、得られる結果も変化する可能性があります。
測定条件をそろえます。
③ 既存のデータを利用する
すべてのデータを自分で集める必要はありません。
政府や自治体、研究機関などが公開しているデータを利用できる場合があります。
代表的なのが、オープンデータです。
オープンデータとは、一般に、誰でも利用・再利用・再配布できるよう、二次利用できるルールのもとで、コンピュータが処理しやすい形式で、無償で公開されているデータを指します。
日本では、政府統計の総合窓口「e-Stat」などからさまざまな統計データを探せます。
ただし、Web上で閲覧できるデータが、すべて自由に再利用できるわけではありません。
利用条件、出典表示、更新時期、調査方法なども確認する必要があります。
④ システムの記録から収集する
Webサイトのアクセス記録や商品の購入履歴などもデータになります。
例えば、ある商品の販売状況を分析したいなら、販売日時、商品名、販売個数、価格などの情報を利用できます。
ただし、個人に関係するデータを扱う場合には、取得・利用の適法性、利用目的、権限管理、プライバシーなどへの配慮が必要です。
8. データを集めるときに最も注意したいこと
データは、多ければ多いほどよいのでしょうか。
私は、必ずしもそうではないと思います。
例えば、全国の高校生の学習時間を知りたいのに、勉強熱心な高校生が集まる学習イベントで1万人にアンケートを取ったとします。
一方、全国の高校生を適切な方法で抽出して調査した結果が1,000人分あったとします。
この場合、単純に1万人の調査の方が信頼できるとは言えません。
なぜなら、前者は学習イベントに参加する高校生に偏っている可能性があるからです。
母集団と標本を理解しよう
ここで登場するのが、母集団と標本という考え方です。
母集団は、本当に調べたい対象全体のことです。
標本は、その母集団から調査のために取り出した一部の対象です。
全国の高校生が母集団であれば、調査した高校生が標本になります。
標本が母集団の特徴を適切に反映しているかどうかを確認します。
このように、集めたデータが特定の対象に偏っていることを、選択バイアスなどと呼びます。
データの件数を増やしても、偏りが自動的に解消されるわけではありません。
データの量より先に、何を、誰から、どのように集めたのかを確認する必要があります。
9. 前処理とは? なぜデータを整える必要があるの?
データを集めたら、すぐに分析できるのでしょうか。
実際には、集めたデータをそのまま分析できるとは限りません。
例えば、勉強時間とテストの点数を調べるために、次のようなデータを集めたとします。
| 生徒ID | 勉強時間 | テスト点数 |
|---|---|---|
| A | 45分 | 72 |
| B | 1時間 | 81 |
| C | 30分 | 68 |
| C | 30分 | 68 |
| D | 未回答 | 75 |
| E | 400分 | 80 |
| F | 45分 | 欠席 |
この表には、分析前に確認したい点がいくつもあります。
まず、Aは「45分」、Bは「1時間」という形式になっています。
これでは、勉強時間が統一されていません。
次に、Cのデータが2回登場しています。
同じ記録が重複している可能性があります。
また、Dは勉強時間が未回答です。
Eの400分という勉強時間も、ほかの生徒と比べて大きいため、入力ミスがないか確認したくなります。
Fはテストを欠席しており、点数がありません。
このような問題を確認し、適切に処理することが前処理です。
図2
集めたデータと、前処理で確認すること
本文の表(生徒A〜F)で気づく点と、それに対応する前処理の確認です。
集めたデータで気づく点
- AとBで勉強時間の形式が違う(「45分」と「1時間」)
- Cのデータが2回登場している
- Dは勉強時間が未回答
- Eの400分は、ほかの生徒と比べて大きい
- Fはテストを欠席していて、点数がない
前処理で確認
前処理で確認すること
- 形式と単位をそろえる(例:すべて分単位に)
- 欠損値の扱いを決める(未回答を0分とは扱わない)
- 重複かどうかを確認する(生徒IDだけでなく記録日時なども見る)
- 外れ値は削除せず、まず理由を調べる
前処理は、データが持つ意味をできるだけ正しく保ちながら、分析に必要な形へ整える作業です
前処理は、データを都合よく変更することではない
前処理とは、望ましい分析結果が出るように、データを勝手に書き換える作業ではありません。
欠けている値をどう扱うか、間違っている可能性のある記録をどう確認するかなど、根拠に基づいて処理を決める必要があります。
つまり、前処理は単純な掃除ではなく、データが持つ意味をできるだけ正しく保ちながら、分析に必要な形へ整える作業なのです。
10. 前処理の基本①:データの形式と単位をそろえる
先ほどの表では、勉強時間の表現が異なっていました。
「45分」と「1時間」をそのまま比較するのは不便です。
そこで、すべて分単位に変換します。
| 元の記録 | 統一後 |
|---|---|
| 45分 | 45 |
| 1時間 | 60 |
| 30分 | 30 |
| 2時間 | 120 |
これによって、勉強時間を数値として比較できるようになります。
同じことは、日付や金額にも当てはまります。
例えば「2026/10/18」と「2026年10月18日」は、人間には同じ日付だと分かりますが、システム上は異なる文字列として扱われる場合があります。
また、金額の「円」と「万円」が混在していれば、集計結果が大きく変わってしまいます。
分析前に、記録形式と単位を確認しましょう。
11. 前処理の基本②:欠損値を扱う
欠損値とは、データの一部が記録されていない状態のことです。
先ほどの表では、Dの勉強時間が未回答になっていました。
ここで考えたいのは、「未回答を0分として扱ってよいか」という問題です。
答えは、未回答というだけでは0分として扱えません。
なぜなら、勉強時間が0分だったのか、回答しなかっただけなのかが分からないからです。
この2つはまったく異なります。
| 記録 | 意味 |
|---|---|
| 0分 | 勉強時間が0分だった |
| 未回答 | 勉強時間が分からない |
| 該当なし | その項目が対象に当てはまらない |
欠損値には、いくつかの対応方法があります。
除外する
欠損しているデータを、特定の分析から除外する方法です。
ただし、欠損している人だけに共通の特徴がある場合、分析結果が偏る可能性があります。
補完する
平均値や中央値などを利用して、欠けている値を推定して埋める方法です。
ただし、補完した数値は実際に観測された値ではありません。
また、補完方法によって分布や項目間の関係が変わる可能性があります。
欠損したまま扱う
分析方法によっては、欠損を明示したまま処理できます。
どれを選ぶかは、欠損が発生した理由や分析の目的によって判断します。
最初から欠損値をすべて0に変換するのは避けましょう。
12. 前処理の基本③:重複データを確認する
先ほどの表では、Cのデータが2回登場しました。
もし同じ記録が誤って2回登録されているなら、集計結果に影響する可能性があります。
例えば、ある店の商品購入データを数えているとき、1件の購入が2回登録されていたら、実際より販売個数が多く見えてしまいます。
そこで重複データを確認します。
ただし、「同じ人のデータが2行あるから削除する」という判断も危険です。
同じ人が別の日に勉強した記録かもしれないからです。
重複かどうかは、生徒IDだけでなく、記録日時や対象となる出来事なども確認して判断します。
13. 前処理の基本④:外れ値を確認する
外れ値とは、ほかのデータと比べて大きく離れた値のことです。
先ほどの表では、400分という勉強時間が気になります。
ほかの生徒が30〜60分程度だったため、大きく離れています。
しかし、ここで400分を削除してよいのでしょうか。
それはまだ分かりません。
400分という値は、入力ミスかもしれませんし、本当に長時間勉強した記録かもしれません。
もし実際に400分勉強していたなら、そのデータも分析上の意味を持つ可能性があります。
外れ値が平均値に与える影響
例えば、次の5つのデータがあったとします。
1、2、3、4、100
平均値は、合計110を5で割った22です。
一方、中央値は3です。
| 指標 | 値 |
|---|---|
| 平均値 | 22 |
| 中央値 | 3 |
大きな値が1つ含まれただけで、平均値が大きく変わっていることが分かります。
このように、外れ値が存在すると、代表値の解釈に注意が必要になります。
ただし、100という値が実際に観測されたものであれば、安易に消してよいわけではありません。
外れ値は、削除する対象ではなく、まず理由を調べる対象です。
14. 前処理の基本⑤:標準化と正規化
データの値を比較しやすくするために、数値の尺度を変換することがあります。
代表的なのが標準化と正規化です。
標準化とは?
標準化とは、データを一定の基準に合わせて変換することです。
代表的な方法に、平均が0、標準偏差が1になるように変換する方法があります。
例えば、異なる科目の得点を比較するときに、単純な点数だけでは判断しにくい場合があります。
英語80点と数学80点でも、それぞれのテストの平均点や点数のばらつきが異なれば、集団内での位置づけも異なります。
このようなとき、平均と標準偏差を利用した標準化が役立ちます。
大学受験で使われる偏差値も、この考え方と関係しています。
一般的な偏差値は、平均50、標準偏差10となるように変換した数値です。
正規化とは?
正規化という言葉は分野によって複数の意味があります。
データの前処理では、値を一定の範囲に収める変換を指す場合があります。
例えば、最小値を0、最大値を1に合わせる方法があります。
この変換を利用すると、もともと尺度の異なる数値を一定の範囲で扱えます。
標準化や正規化をしたデータを比較するときは、何を意味する数値なのか、どの集団を基準にしているのかを確認します。
また、機械学習では、学習用データから変換に必要な基準を計算し、その基準を検証用・テスト用データにも適用することが基本です。
テスト用データの情報を先に利用すると、評価結果が実際よりよく見えてしまう可能性があります。
15. 前処理を終えたら、何を確認するの?
データを整えたら、次はその特徴を調べます。
最初から高度な統計モデルを利用する必要はありません。
まずは、データの件数を数え、分布を可視化し、代表値を確認しましょう。
データを数える
例えば、アンケートで次の回答があったとします。
| 回答 | 人数 |
|---|---|
| 満足 | 50人 |
| 普通 | 30人 |
| 不満 | 20人 |
このように、各項目が何回現れたかを数えることが、基本的な集計です。
グラフで可視化する
データの特徴に応じて、使うグラフも変わります。
| グラフ | 主な用途 |
|---|---|
| 棒グラフ | 商品別の販売個数などを比較する |
| ヒストグラム | 点数や身長などの分布を見る |
| 折れ線グラフ | 時間による変化を見る |
| 散布図 | 2つの数値の関係を見る |
| 箱ひげ図 | 中央値やばらつきを比較する |
| ヒートマップ | 値の大小や頻度を色で示す |
例えば、100人分のテスト結果があったとします。
100人の点数を一つずつ眺めても、全体の特徴は分かりにくいでしょう。
しかし、点数を10点刻みなどの階級に分け、ヒストグラムを作れば、どの点数帯に何人いるのかを把握できます。
このように、データを読むためには、まず「数える」「まとめる」「見えるようにする」という作業から始めます。
数値だけで判断しない
平均値や相関係数は、データの特徴を簡潔に表す便利な指標です。
しかし、一つの指標だけで全体を理解したことにはなりません。
平均値が同じでも、データのばらつきが異なる場合があります。
相関係数が似ていても、散布図を描くとまったく違うパターンが見える場合があります。
そのため、代表値などの数値とグラフの両方を使って、データを確認します。
16. データを分析するときに「相関」と「因果」を混同しない
データを集めて分析すると、2つの数値の間に関係が見られることがあります。
例えば、気温が高い日にアイスクリームの売上が増える傾向があったとします。
これは相関関係の一例です。
しかし、相関関係があることだけで、原因と結果の関係まで証明できるわけではありません。
例えば、アイスクリームの売上と熱中症の発生数が一緒に増えていたとします。
ここで「アイスクリームを食べると熱中症になりやすい」と判断するのは誤りです。
両方に関係している可能性があるのは、気温です。
気温が高くなると、アイスクリームが売れやすくなり、熱中症の発生も増える可能性があります。
このような第三の要因を考えずに、2つの数値だけで判断すると、誤った結論につながります。
先ほどの「勉強時間が長いほどテストの点数が高い」という例でも同じです。
勉強時間と点数の間に相関が見られても、勉強時間だけが点数の違いを生んだとは言い切れません。
分析結果を解釈するときには、「ほかに関係している要因はないか」と考える必要があります。
17. Excelだけでもデータサイエンスの基本は学べる?
結論から言うと、基本的なデータ整理や集計、可視化であればExcelから十分に始められます。
例えば、Excelには次のような機能があります。
| 作業 | Excelの代表的な機能 |
|---|---|
| データを数える | COUNTIF・COUNTIFS |
| 平均値を求める | AVERAGE |
| 中央値を求める | MEDIAN |
| 欠損や異常な値を探す | フィルター・条件付き書式 |
| 重複を確認する | 重複の削除・条件付き書式 |
| 項目ごとに集計する | ピボットテーブル |
| 関係性を確認する | 散布図・CORREL |
これらの関数名を丸暗記するのではなく、「何を確かめたいから、その操作をするのか」を理解します。
例えば、平均値を求めるにしても、なぜ平均値が必要なのかを説明できなければ、分析として不十分です。
より大規模なデータや複雑な処理を扱う場合には、PythonやR、SQLなどを利用することもあります。
しかし、初学者が最初からすべてのツールを覚える必要はありません。
まずは身近なデータを使って、基本的な集計と前処理を体験することをおすすめします。
18. 理解できたか、3問で確認してみよう
問題1
あるアンケートで、回答者の年齢が未回答だった場合、その値を0歳として保存してよいでしょうか。
解答:原則として、0歳に変換してはいけません。
未回答は年齢が分からない状態であり、0歳であることを意味しないためです。
欠損値として扱い、必要に応じて確認・補完などを検討します。
問題2
100人分のデータの中に、極端に大きな数値が1つありました。この数値は必ず削除すべきでしょうか。
解答:必ず削除するわけではありません。
入力ミスなのか、実際に観測された値なのかを確認する必要があります。
そのうえで、分析目的に応じた対応を決めます。
問題3
ある調査で、勉強時間とテストの点数に強い相関が見られました。
この結果だけで「勉強時間を増やせば、必ず点数が上がる」と結論づけてよいでしょうか。
解答:結論づけることはできません。
相関関係があっても、原因と結果の関係が証明されたわけではありません。
もともとの学力や勉強内容など、ほかの要因も考える必要があります。
19. まとめ|データサイエンスは、データの意味を理解することから始まる
今回は、データサイエンスで扱うデータの種類と、収集・前処理の基本を解説しました。
押さえておきたいのは、次のことです。
- データには数値だけでなく、文章・画像・音声・動画などがある。
- データは構造化・非構造化など、扱いやすさや形式によって分類できる。
- データを集める際は、件数だけでなく、収集方法や偏りを確認する。
- 前処理では、欠損値・重複・外れ値・単位の違いなどを適切に扱う。
- データを分析したあとは、数値やグラフの意味を慎重に解釈する。
私は大学で統計学やデータサイエンスを学んでいますが、初めて学ぶ段階で重要なのは、難しい計算式を大量に覚えることよりも、「このデータは何を表していて、どのような根拠で集められ、何を明らかにできるのか」を考えることだと思います。
データを集め、平均値を計算し、グラフを作ること自体が目的ではありません。
それらは、何かを理解するための手段です。
数字が出たから正しい、データが大量にあるから信用できる、AIが分析したから間違いない、というわけではありません。
データを扱うときには、必ずその意味と限界を考える必要があります。
まずは身近なアンケートや勉強時間の記録などから、データを整理してみてください。
そこで生まれる「なぜこの値になったのだろう?」「このデータだけで本当に判断できるのだろうか?」という疑問こそが、データサイエンスを理解する出発点になるはずです。
よくある質問(FAQ)
Q. 文系でもデータサイエンスを学べますか?
学べます。データの分類、収集方法、前処理の考え方、基本的なグラフの読み方などは、難しい数式を使わずに理解できます。ただし、本格的な統計分析や機械学習モデルの開発へ進む場合には、数学やプログラミングが必要になることがあります。
Q. データの前処理とは何ですか?
集めたデータを分析に適した状態へ整える作業です。欠損値の確認、重複の処理、単位の統一、外れ値の検討などが含まれます。
Q. 構造化データと非構造化データは何が違いますか?
構造化データは、Excelの表のように項目や形式が決められたデータです。一方、非構造化データは、写真や音声、自由形式の文章など、表形式に整理されているとは限らないデータです。
Q. 欠損値は平均値で埋めればよいですか?
必ずしもそうではありません。欠損が生じた理由や分析の目的によって適切な方法が変わります。平均値による補完は、分布やデータ間の関係性に影響する可能性があります。
Q. データ分析と機械学習は同じものですか?
同じではありません。データ分析は、データから特徴や関係性を調べる広い取り組みです。機械学習は、データから規則性を学習して予測や分類などに利用する技術です。機械学習はデータサイエンスで利用される手法の一つです。
関連記事
文系でも数式なしでわかる機械学習の超基本|「線形回帰」と「混同行列(正解率・適合率・再現率)」の仕組み
データの収集と前処理を理解したあとは、機械学習がデータから何を学習し、どのように予測を評価するのかを確認してみてください。
大学でデータサイエンスを学びたい人は、青山学院大学・統計データサイエンス学環とは?「学環」の意味、社会情報学部・理工学部との違い、統計・Pythonの学び方まで解説も参考になります。
参考資料
※講義資料のデータ分類・デジタル化・メタデータ・集計・標準化・相関分析の説明を参照し、収集方法、欠損値、重複、外れ値などについては初学者向けの解説を補っています。記事内の学習時間・点数などの表は説明用に作成した架空のデータです。
主な出典・確認資料
関連語
筆者 めめ
この単元を扱う過去問を読む
筆者について
筆者の