私たちの身の回りには、数字では表せないデータがたくさんあります。 たとえば「好きな食べ物は何ですか？」という質問に対する答えは、「カレー」や「パスタ」といった名前で表されるもので、平均を取ったり計算したりすることはできま...

Pythonで文字列を扱うとき、多くの人が「f-string」を使っています。 しかし、f-stringのフォーマット指定子を使いこなせば、データ分析のレポート作成や数値の表示が格段に楽になります。 今回は、f-stri...

XAI（説明可能AI）について調べ始めると、次のような疑問が自然に出てきます。 Excelでできないのか BIツールの可視化で十分ではないのか たしかに、集計・グラフ化・定型レポートであれば、ExcelやBIツールは非常...

ある学習塾で、新しい教材Bを試験的に導入しました。 1ヶ月後、従来の教材Aを使ったクラスと、新教材Bを使ったクラスのテスト結果を比較したところ、次のような結果が得られました。 教材Aクラス（25人）：平均68点 教材Bク...

ある大学で「学生の1日の平均勉強時間」を調べたいとします。 学生が1万人いるとしたら、全員にアンケートを取るのは現実的でしょうか？ 時間もコストも膨大にかかりますし、全員から回答を得るのは事実上不可能です。 そこで私たち...

これまでの2回では、1つの変数について「代表値」や「ばらつき」を分析してきました。 第1回：データの「代表値」を掴む — 平均・中央値・最頻値の話 第2回：データの「ばらつき」を測る — 分散と標準偏差 しかし、現実のデ...

前回、データを一つの数字で代表させる「代表値」を学びました。 Pythonで動かして身につける 統計学はじめの一歩— 第1回 —データの「代表値」を掴む — 平均・中央値・最頻値の話 しかし、平均...

友人から「最近のテストどうだった？」と聞かれたとき、あなたはどう答えますか？ 「数学85点、英語72点、物理78点、化学80点だったよ」と全科目を列挙する人は少ないでしょう。 多くの人は「だいたい80点くらいかな」と答え...

こんにちは！「Pythonで始める分類モデル入門」もいよいよ最終回です。 第1回 —分類問題ってなに？ ロジスティック回帰で「合格予測」を作ろう 第2回 —データの「形」から分ける — 線形判別分...

データ分析や機械学習の話題になると、よく次のような声を耳にします。 ブラックボックスモデルは危険だ たとえば、深層学習や勾配ブースティングのように、内部の計算過程が人間には直感的に追いにくいモデルを使うと…… なぜこの予...

機械学習プロジェクトでは、「データの前処理」と「モデルの学習」を何度も繰り返します。 このとき、前処理とモデルを別々に管理していると、コードが複雑になり、ミスも起きやすくなります。 そこで活躍するのが scikit-le...

こんにちは！「Pythonで始める分類モデル入門」の第4回です。 前回は決定木を学びました。 Pythonで始める分類モデル入門— 第3回 —「もし〜なら」で分ける — 決定木の仕組みと過学習対策...

こんにちは！「Pythonで始める分類モデル入門」の第3回です。 前回までに学んだロジスティック回帰やLDAは、どちらもデータを「直線」で分割する手法でした。 Pythonで始める分類モデル入門— 第2回 &...

データ分析を始めると、必ず直面するのが 欠損値（NaN） の問題です。 「データが歯抜けになっている」「一部の項目が空欄」といった状況は、実務データでは日常茶飯事です。 欠損値を適切に処理しないと、計算がうまくいかなかっ...

こんにちは！「Pythonで始める分類モデル入門」の第2回です。 前回はロジスティック回帰を学び、「確率を直接モデル化する」アプローチで分類問題を解きました。 Pythonで始める分類モデル入門— 第1回 &...

「今回の結果です。」 構築したモデルとそれを使った分析の結果を報告したとき、数値上の問題はありませんでした。 検証データでも安定しており、統計的にも妥当。 きちんと「正しい分析」です。 それでも、そのモデルも、その分析結...