集計や分析、予測の結果をダッシュボードやレポートなどとして、データ活用する現場に提供することがあります。 どのようなダッシュボードやレポートを作ればいいのか？ そう悩む人も多いことでしょう。 今回は、「データサイエンスレ...

ビジネスの世界では、売上やPV数などの時系列データがたくさんあります。このような時系列データは、いつも完璧なコンディションで存在するわけではありません。 例えば、データの一部が欠損、つまり、欠測値の状態になっていることが...

Pythonユーザの中には、Jupyter上でPythonを使う方も多いことでしょう。 Pythonを使いながらRの便利な関数を利用したい、そう思われる方も多いことでしょう。 Jupyter上でPythonを使いながら、...

データサイエンス系プロジェクトを成功裏に納めるためには、人の成長やチーム構成なども重要ですが、連携も重要です（当たり前といえば、当たり前ですが……）。 そこで、どう育成するのか、どうチーム構成するのか、ではなく、チームが...

売上などの時系列データには、周期性があります。周期性の中で、期間の決まっているものを季節性と言ったりします。 例えば、1日単位の売上データであれば週周期（7日間）や年周期（365.25日間）、1時間単位の気温データであれ...

前回と前々回にベイズ推定について簡単に説明しました。 以下、前回の記事です。 以下、前々回の記事です。 通常の線形回帰モデルは、切片や係数、予測の値は1つです。 一方，ベイズ線形回帰モデルで得られるのは分布です。正確には...

統計解析のフリーの分析ツールと言えば、Rです。 Rの中には、たくさんのサンプのデータセットがあります。 Pythonで使いたい！ という方もいることでしょう。 Pythonの統計解析パッケージであるstatsmodels...

異常とは、標準的な挙動から著しく逸脱した稀なデータのことである。 時系列の多くの異常値は、ある特定の時点における顕著なスパイクや、ある特定の期間だけ傾向が大きく異なるとかです。 そして、異常データの多くは、どのデータが異...

ビジネスの世界では、売上やPV数などの時系列データがたくさんあります。 このような時系列データは、いつも完璧なコンディションで存在するわけではありません。 例えば、データの一部が欠損、つまり、欠測値の状態になっていること...

Jupyter NotebookでPythonを使うことはあるが、Rは使ったことはない、というPythonユーザも少なくないでしょう。 Jupyterは、Julia+Python+Rから作った造語であるとは有名な話しです...

データサイエンティストの利用する分析ツールと言えば、PythonとRです。 幸運なことに、両方には共通している部分も多いですが、中にはPythonにしか実装それていないパッケージや関数や機能、Rにしか実装されていないパッ...

ビジネスの現場で登場するデータの多くは時系列データですが、通常のテーブルデータと同様に欠測値や外れ値なども、当然ながら発生します。 時系列データの一部に欠測値（データがない）がある場合、どうすればいいでしょうか。 テーブ...

何かと便利なベイズ推定、ビジネスの世界でも活用が進んでいます。 MCMCというアルゴリズムが手軽に利用できるなったことが、大きな要因の1つでしょう。MCMCとは、マルコフ連鎖を利用したモンテカルロシミュレーションです。手...

需要予測などで、特定の値（予測値が1つ）だけではなく、予測値の区間や分布が手に入った方が嬉しい場合があります。 区間だけであれば、従来の推定方法（最尤法など）で求めることはできます。95%信頼区間（予測区間）などです。 ...

実践的なデータサイエンスで、ちょくちょく出てくる確率分布が、二項分布とベータ分布です。 二項分布（Binomial Distribution）は、「成功率」の分かっている試行をn回行ったときの「成功回数」を確率変数とする...

売上などの時系列データには、周期性があります。 周期性の中で、期間の決まっているものを季節性と言ったりします。 例えば、1日単位の売上データであれば、週周期（7日間）や年周期（365.25日間）などです。 例えば、1時間...