RのimputeTSパッケージを使った時系列データの欠測値補完
ビジネスの世界では、売上やPV数などの時系列データがたくさんあります。 このような時系列データは、いつも完璧なコンディションで存在するわけではありません。 例えば、データの一部が欠損、つまり、欠測値の状態になっていること...
RECENT ARTICLES
Jupyter Notebook上にR環境を作る
Jupyter NotebookでPythonを使うことはあるが、Rは使ったことはない、というPythonユーザも少なくないでしょう。 Jupyterは、Julia+Python+Rから作った造語であるとは有名な話しです...
RPY2でPythonからRの関数を使おう
データサイエンティストの利用する分析ツールと言えば、PythonとRです。 幸運なことに、両方には共通している部分も多いですが、中にはPythonにしか実装それていないパッケージや関数や機能、Rにしか実装されていないパッ...
第286話｜知っておいて損のない時系列データの欠測値補完方法
ビジネスの現場で登場するデータの多くは時系列データですが、通常のテーブルデータと同様に欠測値や外れ値なども、当然ながら発生します。 時系列データの一部に欠測値（データがない）がある場合、どうすればいいでしょうか。 テーブ...
PyMC3を使ったPythonベイズ推定超入門（その2）
コイン投げの例を使ってPyMC3ベイズ推定を何となく理解しよう
何かと便利なベイズ推定、ビジネスの世界でも活用が進んでいます。 MCMCというアルゴリズムが手軽に利用できるなったことが、大きな要因の1つでしょう。MCMCとは、マルコフ連鎖を利用したモンテカルロシミュレーションです。手...
PyMC3を使ったPythonベイズ推定超入門（その1）
コイン投げの例を使ってベイズ推定を何となく理解しよう
需要予測などで、特定の値（予測値が1つ）だけではなく、予測値の区間や分布が手に入った方が嬉しい場合があります。 区間だけであれば、従来の推定方法（最尤法など）で求めることはできます。95%信頼区間（予測区間）などです。 ...
Pythonで描く二項分布とベータ分布
実践的なデータサイエンスで、ちょくちょく出てくる確率分布が、二項分布とベータ分布です。 二項分布（Binomial Distribution）は、「成功率」の分かっている試行をn回行ったときの「成功回数」を確率変数とする...
第285話｜複数の季節変動成分のある時系列データ
売上などの時系列データには、周期性があります。 周期性の中で、期間の決まっているものを季節性と言ったりします。 例えば、1日単位の売上データであれば、週周期（7日間）や年周期（365.25日間）などです。 例えば、1時間...
Pythonで時系列解析・超入門（その10）
テーブルデータ系モデルで構築する時系列予測モデル
（XGBoost）
多くの人にとって馴染みがあるのは、時系列データ系の数理モデル（アルゴリズム）よりも、テーブルデータ系の数理モデル（アルゴリズム）の方です。 例えば、以下の数理モデル（アルゴリズム）はテーブルデータ系のものです。 線形回帰...
第284話｜もっとも手軽なAIである異常検知
AI（人工知能）って何だろうと考えたとき、定義は非常に難しいですが、、、 感覚的に思いつくことの1つとして、「何かを教えてくれるコンピュータ上の何か」といのもあるのではないでしょうか？ 何かを教えてくれるぐらいですから、...
Python用の数値計算ライブラリーTheano超々入門
Pythonの数値計算ライブラリーと言えば、NumPyやSciPyなどでしょう。 NumPyなどと異なり、数式そのものを記述するスタイルを取るライブラリーもあります。Theanoです。 https://theano-py...
第283話｜階層時系列データと予測モデル構築
ビジネスの現場で目にする多くのデータは時系列データです。例えば、売上やセンサーデータなどです。 さらに、ビジネスの現場で目にする多くの時系列データは、階層構造を持っています。例えば、売上全体とエリアごとの売上、そのエリア...
第282話｜A/Bテストの7ステップ
今も昔も実施されているデータ活用の1つが、ABテストです。データサイエンティストなどが関わることも多いです。 ただ、データサイエンティストがA/Bテストを行う方法は近年大きく変化しています。 従来は、手作業で行うものが多...
Pythonによるマーケティングミックスモデリング
（MMM：Marketing Mix Modeling）超入門 その4
最適なアドストック（Ad Stock）を探索しモデル構築
本当に売上に貢献している広告は、どの広告か？ 売上と広告媒体等との関係性をモデリングし、どの広告媒体が売上にどれほど貢献していたのか分析することができます。 それが、マーケティングミックスモデリング（MMM：Market...
第281話｜データ活用は「PoV」でデータビジネスは「PoB」
DXやAI、機械学習、データサイエンスというキーワードとともに、企業で実施されるようになったものの1つに、PoC（Proof of Concept、概念実証）というものがあります。 PoC（Proof of Concep...
Pythonによるマーケティングミックスモデリング
（MMM：Marketing Mix Modeling）超入門 その3
ちょっと複雑なアドストック（Ad Stock）を考慮した線形回帰モデル
本当に売上に貢献している広告は、どの広告か？ 売上と広告媒体等との関係性をモデリングし、どの広告媒体が売上にどれほど貢献していたのか分析することができます。 それが、マーケティングミックスモデリング（MMM：Market...
