このコードは、時系列データの分散予測精度を評価するためのものです。

import numpy as np
import matplotlib.pyplot as plt
from scipy.signal import detrend

np.random.seed(42)
data = np.linspace(0, 10, 100) + np.random.randn(100)

detrended_data = detrend(data)

plt.plot(data, label='Original')
plt.plot(detrended_data, label='Detrended')
plt.legend()
plt.show()

 

詳しく説明します。

 

トレンドを含むサンプルデータを生成します。線形トレンドにランダムノイズを加えます。

np.random.seed(42)
data = pd.Series(np.random.randn(1000))

 

生成したデータからトレンドを除去します。

detrended_data = detrend(data)

 

元のデータとトレンド除去後のデータを同じグラフ上にプロットし、結果を視覚化します。

plt.plot(data, label='Original')
plt.plot(detrended_data, label='Detrended')
plt.legend()
plt.show()

scipy.signal.detrend関数は、時系列データからトレンド成分を除去するための関数で、線形回帰（厳密には単回帰）を行いトレンドを除去します。

アルゴリズムのステップ

Step 1: 線形トレンドの計算

• データに対して最小二乗法を用いて線形回帰を行います。
• これは、データの傾向を直線で近似することを意味します。
• 線形回帰の結果として、データの傾向を表す直線の傾きと切片が得られます。

Step 2: トレンドの除去

• 計算された線形トレンド（直線）を元のデータから引きます。
• これにより、データから長期的な変動成分が除去され、ノイズ成分のみが残ります。
• このデータは、元のデータからトレンド成分を取り除いたものです。

数式表現

最小二乗法を用いた線形回帰は、以下のように表されます。

\displaystyle y_t = \beta_0 + \beta_1 x_t + \epsilon_t

ここで、

• y_t はt期の観測データ
• t は時間
• \beta_0 は切片
• \beta_1 は傾き
• \epsilon_t はt期の誤差項

 

最小二乗法は、観測データ y_t と予測データ \hat{y}_t = \beta_0 + \beta_1 x_t との間の誤差の二乗和を最小化するように、 \beta_0 と \beta_1 を求めます。

その後、元のデータ y_t から予測データ \hat{y}_t を引くことで、トレンド成分が除去されたデータ y^{detrended}_t が得られます。

\displaystyle y^{detrended}_t = y_t - \hat{y}_t