這是給自己的一份學習紀錄，以免日子久了忘記這是甚麼理論XD
- Bayesian hierarchical modeling，譯為「貝氏分層建模」
針對多個層級分析的一套統計方法
「Hierarchical modeling is used with information is available on several different levels of observational units」
可以對多個不同層級的觀測單位的資訊進行分析，例如：
– 每個國家的每日感染病例的時間概況，單位是國家
– 多個油井產量的遞減曲線分析（油氣產量），單位是油藏區的油井
引自維基百科
公式理論
- Bayes’ theorem:
the updated probability statements about $\theta_j$, given the occurence of event $y$,
using the basic property of conditional probability, the posterior distribution will yield: $$P(\theta \mid y) = \frac{P(\theta, y)}{P(y)} = \frac{P(y \mid \theta)P(\theta)}{P(y)}$$ so, we can say that: $$P(\theta \mid y) \propto P(y \mid \theta)P(\theta)$$ - Hierarchical models:
Bayesian hierarchical modeling makes use of two important concepts in deriving the posterior distribution namely:
(1) Hyperparameters: parameters of prior distribution
先驗分配的參數（超參數／超母數）
(2) Hyperdisrtibution: distribution of hyperparameters
超參數的分配
例如：我們需要建模學校的學生測驗成績
- 第 $j$ 所學校的學生的測驗成績：$y_j $（真實數據）
- 第 $j$ 所學校的整體測驗平均成績：$\theta_j $
- 全體學校的群體分配超參數：$\phi$ （描述學校之間的異質性，依照過往數據假設）
而模型分為三個層級
-
第三層級（頂層） 超參數生成-處理全體的不確定性
$$\phi \sim P(\phi)$$ 用於定義整體的分佈，則我們假設超參數 $\phi（\mu）$ 來自先驗分配為： $$\mu \sim N(\mu_0,\sigma^2_0)$$ 表示全體群體的中心趨勢是如何分佈的，其參數 $\mu_0,\sigma^2_0$ 通常是來自於過去的歷史數據而訂， 在這裡的例子就是定義全體學校的測驗成績可能跟去過往的數據做假設， 例如我們假設整體的平均測驗成績 $\mu_0 = 60 $，$\sigma^2_0 = 5$ -
第二層級（中間層） 參數生成-解釋數據的來源
$$\theta_j \mid \phi \sim P(\theta_j \mid \phi)$$ 這層的目的是考慮學校之間的異質性，並假設學校的平均測驗成績來自某個整體的分佈， 則我們假設每個學校的測驗平均成績來自常態分配，即$$\theta_j \mid \phi \sim N(\mu,1)$$ 其中 $\mu$ 是整體學校的總測驗平均，而 $\theta_j$ 是每個學校的測驗平均成績 -
第一層級（底層） 數據生成-還原真實數據
$$y_i \mid \theta_j,\sigma^2 \sim P(y_i \mid \theta_j,\sigma^2)$$
可以知道真實數據 $y_i$ 並不是隨機產生，而是在該真實數據所在的整體平均值與變異數受影響的，例如這裡的例子， 我們可以假設每個學生的測驗成績 $y_i$ 來自常態分配，即$$y_i \mid \theta_j,\sigma^2 \sim N(\theta_j,\sigma^2)$$ 是由於學校的平均成績 $\theta_j$ 和 學生之間的差異 $\sigma^2$ 影響的
通過Hierarchical models，我們可以同時估計學校的特徵（如 $\theta_j$）和整體特徵（如 $\phi$），並且能有效處理不同層次的不確定性