Gaussian Discriminant Analysis

1. Multivariate Normal Distribution

For $\mathcal{N}(\mu ,\Sigma )$, the pdf is:

$$p(x;\mu ,\Sigma )=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right).$$

2. Gaussian Discriminant Principle

模型假设:

• $y\sim \text{Bernoulli}(\varphi )$.
• $x|y=0\sim \mathcal{N}({\mu }_0,\Sigma )$.
• $x|y=1\sim \mathcal{N}({\mu }_1,\Sigma )$.

具体而言:

• $p(y)={\varphi }^y(1-\varphi {)}^{1-y}$.
• $p(x|y=0)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-{\mu }_0{)}^T{\Sigma }^{-1}(x-{\mu }_0)\right)$.
• $p(x|y=1)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)\right)$.

对于全部 $m$ 个样本, 可以写出数据的联合对数似然:

$$\begin{array}{rl}l(\varphi ,{\mu }_0,{\mu }_1,\Sigma )& =\log \prod _{i=1}^{m}p(x^{(i)},y^{(i)};\varphi ,{\mu }_0,{\mu }_1,\Sigma )\\ & =\log \prod _{i=1}^m\underset{△}{\underbrace{p(x^{(i)}|y^{(i)};{\mu }_0,{\mu }_1,\Sigma )}}\underset{\ast }{\underbrace{p(y^{(i)};\varphi )}}.\end{array}$$

其中 ${\mu }_0,{\mu }_1\in {\mathbb{R}}^n$, $\Sigma \in {\mathbb{R}}^{n\times n}$, $\varphi \in \mathbb{R}$.

通过求偏导等求解极大对数似然, 得到下列参数估计:

$$\begin{array}{rl}\varphi & =\frac{1}{m}\sum _{i=1}^{m}1\left\{y^{(i)}=1\right\},\\ {\mu }_0& =\frac{{\sum }_{i=1}^{m}1\left\{y^{(i)}=0\right\}{x}^{(i)}}{{\sum }_{i=1}^{m}1\left\{y^{(i)}=0\right\}},\\ {\mu }_1& =\frac{{\sum }_{i=1}^{m}1\left\{y^{(i)}=1\right\}{x}^{(i)}}{{\sum }_{i=1}^{m}1\left\{y^{(i)}=1\right\}},\\ \Sigma & =\frac{1}{m}\sum _{i=1}^m\left(x^{(i)}-{\mu }_{y^{(i)}}\right){\left(x^{(i)}-{\mu }_{y^{(i)}}\right)}^T.\end{array}$$

这些估计的含义也是自然的:

• $\varphi$: 作为 Bernoulli 参数, 表示 $y=1$ 占总数的比例.
• ${\mu }_0/{\mu }_1$: 表示 $y=0/1$ 组中 $x$ 分布的均值, 其公式相当于求期望.
• $\Sigma$: 表示 $x$ 的协方差矩阵, 因为两组 label 数据的方差是相同的, 所以可以在一起求协方差.

Empirically, 我们可以直接通过得到的 MLE 参数公式得到估计结果. 这也说明 GDA 是一个很有效率的算法.

总结上述过程, GDA 相当于分别对两个类别的数据进行两套分布假设, 通过标签 $y$ 是 Bernoulli 分布的假定作为桥梁写出似然函数, 通过 MLE 方法求出对于两种类型数据的参数设置. 注意这里假定分布的协方差矩阵是相等的, 只不过二者的均值中心不同.

这也可以从图中看到, 两种类别的椭圆的大小形状是相似的, 这说明协方差矩阵相等; 而彼此的中心点不同, 说明均值不同. 不同大小的椭圆等高线表示不同的概率密度, 或者可以粗略理解成置信度. 每当有一个新的数据进入参与判别, 就可以通过两个已经确定好参数的数据分布, 通过 Bayes 公式得到属于两个类别的概率.

这里也体现了 generative 算法和 discriminative 算法的区别:

• Generative 算法的极大似然为 $L(\theta )=\prod p(x,y;\theta )$.
• Discriminative 算法的极大似然为 $L(\theta )=\prod p(y|x;\theta )$.

3. GDA and Logistic Regression

Claim (GDA implies logistic regression form). 固定参数 $\varphi ,{\mu }_0,{\mu }_1,\Sigma$, 可以证明:

$$\begin{array}{rl}p(y=1|x;\varphi ,{\mu }_0,{\mu }_1,\Sigma )& =\frac{p(x|y=1;\varphi ,{\mu }_1,\Sigma )p(y=1;\varphi )}{p(x;\varphi ,{\mu }_0,{\mu }_1,\Sigma )}\\ & =\frac{1}{1+e^{-{\theta }^{T}x}}.\end{array}$$

即为 sigmoid function.

GDA 假设:

• $x|y=0\sim N({\mu }_0,\Sigma )$.
• $x|y=1\sim N({\mu }_1,\Sigma )$.
• $y\sim Bernoulli(\varphi )$.

Logistic regression 假设:

• $p(y=1|x;\theta )=h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$.

由上可知, GDA 的假设更强, $GDA\Rightarrow LR$, 但反之不然. 对于一组符合假设分布的数据, GDA 可能会有更好的效果.

事实上, 假设两组数据都服从同一类型的指数分布族, 且只有 natural parameters 不同时, 都可类似推出如上的 sigmoid function 形式.

Related Notes

• Linear Models for Classification
• Naive Bayes Classifier