Sandbox

MI-SPI

<math>X_1</math>	1	2
<math>P(X_1 = x_1)</math>	<math>\frac{1}{2}</math>	<math>\frac{1}{2}</math>

<math>P=\left(

\begin{matrix}

0 & 1 \\
\frac{1}{2} & \frac{1}{2} \\

\end{matrix}

\right) \Rightarrow X_1*P=X_2 </math>

<math>X_2</math>	1	2
<math>P(X_2 = x_2)</math>	<math>\frac{1}{4}</math>	<math>\frac{3}{4}</math>

<math>X_1 / X_2 </math>	1	2
<math>1</math>	<math>\frac{1}{8}</math>	<math>\frac{3}{8}</math>
<math>2</math>	<math>\frac{1}{8}</math>	<math>\frac{3}{8}</math>

<math>H(X_1|X_2) = - \sum_{\forall x_1} \sum_{\forall x_2}

P(X_1=x_1,X_2=x_2) \cdot  log_{b}{
  \frac{P(X_1=x_1,X_2=x_2)}{P(X_2=x_2)}
}
\quad = \quad -2 \cdot \frac{1}{8} \cdot \log_{2}{\frac{\frac 1 8}{\frac 1 4}} -2 \cdot  \frac{3}{8} \cdot \log_{2}{\frac{\frac 3 8}{\frac 3 4}}
\quad = \quad - \frac{1}{4} \cdot (-1) - \frac{3}{4} \cdot (-1) = 1

</math>