【問2】

アルファベット $X = \{1, 2, 3\}$ 上の確率分布 $p_1$ と $p_2$ を以下のように定める：

$$p_1(1) = 1, \, p_1(2) = 0, \, p_1(3) = 0, \quad p_2(1) = 0, \, p_2(2) = b, \, p_2(3) = 1 - b$$

ただし，$b \in (0, 1)$ を定数とする。$p_1$ と $p_2$ の重み付き平均で表される確率分布 $q$ のうち，$X$ 上の一様分布 $u$ とのKullback-Leiblerダイバージェンス

$$D(u || q) = \sum_{x \in X} u(x) \log \frac{u(x)}{q(x)}$$

が最小となるものを求めよ。

---

DeepSeekV3

アルファベット $X = \{1, 2, 3\}$ 上の確率分布 $q$ は、$p_1$ と $p_2$ の重み付き平均として $q(x) = \alpha p_1(x) + (1 - \alpha) p_2(x)$ で表される。ここで、$\alpha \in [0, 1]$ である。一様分布 $u$ とのKLダイバージェンス $D(u \| q)$ を最小化する $\alpha$ を求める。

ステップ1: $q$ の表現

$p_1$ と $p_2$ の定義より：

$$\begin{aligned} q(1) &= \alpha \cdot 1 + (1 - \alpha) \cdot 0 = \alpha, \\ q(2) &= \alpha \cdot 0 + (1 - \alpha) \cdot b = (1 - \alpha)b, \\ q(3) &= \alpha \cdot 0 + (1 - \alpha) \cdot (1 - b) = (1 - \alpha)(1 - b). \end{aligned}$$

ステップ2: KLダイバージェンスの最小化

一様分布 $u(x) = \frac{1}{3}$ に対するKLダイバージェンスは：

$$D(u \| q) = \frac{1}{3} \sum_{x \in X} \log \frac{1/3}{q(x)} = -\log 3 - \frac{1}{3} \sum_{x \in X} \log q(x).$$

これを最小化するには、$\sum_{x \in X} \log q(x)$ を最大化すればよい。具体的には：

$$\log \left( \alpha \cdot (1 - \alpha)b \cdot (1 - \alpha)(1 - b) \right) = \log \left( \alpha (1 - \alpha)^2 b(1 - b) \right).$$

定数 $b(1 - b)$ を無視すると、最大化対象は $\alpha (1 - \alpha)^2$ となる。

ステップ3: 最大化問題の解析

関数 $f(\alpha) = \alpha (1 - \alpha)^2$ の微分は：

$$f'(\alpha) = (1 - \alpha)^2 - 2\alpha(1 - \alpha) = (1 - \alpha)(1 - 3\alpha).$$

$f'(\alpha) = 0$ の解は $\alpha = 1/3$ または $\alpha = 1$。区間 $[0, 1]$ での最大値は $\alpha = 1/3$ で達成され：

$$f(1/3) = \frac{1}{3} \left( \frac{2}{3} \right)^2 = \frac{4}{27}.$$

ステップ4: 最適な $q$ の導出

$\alpha = 1/3$ を代入すると：

$$\begin{aligned} q(1) &= \frac{1}{3}, \\ q(2) &= \frac{2}{3}b, \\ q(3) &= \frac{2}{3}(1 - b). \end{aligned}$$

答え：

$$q(1) = \frac{1}{3}, \quad q(2) = \frac{2}{3}b, \quad q(3) = \frac{2}{3}(1 - b).$$