凸最佳化 - 魏爾斯特拉斯定理

設 S 是 $\mathbb{R}^n$ 中一個非空、閉合且有界的集合（也稱為緊集），且 $f:S\rightarrow \mathbb{R} $ 是 S 上的一個連續函式，則問題 min $\left \{ f\left ( x \right ):x \in S \right \}$ 取得其最小值。

證明

由於 S 非空且有界，因此存在下界。

$\alpha =Inf\left \{ f\left ( x \right ):x \in S \right \}$

現在設 $S_j=\left \{ x \in S:\alpha \leq f\left ( x \right ) \leq \alpha +\delta ^j\right \} \forall j=1,2,...$ 且 $\delta \in \left ( 0,1 \right )$

根據下確界的定義，對於每個 j，$S_j$ 都是非空的。

選擇一些 $x_j \in S_j$ 以獲得一個序列 $\left \{ x_j \right \}$，其中 j=1,2,...。

由於 S 有界，因此該序列也有界，並且存在一個收斂子序列 $\left \{ y_j \right \}$，該子序列收斂於 $\hat{x}$。因此，$\hat{x}$ 是一個極限點，並且 S 是閉合的，因此，$\hat{x} \in S$。由於 f 是連續的，因此 $f\left ( y_i \right )\rightarrow f\left ( \hat{x} \right )$。

由於 $\alpha \leq f\left ( y_i \right )\leq \alpha+\delta^k, \alpha=\displaystyle\lim_{k\rightarrow \infty}f\left ( y_i \right )=f\left ( \hat{x} \right )$

因此，$\hat{x}$ 是最小化解。

備註

魏爾斯特拉斯定理成立有兩個重要的必要條件。如下所示：

• 步驟 1 - 集合 S 應該是一個有界集合。

  考慮函式 f\left ( x \right )=x。

  它是一個無界集，並且在其定義域的任何點都沒有最小值。

  因此，為了獲得最小值，S 應該是有界的。

• 步驟 2 - 集合 S 應該是一個閉合集合。

  考慮定義域為 \left ( 0,1 \right ) 的函式 $f\left ( x \right )=\frac{1}{x}$。

  此函式在給定定義域中不是閉合的，並且其最小值也不存在。

  因此，為了獲得最小值，S 應該是一個閉合集合。