凸优化 - 魏尔斯特拉斯定理

设 S 是 $\mathbb{R}^n$ 中一个非空、闭合且有界的集合（也称为紧集），且 $f:S\rightarrow \mathbb{R} $ 是 S 上的一个连续函数，则问题 min $\left \{ f\left ( x \right ):x \in S \right \}$ 取得其最小值。

证明

由于 S 非空且有界，因此存在下界。

$\alpha =Inf\left \{ f\left ( x \right ):x \in S \right \}$

现在设 $S_j=\left \{ x \in S:\alpha \leq f\left ( x \right ) \leq \alpha +\delta ^j\right \} \forall j=1,2,...$ 且 $\delta \in \left ( 0,1 \right )$

根据下确界的定义，对于每个 j，$S_j$ 都是非空的。

选择一些 $x_j \in S_j$ 以获得一个序列 $\left \{ x_j \right \}$，其中 j=1,2,...。

由于 S 有界，因此该序列也有界，并且存在一个收敛子序列 $\left \{ y_j \right \}$，该子序列收敛于 $\hat{x}$。因此，$\hat{x}$ 是一个极限点，并且 S 是闭合的，因此，$\hat{x} \in S$。由于 f 是连续的，因此 $f\left ( y_i \right )\rightarrow f\left ( \hat{x} \right )$。

由于 $\alpha \leq f\left ( y_i \right )\leq \alpha+\delta^k, \alpha=\displaystyle\lim_{k\rightarrow \infty}f\left ( y_i \right )=f\left ( \hat{x} \right )$

因此，$\hat{x}$ 是最小化解。

备注

魏尔斯特拉斯定理成立有两个重要的必要条件。如下所示：

• 步骤 1 - 集合 S 应该是一个有界集合。

  考虑函数 f\left ( x \right )=x。

  它是一个无界集，并且在其定义域的任何点都没有最小值。

  因此，为了获得最小值，S 应该是有界的。

• 步骤 2 - 集合 S 应该是一个闭合集合。

  考虑定义域为 \left ( 0,1 \right ) 的函数 $f\left ( x \right )=\frac{1}{x}$。

  此函数在给定定义域中不是闭合的，并且其最小值也不存在。

  因此，为了获得最小值，S 应该是一个闭合集合。