分離超平面定理

兩個不相交的凸集,一定可以被一個超平面分開——這是整個對偶理論的幾何起點。

上一篇談到凸集的交集仍是凸集;這一篇要處理的是相反的問題:**兩個不相交的凸集,能不能被一刀切開?**答案是可以,而且這一刀(一個超平面)的存在性,正是整個對偶理論的幾何起點。

01 定理敘述

設 C,D⊆RnC, D \subseteq \mathbb{R}^n 為兩個不相交(C∩D=∅C \cap D = \emptyset)的非空凸集。若其中至少一個是緊緻的(compact),則存在 a≠0a \ne 0 與 b∈Rb \in \mathbb{R},使得

a⊤x≤b∀x∈C,a⊤x≥b∀x∈D.a^\top x \le b \quad \forall x \in C, \qquad a^\top x \ge b \quad \forall x \in D.
✦直覺

把 CC 和 DD 想成兩灘不相交的水漬。因為兩者都是「凸」的(沒有凹進去的地方),你永遠可以在它們之間找到一條直線(nn 維時是超平面)把兩灘水完全隔開,一邊全是 CC,另一邊全是 DD。

拖曳兩個凸集看分離超平面
D3 · SVG
實心 = C(拖曳) · 空心虛線 = D(拖曳)

拖曳任一個點來改變 CC(實心)或 DD(空心虛線)的形狀。磚紅色直線是分離超平面,由兩集合間距離最近的一對點的中垂線構成——這正是下面證明的構造方式。試著把兩群點拖到重疊,你會看到這條線不再真的能分開兩邊,因為此時 C∩D≠∅C \cap D \ne \emptyset,定理的前提被破壞了。

02 證明:從最近點對開始構造

▸展開完整證明Proof · 用最近點對構造

取 CC 中一點 c⋆c^\star、DD 中一點 d⋆d^\star,使得兩點間距離 ∥c⋆−d⋆∥\|c^\star - d^\star\| 在 C×DC \times D 上取到最小值(因為其中一個集合緊緻、另一個非空凸,這個最小值存在)。

令 a=d⋆−c⋆≠0a = d^\star - c^\star \ne 0(因為 C∩D=∅C \cap D = \emptyset,故 c⋆≠d⋆c^\star \ne d^\star),並取

b=a⊤(c⋆+d⋆2),b = a^\top \left(\frac{c^\star + d^\star}{2}\right),

也就是通過 c⋆,d⋆c^\star, d^\star 中點、且垂直於 aa 的超平面。

關鍵引理:對任意 x∈Cx \in C,都有 a⊤x≤a⊤c⋆a^\top x \le a^\top c^\star。

用反證法:若存在 x∈Cx \in C 使 a⊤x>a⊤c⋆a^\top x > a^\top c^\star,考慮線段 c⋆+t(x−c⋆)c^\star + t(x - c^\star)(t∈[0,1]t \in [0,1],因 CC 凸,此線段完全落在 CC 內)。可以證明沿著這條線段前進一小步,到 d⋆d^\star 的距離會比 ∥c⋆−d⋆∥\|c^\star - d^\star\| 更小——與 c⋆c^\star 是最近點矛盾。

同理可證對任意 x∈Dx \in D,都有 a⊤x≥a⊤d⋆a^\top x \ge a^\top d^\star。

把兩個不等式與 bb 的定義接起來,並利用 a⊤c⋆≤b≤a⊤d⋆a^\top c^\star \le b \le a^\top d^\star(因為 bb 恰好是兩者的中點值),就得到對所有 x∈Cx \in C 有 a⊤x≤ba^\top x \le b、對所有 x∈Dx \in D 有 a⊤x≥ba^\top x \ge b。

∎

▲注意

定理需要「至少一個集合緊緻」這個技術性條件——如果兩個都只是開集合且不緊緻(例如兩個漸近但不相交的雙曲線區域),嚴格分離可能不成立,只能拿到「弱分離」(≤\le 換成非嚴格的邊界情形)。多數最佳化應用裡這個條件都自動滿足,不用太擔心。

03 為什麼這對對偶理論重要

強對偶定理的標準證明,本質上就是把「原問題最佳值」和「對偶問題可行值」看成 Rn+1\mathbb{R}^{n+1} 空間裡兩個不相交的凸集,再套用這篇的分離超平面定理——分離出來的超平面,其法向量 aa 的分量,就是對偶最佳解本身。下一篇會先處理 LP 的幾何直觀,再一路推向強對偶定理的完整證明。

留言討論 · Giscus
💬
用 GitHub 帳號登入即可留言、提問
TODO(G):接上 Giscus repo 設定後移除此佔位