分離超平面定理

兩個不相交的凸集,一定可以被一個超平面分開——這是整個對偶理論的幾何起點。

上一篇談到凸集的交集仍是凸集;這一篇要處理的是相反的問題:**兩個不相交的凸集,能不能被一刀切開?**答案是可以,而且這一刀(一個超平面)的存在性,正是整個對偶理論的幾何起點。

01 定理敘述

C,DRnC, D \subseteq \mathbb{R}^n 為兩個不相交(CD=C \cap D = \emptyset)的非空凸集。若其中至少一個是緊緻的(compact),則存在 a0a \ne 0bRb \in \mathbb{R},使得

axbxC,axbxD.a^\top x \le b \quad \forall x \in C, \qquad a^\top x \ge b \quad \forall x \in D.
直覺

CCDD 想成兩灘不相交的水漬。因為兩者都是「凸」的(沒有凹進去的地方),你永遠可以在它們之間找到一條直線(nn 維時是超平面)把兩灘水完全隔開,一邊全是 CC,另一邊全是 DD

拖曳兩個凸集看分離超平面
D3 · SVG
實心 = C(拖曳) · 空心虛線 = D(拖曳)

拖曳任一個點來改變 CC(實心)或 DD(空心虛線)的形狀。磚紅色直線是分離超平面,由兩集合間距離最近的一對點的中垂線構成——這正是下面證明的構造方式。試著把兩群點拖到重疊,你會看到這條線不再真的能分開兩邊,因為此時 CDC \cap D \ne \emptyset,定理的前提被破壞了。

02 證明:從最近點對開始構造

展開完整證明Proof · 用最近點對構造

CC 中一點 cc^\starDD 中一點 dd^\star,使得兩點間距離 cd\|c^\star - d^\star\|C×DC \times D 上取到最小值(因為其中一個集合緊緻、另一個非空凸,這個最小值存在)。

a=dc0a = d^\star - c^\star \ne 0(因為 CD=C \cap D = \emptyset,故 cdc^\star \ne d^\star),並取

b=a(c+d2),b = a^\top \left(\frac{c^\star + d^\star}{2}\right),

也就是通過 c,dc^\star, d^\star 中點、且垂直於 aa 的超平面。

關鍵引理:對任意 xCx \in C,都有 axaca^\top x \le a^\top c^\star

用反證法:若存在 xCx \in C 使 ax>aca^\top x > a^\top c^\star,考慮線段 c+t(xc)c^\star + t(x - c^\star)t[0,1]t \in [0,1],因 CC 凸,此線段完全落在 CC 內)。可以證明沿著這條線段前進一小步,到 dd^\star 的距離會比 cd\|c^\star - d^\star\| 更小——與 cc^\star 是最近點矛盾。

同理可證對任意 xDx \in D,都有 axada^\top x \ge a^\top d^\star

把兩個不等式與 bb 的定義接起來,並利用 acbada^\top c^\star \le b \le a^\top d^\star(因為 bb 恰好是兩者的中點值),就得到對所有 xCx \in Caxba^\top x \le b、對所有 xDx \in Daxba^\top x \ge b

注意

定理需要「至少一個集合緊緻」這個技術性條件——如果兩個都只是開集合且不緊緻(例如兩個漸近但不相交的雙曲線區域),嚴格分離可能不成立,只能拿到「弱分離」(\le 換成非嚴格的邊界情形)。多數最佳化應用裡這個條件都自動滿足,不用太擔心。

03 為什麼這對對偶理論重要

強對偶定理的標準證明,本質上就是把「原問題最佳值」和「對偶問題可行值」看成 Rn+1\mathbb{R}^{n+1} 空間裡兩個不相交的凸集,再套用這篇的分離超平面定理——分離出來的超平面,其法向量 aa 的分量,就是對偶最佳解本身。下一篇會先處理 LP 的幾何直觀,再一路推向強對偶定理的完整證明。

留言討論 · Giscus
💬
用 GitHub 帳號登入即可留言、提問
TODO(G):接上 Giscus repo 設定後移除此佔位