无码av一区二区三区无码,在线观看老湿视频福利,日韩经典三级片,成 人色 网 站 欧美大片在线观看

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

機器學習——凸優(yōu)化與KKT條件(2)

2023-07-01 16:10 作者:Vector永遠的神  | 我要投稿

????接著上一期的內容講,關于對偶函數(shù)的單向箭頭,這里就涉及到凸優(yōu)化的問題了。

????首先是凸集的概念,如下所示,在區(qū)域內任意選擇兩點相連接,當這條線段上的任意點都位于區(qū)域內時,這個集合就被稱作為凸集。仿射集是凸集,兩個凸集相交也一定是凸集。一般約束條件所定義的半空間也是凸集。

凸集的定義

凸函數(shù)和凹函數(shù)所圍成的空間區(qū)域都是凸集。

凸函數(shù)和凹函數(shù)

??

拉格朗日對偶問題

??

????對于拉格朗日乘數(shù)法的對偶函數(shù)g,通過求L對x的偏導數(shù),令其等于零,找到x=x*為極值點,帶入對偶函數(shù)g中去,得到的式子λ和v的系數(shù)均是常數(shù),是一個關于λ和v的線性函數(shù)式,一條直線可以被認為是凸函數(shù)或者凹函數(shù)均可。

拉格朗日乘數(shù)法的對偶問題

? ? 目標函數(shù)滿足凸函數(shù)或者凹函數(shù)的定義,然后對偶函數(shù)g的條件區(qū)域式λ大于0,v沒有范圍要求,這是一個標準的半空間,也就是一個凸集,滿足了這兩個要求的最值問題就是凸優(yōu)化問題。

????這也就說明,無論原問題函數(shù)是不是構成凸優(yōu)化問題,對偶問題是一定滿足凸優(yōu)化條件的。

大小關系

????注意這里的max和min都是在滿足某一個條件下,拉格朗日函數(shù)L的最值,比如說在x固定的前提下,通過變化λ和v來確定一個最大值式子,只有最后帶入了某一個x的值才能得到一個確切的值。

????當這兩個極值P*與D*不相等時,則稱這個問題是一個弱對偶關系,也就是只能單向箭頭。

????當極值P*和D*相等時,則稱這是一個強對偶問題,互相等價。

????當一個凸優(yōu)化問題滿足了slater條件時,就構成強對偶問題。slater條件就是存在一個可行域內部的點使得fi(x)小于0就行了。一般情況下都滿足,正常使用就可以了。

slater條件

????這個是構成強對偶問題的五個必要條件,一般就認為滿足了這五個條件就可以構成強對偶關系。原函數(shù)的約束條件,對偶函數(shù)的約束條件,互補松弛條件,其中λ的取值問題在上一篇文章中有提到,在這里就不做多的解釋了。

KKT條件


機器學習——凸優(yōu)化與KKT條件(2)的評論 (共 條)

分享到微博請遵守國家法律
台南县| 洛南县| 布拖县| 日喀则市| 洛隆县| 凌云县| 枣庄市| 亳州市| 崇明县| 高尔夫| 安岳县| 吴忠市| 自贡市| 绍兴县| 洛南县| 石林| 那曲县| 长汀县| 且末县| 汝城县| 固镇县| 仲巴县| 大石桥市| 万州区| 汾阳市| 商水县| 金昌市| 兰西县| 南雄市| 科尔| 漳州市| 宣威市| 赞皇县| 长丰县| 美姑县| 从化市| 宜宾县| 淳化县| 通州区| 元氏县| 简阳市|