編輯推薦
適讀人群 :本書可作為相關專業高年級大學生和研究生的教材,同時也可作為廣大非綫性**化研究人員以及從事實際應用的工程技術人員的參考書 本書是袁亞湘院士在**化方麵研究成果的總結,代錶瞭這一方嚮的**研究成果,具有極高的學術價值。
內容簡介
本書全麵,係統地介紹瞭無約束量優化,約束優化和非光滑量優化的理論和計算方法,它包括瞭近年來國際上關於優化研究的新成果。
本書可作研究生教材,可供從事計算數學、應用數學、運籌學和計算技術的科研人員參考。
作者簡介
現為中國科學院院士、發展中國傢科學院院士、巴西科學院通訊院士、美國工業與應用數學會會士(SIAM Fellow)、美國數學會會士(AMS Fellow)。現任中國數學會理事長[ 、國際運籌聯盟副主席、亞太運籌學會主席。 從事運籌學研究並取得瞭係統成果,在信賴域法、擬牛頓法、非綫性共軛梯度法等方法方麵做齣瞭重要貢獻。在信賴域法方麵,給齣瞭著名的Celis-Dennis-Tapia問題的**性定理;提齣並解決瞭Steihaug-Toint方法的下降估計;和導師Powell閤作提齣瞭利用光滑評價函數的約束優化信賴域法;獨立提齣瞭一個利用無窮範數罰函數的信賴域法,被國外著名學者推廣到整數規劃。在擬牛頓法方麵,和美國優化專傢閤作證明瞭除 DFP 外Broyden 凸簇的所有方法的全局收斂性;提齣瞭一個改進的BFGS方法,發展瞭非擬牛頓方法。在共軛梯度法方麵,和學生閤作提齣瞭一個新的共軛梯度法,被國際同行稱為戴袁方法。曾獲得國傢自然科學奬二等奬,中國青年科學傢奬,首屆馮康科學計算奬和國際數值分析青年奬二等奬等。
內頁插圖
目錄
第一章 引論
§1.1 引育
§1.2 數學基礎
§1.3 凸集和凸函數
§1.4 無約束問題的最優性條件
§1.5 最優化方法的結構
第二章 一維搜索
§2.1 引育
§2.2 精確一維搜索的收斂理論
§2.3 0.618法和Fibanacci法
§2.4 插值法
§2.5 不精確一堆搜索方法
第三章 牛頓法
§3.1 最速下降法
§3.2 牛頓法
§3.3 修正牛頓法
§3.4 有限差分牛頓法
§3.5 負麯率方嚮法
§3.6 信賴域方法
§3.7 不精確牛頓法
§3.8 附錄:關於牛頓法收斂性的Kantorovich定理
第四章 共軛梯度法
§4.1 共軛方嚮法
§4.2 共軛梯度法
§4.3 共軛梯度法的收斂性
第五章 擬牛頓法
§5.1 擬牛頓法
§5.2 Broyden族
§5.3 Huang族
§5.4 算法的不變性
§5.5 擬牛頓法的局部收斂性
§5.6 擬牛頓法的總體收斂性
§5.7 自調比變尺度方法
§5.8 稀疏擬牛頓法
第六章 非二次模型量優化方法
§6.1 齊次函數模型的最優化方法
§6.2 張量方法
§6.3 錐模型與共綫調比
第七章 非綫性最小二乘問題
§7.1 非綫性最小二乘問題
§7.2 Gauss-Newton法,
§7.3 Levenberg-Marquardt方法
§7.4 Levenberg-Marquardt方法的More形式
§7.5 擬牛頓法
第八章 約束優化量優性條件
§8.1 約束優化問題
§8.2 一階最優性條件
§8.3 二階最優性條件
第九章 二次規劃
§9.1 二次規劃問題
§9.2 對偶性質
§9.3 等式約束問題
……
第十章 罰函數法
第十一章 可行方嚮法
第十二章 逐步二次規劃法
第十三章 新來域法
第十四章 非光滑優化
參考文獻
前言/序言
本書的特點之一是內容新,它介紹瞭近些年來國際上關於優化研究的許多新的成果。書中的不少內容是作者在優化科研中取得的結果,例如關於信賴域法、自調比變尺度法,非二次模型方法,非擬牛頓法以及逐步二次規劃方麵的結果,本書的另一個特點是理論性強,它深入地探討瞭許多算法的收斂性,給齣瞭大量的全局收斂性和局部收斂性結果。
本書可作為研究生教材,也可作為科研人員以及從事實際應用的工程技術人員的參考書,
本書的一至七章由南京大學孫文瑜撰寫,作者感謝J.Stoer,E.Spedicato,Liqun Qi和鬍毓達等教授的支持,作者的一些研究生對書稿提過很好的建議,也在此緻謝。
八至十四章由中國科學院袁亞湘撰寫。作者在此感謝M.J.D.Powell和馮康先生、石鍾慈教授的關心和鼓勵。作者的學生陳新對部分書稿進行瞭認真的校對,也一並錶示感謝,
北京航空航天大學王日爽教授對全書手稿進行瞭認真審閱,並提齣瞭寶貴的修改意見,作者謹嚮他緻以衷心的感謝。
本書的齣版得到瞭中國科學院齣版基金的資助,在此錶示感謝。
由於水平有限,書中難免有不妥和錯誤之處,歡迎讀者批評指正。
計算方法叢書·典藏版(27):最優化理論與方法 本書係“計算方法叢書”中的經典著作,專注於係統、深入地闡述最優化理論的基礎、核心算法及其在工程與科學中的應用。 本書旨在為讀者提供一個全麵而紮實的優化知識體係,涵蓋從經典到前沿的各種優化技術,特彆強調理論的嚴謹性和方法的實用性。 全書結構嚴謹,內容涵蓋麵廣,適閤作為高等院校數學、信息科學、控製工程、運籌學等專業本科高年級學生、研究生以及相關領域科研人員和工程師的教材或參考書。 --- 第一部分:基礎理論與模型構建 本書伊始,便緻力於為讀者構建起堅實的數學基礎。優化問題本質上是對特定目標函數在給定約束條件下的最優解的求解過程。因此,第一部分詳細梳理瞭建立優化模型所需的必備數學工具和基本概念。 第一章 優化問題的基本概念與分類 本章首先定義瞭什麼是優化問題,明確瞭目標函數、決策變量和約束條件的數學錶示。隨後,係統地對最優化問題進行分類: 按變量類型分類: 連續優化、離散優化(整數規劃、混閤整數規劃)。 按約束性質分類: 無約束優化與有約束優化。 按目標函數和約束函數的形式分類: 綫性規劃(LP)、非綫性規劃(NLP)、二次規劃(QP)、凸規劃等。 特彆地,本章深入探討瞭凸集與凸函數的性質,強調它們在保證全局最優解存在性與唯一性方麵所扮演的關鍵角色,為後續理論推導奠定基石。 第二章 綫性規劃理論 綫性規劃作為最基礎且應用最廣泛的優化模型,在本章得到詳盡闡述。 標準形式與圖解法: 從二維問題的圖解法入手,直觀理解可行域、最優解的幾何意義。 單純形法(Simplex Method): 詳細剖析單純形法的代數基礎、操作步驟、退化處理、大M法以及兩階段法,確保讀者能夠徹底掌握這一經典算法的求解流程與效率考量。 對偶理論: 深入講解綫性規劃對偶性的建立、對偶問題的經濟學解釋(影子價格),以及對偶單純形法在敏感性分析中的應用。 --- 第二部分:無約束優化算法 無約束優化是求解許多實際問題的核心步驟。第二部分集中討論瞭如何有效地在沒有外部限製的情況下尋找函數的極小值點。 第三章 一維搜索方法 在多維優化迭代過程中,每一步都需要沿著搜索方嚮進行最優步長選擇,即一維搜索。本章詳述瞭提高搜索效率和精度的技術: 進退法(Bracketing): 確定包含極小點的區間。 精確搜索方法: 闡述牛頓法、割綫法(Secant Method)的基本原理。 近似搜索方法: 重點介紹黃金分割法(Golden Section Search)和Fibonacci法,分析其收斂速度和計算成本的權衡。 第四章 多維無約束優化算法 本章是無約束優化的核心,圍繞梯度信息的使用構建算法體係: 一階方法: 詳細分析最速下降法(Gradient Descent)的原理、收斂特性及其局限性。 二階方法: 深入講解牛頓法(Newton’s Method),分析其二次收斂性,並探討其缺點(Hessian矩陣的計算與正定性問題)。 擬牛頓法(Quasi-Newton Methods): 針對牛頓法的不足,係統介紹DFP(Davidon–Fletcher–Powell)公式和BFGS(Broyden–Fletcher–Goldfarb–Shanno)算法,重點闡述如何通過秩一或秩二修正來近似Hessian矩陣,實現與牛頓法相近的收斂速度,同時避免復雜的矩陣求逆。 共軛梯度法(Conjugate Gradient Methods): 介紹Fletcher–Reeves(FR)和Polak–Ribière–Polyak(PRP)算法,強調其在處理大規模稀疏問題中的優勢,以及與擬牛頓法的對比。 --- 第三部分:有約束優化算法 實際工程問題幾乎都帶有約束。第三部分聚焦於如何在滿足不等式和等式約束的同時,實現目標函數的最小化。 第五章 KKT條件與拉格朗日乘子法 這是處理等式約束優化問題的理論基石。 拉格朗日函數: 建立拉格朗日函數,推導齣優化問題的必要最優條件——卡羅什-庫恩-塔剋(KKT)條件。 凸優化條件: 特彆分析在凸規劃問題中,KKT條件如何成為充分最優條件的。 拉格朗日乘子法的求解策略及其在敏感性分析中的意義。 第六章 序列二次規劃與內點法 針對非綫性約束優化(NLP),本章介紹瞭現代求解器廣泛采用的高效算法。 罰函數法: 介紹外點法和內點法的基礎思想,如何將約束問題轉化為一係列無約束或簡單約束問題。 序列二次規劃(SQP): 詳細闡述SQP算法的迭代過程,即每一步迭代中,利用當前點的Hessian信息求解一個二次規劃子問題(Quadratic Subproblem),並通過牛頓步逼近KKT點。 內點法基礎: 介紹障礙函數(Barrier Function)方法,特彆是Primal-Dual Interior Point Methods的核心思想,該方法在求解大規模優化問題中展現齣卓越的性能。 第七章 序列綫性規劃與可行方嚮法 本章討論瞭處理復雜約束集的經典方法。 可行方嚮法: 介紹如何通過求解一個綫性規劃子問題來確定一個改善目標函數值的可行方嚮。 序列綫性規劃(SLP): 強調通過迭代綫性化約束和目標函數,將NLP轉化為一係列更容易求解的綫性規劃問題。 --- 第四部分:特殊優化問題與應用 第四部分將理論應用於實際的特定優化場景,拓寬讀者的視野。 第八章 動態規劃與隨機優化概述 動態規劃(Dynamic Programming): 介紹貝爾曼方程(Bellman Equation),以及如何使用“最優子結構”和“無後效性”原理來分解復雜決策過程。 隨機優化引言: 討論當模型參數或約束條件包含隨機性時,如何構建和求解隨機規劃模型,包括兩階段隨機規劃的概念。 第九章 啓發式算法與全局優化 針對目標函數高度非凸、存在大量局部最優解的復雜問題,本書介紹瞭超越傳統梯度方法的思路。 模擬退火(Simulated Annealing): 闡述其基於物理退火過程的概率接受機製,用以跳齣局部最優。 遺傳算法(Genetic Algorithms): 介紹基於生物進化的搜索策略,包括編碼、選擇、交叉和變異操作。 粒子群優化(Particle Swarm Optimization): 簡述其群體智能搜索機製。 本書的特點在於其理論深度與計算實踐的緊密結閤,不僅提供瞭詳盡的數學證明,更注重對每種算法的收斂性分析、計算復雜度和實際應用場景的評估與對比。 讀者在掌握這些核心計算方法後,將具備分析和解決復雜工程優化問題的堅實能力。