Innere-Punkte-Verfahren mit Redundanzerkennung für die Quadratische Optimierung

Philipp Schade Innere-Punkte-Verfahren mit Redundanzerkennung für die Quadratische Optimierung GABLER EDITION WISSENS...

Author: Philipp Schade

12 downloads 656 Views 2MB Size Report

This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!

Report copyright / DMCA form

DOWNLOAD PDF

Philipp Schade Innere-Punkte-Verfahren mit Redundanzerkennung für die Quadratische Optimierung

GABLER EDITION WISSENSCHAFT

Philipp Schade

Innere-Punkte-Verfahren mit Redundanzerkennung für die Quadratische Optimierung

GABLER EDITION WISSENSCHAFT

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.

Dissertation Technische Universität Dortmund, 2007

1. Auflage 2008 Alle Rechte vorbehalten © Gabler | GWV Fachverlage GmbH, Wiesbaden 2008 Lektorat: Frauke Schindler / Anita Wilke Gabler ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.gabler.de Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung: Regine Zimmer,r Dipl.-Designerin, Frankfurt/Main Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Printed in Germany ISBN 978-3-8349-1019-6

Vorwort Reich ist man nicht durch das, was man besitzt, sondern mehr noch durch das, was man mit W¨ urde zu entbehren weiß, und es k¨ onnte sein, dass die Menschheit reicher wird, indem sie ¨ armer wird und gewinnt, indem sie verliert. Immanuel Kant1

Kaum treﬀender l¨ asst sich dieser Ausspruch Kants auf das Thema dieser Arbeit u ur Optimierungsproble¨ bertragen. Um es kurz zu umreißen: F¨ me k¨ ampfen selbst aktuelle L¨ osungsverfahren mit dem schwerwiegenden Nachteil, zum Auﬃnden einer optimalen L¨ osung Informationen verarbeiten zu m¨ ussen, die f¨ ur die Bestimmung der optimalen L¨ osung keinerlei Beitrag leisten und in diesem Sinne u ussig sind. Leider wird uns zu ¨ berﬂ¨ sp¨at – n¨ amlich erst mit Kenntnis der optimalen L¨ osung – gewiss, welche Informationen von vornherein h¨ atten ignoriert werden k¨ onnen. Mit neuen theoretischen Erkenntnissen und darauf basierenden L¨ osungsverfahren lassen sich m¨ oglicherweise solcherart u ussige Informationen identiﬁzieren ¨ berﬂ¨ und ignorieren. Wir w¨ urden gewinnen“, indem wir verlieren“. ” ” Diese Arbeit entstand als Dissertation im Rahmen meiner T¨ atigkeit als wissenschaftlicher Mitarbeiter am Fachgebiet Operations Research der Wirtschafts- und Sozialwissenschaftlichen Fakult¨ at an der Technischen Universit¨ at Dortmund. Sie wurde wesentlich motiviert durch die vorausgehenden Arbeiten meines Doktorvaters Herrn Prof. Dr. Peter Recht zur Identiﬁkation nicht-aktiver Restriktionen f¨ ur die konvex-quadratische Optimierung. An erster Stelle geb¨ uhrt ihm mein herzlichster Dank. Er erm¨ oglichte mir nicht nur, diesen akademischen Schritt zu gehen, nein, vielmehr ermunterte er mich ganz zu Beginn sogar erst dazu. Sehr zu sch¨ atzen gelernt habe ich zudem das außergew¨ ohnlich freie, unabh¨ angige und famili¨ are Arbeitsklima an seinem Lehrstuhl und den f¨ orderlichen gemeinsamen Umgang, der wohl wesentlich auch meine Pers¨ onlichkeit gepr¨ agt hat. Mit Freude denke ich an diese Lehr(stuhl)jahre zur¨ uck. Bedanken m¨ ochte ich mich auch bei meinem Zweitgutachter Herrn Prof. Dr. Wolfgang Achtziger vom Fachbereich Mathematik und meinem dritten 1 Aus

K¨ onigsberger Weisheiten – Eine ebenso erg¨ otzliche wie nachdenkliche Sammlung von Ausspr¨ uchen K¨ onigsberger Denker und Dichter, Gr¨ afe und Unzer Verlag, K¨ onigsberg (Pr.), ca. 1940.

VI

Vorwort

Pr¨ ufer Herrn Prof. Dr. Andreas Liening f¨ ur deren spontane Bereitschaft, meine Arbeit zu begutachten. Herrn Prof. Dr. Wolfgang Achtziger danke ich dar¨ uber hinaus f¨ ur seine permanente moralische und ﬁnanzielle Unterst¨ utzung unseres Programmierprojektes qipp und schließlich f¨ ur seine herrlich erfrischende Art und seine unterhaltsamen Erz¨ ahlungen und An¨ ekdoten. Uber ihn lernte ich Herrn Dr. Kay Moritzen kennen, in dem ich nicht nur einen begeisterten qipp-Mitinitiator und kritischen Kollegen gewonnen habe, sondern vielmehr auch einen lieben Freund. Ihm danke ich f¨ ur die permanente Unterst¨ utzung bei der Entwicklung von qipp und die vielen fachlichen und privaten Diskussionen. Die intensive Besch¨ aftigung mit dieser Arbeit hinterließ zudem merkbare Spuren auch in meinem Privatleben. Ich bedanke mich bei allen meinen Freunden, die trotz sich wiederholender Phasen zeitlicher Entbehrung und regelm¨ aßiger Absagen dennoch immer den Kontakt suchten und letztlich auch durch gemeinsame Rennradausﬂ¨ uge f¨ ur die dringend n¨ otige geistige und k¨ orperliche Abwechslung sorgten. Der gr¨ oßte Dank und Respekt geb¨ uhrt abschließend meiner ganzen Familie, vor allem meinen Eltern Annette und Dr. Lutz Schade und meiner Freundin, die mir Wegbereiter und st¨ andiger Wegbegleiter waren. Ohne ihre immerw¨ ahrende und uneingeschr¨ ankte Unterst¨ utzung, ohne ihren st¨ andigen Zuspruch in selbstkritischen Phasen und ohne ihre Toleranz gegen¨ uber ungew¨ ohnlichen Arbeitszeiten und regelm¨ aßigen Gem¨ utswallungen, Hochs und Tiefs, aber auch ohne ihren wohldosierten und fordernden Nachdruck w¨ urde ich heute dieses Vorwort nicht schreiben. Ich danke Herrn Dr. R¨ udiger Reinhardt f¨ ur seine begeisternde und kritische Auseinandersetzung mit der Arbeit und f¨ ur seine gewinnbringenden, fachlichen Anmerkungen und Anregungen auf dem Weg zur Disputation. Ich bedanke mich auch bei allen Studierenden, die immer f¨ ur Abwechslung und Herausforderungen in meinem Lehrbetrieb und Unialltag sorgten, an dem ich zudem immer viel Freude hatte, und bei allen anderen Personen, die mich im Laufe der letzten Jahre begleiteten, pr¨ agten und hier nicht alle namentlich erw¨ ahnt werden k¨ onnen. Dem Leser w¨ unsche ich abschließend viel Freude bei der Lekt¨ ure dieser Arbeit. F¨ ur fachliche Diskussionen und Anregungen stehe ich gerne jederzeit zur Verf¨ ugung. Philipp Schade

Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis

XI XIII

1 Einf¨ uhrung 1.1 Zielstellung dieser Arbeit . . . . . . . . . . . . . . . . . . . 1.2 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . 1.3 Verwendete Notation . . . . . . . . . . . . . . . . . . . . . .

1 7 10 11

2 Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung 2.1 Quadratische Optimierung . . . . . . . . . . . . . . . . . . . 2.1.1 Grundlagen der Quadratischen Optimierung . . . . . 2.1.2 Das dualisierte quadratische Optimierungsproblem . 2.1.3 Optimalit¨ atsbedingungen . . . . . . . . . . . . . . . ¨ 2.2 Uberblick und Klassiﬁzierung von Innere-Punkte-Verfahren 2.2.1 Aﬃn-skalierte Verfahren . . . . . . . . . . . . . . . . 2.2.2 Potential-Reduktionsverfahren . . . . . . . . . . . . 2.2.3 Pfadverfolgungsverfahren . . . . . . . . . . . . . . . 2.3 Primal-duale Innere-Punkte-Verfahren und der Zentrale Pfad 2.3.1 Das System gest¨ orter Optimalit¨ atsbedingungen . . . 2.3.2 Das primal-duale Ger¨ ust und der zentrale Pfad . . . 2.3.3 Pr¨ adiktor-Korrektor-Verfahren . . . . . . . . . . . . 2.4 Das Innere-Punkte-Verfahren nach Mehrotra/Gondzio . . . 2.4.1 Das Pr¨ adiktor-Korrektor-Verfahren von Mehrotra (MPC) . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4.2 Heuristik zur Richtungskorrektur nach Gondzio . .

15 16 16 17 21 22 23 25 27 30 30 34 39 43

¨ 3 Uber die Identiﬁkation nicht-aktiver Restriktionen ¨ 3.1 Historischer Uberblick zur Redundanzerkennung . . . . . . 3.2 Identiﬁkation nicht-aktiver Restriktionen . . . . . . . . . . .

53 54 62

43 48

VIII

Inhaltsverzeichnis

¨ 4 Uber die Elimination u ussiger Nebenbedingungen 69 ¨berﬂ¨ 4.1 Logarithmische Barriere-Funktion und Pfadverfolgungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 4.2 Abstandsmaße zum zentralen Pfad . . . . . . . . . . . . . . 80 4.2.1 Abstandsmaße f¨ ur die quadratische Optimierung . . 81 4.2.2 Auswirkungen auf den zentralen Pfad . . . . . . . . 88 4.3 Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen . . . . . . . . . . . . . . . . . . . . . . . . . . 102 4.3.1 Notwendigkeit der Zentrierung . . . . . . . . . . . . 104 4.3.2 Einﬂuss auf das Dualit¨ atsmaß . . . . . . . . . . . . . 106 4.3.3 Einﬂuss auf den Dualraum und duale Zentrierung . 110 4.3.4 Eine Kollektor-Heuristik . . . . . . . . . . . . . . . . 125 4.4 Algorithmus f¨ ur ein modiﬁziertes primal-duales Innere-PunkteVerfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 4.5 Ein simultanes Build-Down-Schema zur Redundanzerkennung128 5 Implementierung des modiﬁzierten Verfahrens 5.1 Quadratische Problemformulierung f¨ ur die Implementierung 5.1.1 Dualisiertes Problem und Optimalit¨ atsbedingungen . 5.1.2 Algorithmisches Vorgehen gem¨ aß Mehrotra . . . . 5.1.3 Modiﬁzierter Zentrierungsschritt nach Eliminierung 5.1.4 Zentralit¨ atskorrekturen nach Gondzio . . . . . . . . 5.1.5 Abbruchbedingungen f¨ ur den Algorithmus . . . . . . 5.2 Ein spezialisierter, kombinierter Programmcode – qipp . . . 5.2.1 Motivation und Ausgangspunkt . . . . . . . . . . . . 5.2.2 Aufbau und Klassen von qipp . . . . . . . . . . . . . 5.3 Identiﬁkation und Elimination nicht-aktiver Restriktionen . 5.3.1 Vorbereitung f¨ ur die Identiﬁkation und Elimination . 5.3.2 Auswirkung auf die primal-duale Programmstruktur 5.3.3 Auswirkung auf den Gleichungssysteml¨ oser . . . . . 5.4 Arbeiten mit dem Solver . . . . . . . . . . . . . . . . . . . . 5.4.1 Beispielaufruf . . . . . . . . . . . . . . . . . . . . . . 5.4.2 Beispielausgabe . . . . . . . . . . . . . . . . . . . . .

133 134 135 142 146 147 149 151 152 153 158 158 160 162 164 164 166

6 Numerische Ergebnisse und rechentechnischer 6.1 Problemgenerator f¨ ur Beispielinstanzen . . . . 6.2 Ergebnisse f¨ ur generierte Beispiele . . . . . . . 6.3 Beispiele der Sammlung von Maros/M´esz´aros .

171 171 172 178

Vergleich . . . . . . . . . . . . . . . . . . . . .

Inhaltsverzeichnis

7 Zusammenfassung und Ausblick

IX

183

A Mathematischer Anhang 189 A.1 Herleitung des erweiterten KKT-Systems . . . . . . . . . . 189 A.2 Berechnung der Dualit¨ atsl¨ ucke . . . . . . . . . . . . . . . . 197 A.3 Berechnung des Abstands zum zentralen Pfad . . . . . . . . 198 B Erg¨ anzungen 201 B.1 Terminierungscodes f¨ ur qipp . . . . . . . . . . . . . . . . . . 201 Stichwortverzeichnis

203

Literaturverzeichnis

207

Abbildungsverzeichnis 2.1 2.2

Darstellung des zentralen Pfades . . . . . . . . . . . . . . . Illustration eines Pr¨ adiktor-Korrektor-Verfahrens . . . . . .

37 41

3.1 3.2 3.3

Arten u ussiger Nebenbedingungen . . . . . . . . . . . . ¨ berﬂ¨ Darstellung f¨ ur das erste Streichkriterium . . . . . . . . . . Darstellung f¨ ur das zweite Streichkriterium . . . . . . . . .

54 65 66

4.1 4.2 4.3 4.4

Abstandsver¨ anderung zum zentralen Pfad durch Eliminieren Verhalten bei Elimination . . . . . . . . . . . . . . . . . . . Zuwachs f¨ ur den Zielfunktionswert . . . . . . . . . . . . . . Auswirkung redundanter Nebenbedingungen auf den zentralen Pfad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Einﬂuss des Streichens auf die aﬃn-skalierte Richtung . . . Suchrichtungen zur Zentrierung . . . . . . . . . . . . . . . . Resultierende Suchrichtungen nach Anpassung des BarriereParameters . . . . . . . . . . . . . . . . . . . . . . . . . . . Anstieg der dualen Unzul¨ assigkeit . . . . . . . . . . . . . . . Zuwachs f¨ ur den Zielfunktionswert mit modiﬁzierter Zentrierungsrichtung . . . . . . . . . . . . . . . . . . . . . . . . . .

96 98 102

4.5 4.6 4.7 4.8 4.9

103 105 109 110 123 124

5.1

Darstellung der Reversierten Kommunikation . . . . . . . . 154

6.1 6.2

Performance-Proﬁl f¨ ur Testbeispiele . . . . . . . . . . . . . 173 Performance-Proﬁle f¨ ur Maros/M´esz´aros-Beispiele . . . . . 178

Tabellenverzeichnis 6.1 6.1 6.2 6.2

Laufzeitverhalten Laufzeitverhalten Laufzeitverhalten Laufzeitverhalten

der der zur zur

Beispielprobleme . . . . . . . . . . . Beispielprobleme (Forts.) . . . . . . Maros/M´esz´aros-Sammlung . . . . . Maros/M´esz´aros-Sammlung (Forts.)

. . . .

175 176 180 181

B.1 Terminierungs-/Statuscodes des Verfahrens . . . . . . . . . 201

1 Einfu ¨ hrung Die Komplexit¨ at heutiger technisch-¨ okonomischer Systeme bringt es mit sich, dass im Rahmen der unternehmensstrategischen Steuerungsprozesse regelm¨ aßig vielf¨ altige Entscheidungen zu ebenso komplexen betriebswirtschaftlichen Sachverhalten zu treﬀen sind. In diesem Zusammenhang bedarf es geeigneter entscheidungsunterst¨ utzender Werkzeuge“ und Methoden. ” Mit dem Operations Research steht an dieser Stelle ein interdisziplin¨ ares Wissenschaftsgebiet zur Verf¨ ugung, dass sich als ein Bindeglied zur Betriebswirtschaft mit den praxisrelevanten Problemstellungen auf der einen Seite und zur Optimierung als ein Teilgebiet der numerischen Mathematik auf der anderen Seite versteht. Die enge Verzahnung mit der betriebswirtschaftlichen Steuerung macht im Englischen der synonym verwendete Begriﬀ des Management Science deutlich. Dar¨ uber hinaus spielt das Operations Research heute ebenfalls f¨ ur das Wirtschaftsingenieurwesen im Rahmen der Fertigungsplanung und -organisation eine immer bedeutendere Rolle. W¨ ahrend im allgemeinen Sprachverst¨ andnis der Begriﬀ optimieren“ fast ” ausschließlich im Sinne von etwas verbessern“ verwendet wird, meint die ” strenge Begriﬄichkeit des Optimierens“ die Bestimmung einer optima” len – d. h. bestm¨oglichen – Festlegung bestimmter entscheidungsrelevanter Gr¨ oßen (¨ uber sog. Entscheidungsfragen) innerhalb eines technisch-¨ okonomischen Systems hinsichtlich einer deﬁnierten Zielstellung (sog. Entscheidungsziel ) und unter Ber¨ ucksichtigung von vorgegebenen Beschr¨ ankungen f¨ ur die Entscheidung (sog. Entscheidungsschranken). Das Operations Research hat daher die Aufgabe, f¨ ur die Bereitstellung der Festlegung dieser Entscheidungsgr¨ oßen eine geeignete mathematische Formulierung der ¨okonomischen Fragestellung aufzustellen. Dabei werden die Entscheidungsfragen u ¨ ber sog. Entscheidungsvariablen, die Entscheidungsschranken u ¨ber sog. Nebenbedingungen und das Entscheidungsziel u ¨ ber eine Zielfunktion im Rahmen eines Optimierungsmodells bzw. -problems dargestellt. F¨ ur eine Klassiﬁkation der Typen von Entscheidungsproblemen unterscheidet man allgemein lineare und nicht-lineare Optimierungsprobleme. Bei der linearen Optimierung stehen die Entscheidungsvariablen innerhalb der Zielfunktion und der Nebenbedingungen in einem linearen Zusammenhang. Nicht-lineare Optimierungsprobleme weisen dagegen allgemein nicht-

2

Einf¨ uhrung

lineare Zusammenh¨ ange auf. W¨ ahrend f¨ ur die linearen Optimierungsprobleme beispielsweise mit dem Simplex-Verfahren geeignete L¨ osungsverfahren zur Verf¨ ugung stehen, existieren dagegen f¨ ur die nicht-lineare Optimierung keine universellen Verfahren zur L¨ osung dieser Probleme. Eine Teilkategorie der nicht-linearen Probleme stellen die konvexen Optimierungsprobleme dar, von denen die konvex-quadratischen Optimierungsprobleme wiederum eine wichtige Unterklasse bilden. Bei den konvexen Problemen liegen die Zielfunktion und die Nebenbedingungen als konvexe Funktionen vor. Quadratische Optimierungsprobleme zeichnen sich speziell durch eine quadratische Zielfunktion und lineare Nebenbedingungen aus. Viele ¨ okonomische Fragestellungen sind in Form eines quadratisches Optimierungsproblems darstellbar. Konkret ﬁnden quadratische Entscheidungsprobleme beispielsweise Anwendung in der Strombedarfsplanung [123] oder Kraftwerkssteuerung [33], in der Strahlenforschung innerhalb der Medizin [61], in der Landwirtschaft [78] oder in der Statistik im Zusammenhang mit der Varianz- bzw. Regressionsanalyse und der Methode der ” kleinsten Quadrate“ [50]. Eine Vielzahl von Finanz- und versicherungsmathematischen Fragestellungen lassen sich zudem im Rahmen der sog. Portefeuille-Optimierung als quadratisches Optimierungsproblem modellieren (siehe z. B. [80, 118, 38, 53] bzw. [79, 16, 103]). Dar¨ uber hinaus werden innerhalb der mathematischen Optimierung quadratische Optimierungsprobleme oftmals als Unterprobleme in Verfahren f¨ ur allgemein nichtlineare Optimierungsprobleme gel¨ ost. In diesem Zusammenhang sind beispielsweise die sog. SQP-Verfahren1 [67, Kap. 13] zu nennen, die heute gemeinhin als die wichtigste Klasse von Verfahren zur L¨ osung von allgemeinen nicht-linearen Optimierungsproblemen gelten [44, Kap. 5.5]. Die Vielf¨ altigkeit heutiger betriebswirtschaftlicher Entscheidungsprobleme impliziert, dass das Operations Research nicht als ein starrer Werkzeugkasten vorgefertigter Modellformulierungen“ verstanden werden kann, ” sondern vielmehr als eine allgemeing¨ ultige und ﬂexible Methodenbasis, die der individuellen Behandlung der jeweiligen ¨ okonomischen Fragestellung gerecht wird. Es ist daher ebenso Aufgabe des Operations Research, in dieser Weise geeignete Methoden, Verfahren und Techniken zu entwickeln und bereitzustellen. W¨ ahrend sich die Komplexit¨ at heutiger Entscheidungsprobleme schließlich in der Art und der Gr¨ oße der resultierenden mathematischen Modellformulierungen widerspiegelt, werden wir zus¨ atzlich mit der Anforde1 Dabei

steht die Abk¨ urzung SQP f¨ ur Sequential Quadratic Programming.

Einf¨ uhrung

3

rung konfrontiert, die Entscheidung und damit die L¨ osung des Problems in k¨ urzestm¨oglicher Zeit bzw. innerhalb deﬁnierter Zeitvorgaben zu liefern. Anstelle einer optimalen L¨ osung l¨ asst sich daher h¨ auﬁg u ahe¨ber N¨ rungsverfahren (sog. Heuristiken) lediglich eine N¨ aherungsl¨ osung in geeigneter L¨ osungszeit angeben. Die durch das Operations Research bereitzustellenden Verfahren m¨ ussen daher in der Lage sein, die mit den Entscheidungsproblemen korrespondierenden mathematischen Modelle sowohl in ihrer Gr¨ oße als dar¨ uber hinaus auch hinreichend schnell verarbeiten“ ” zu k¨ onnen. Eine aktuelle und relevante Fragestellung f¨ ur die Steuerung des europ¨ aischen und des amerikanischen Luftverkehrssystems motiviert im Folgenden beispielhaft die Notwendigkeit f¨ ur solche Verfahren. Notwendigkeit der Steuerung des europ¨ aischen und amerikanischen Luftverkehrssystems Dem Jahresbericht 2006 der europ¨ aischen Flugverkehrssicherung (Eurocontrol) [37] entnimmt man, dass der europ¨ aische Luftverkehr seit Mitte der 90er Jahre um etwa 50 Prozent zugenommen hat. Ausgehend von ca. 9,6 Millionen registrierten Fl¨ ugen im Jahr 2006 wird ein Luftverkehrswachstum bis zum Jahr 2011 um 21,7 % erwartet. F¨ ur das Jahr 2025 prognostiziert das SES ATM Research2 (SESAR) Konsortium ein weiteres Wachstum auf insgesamt bis zu 22 Millionen kommerzieller Fl¨ uge [37]. Das stetige Wachstum des Luftverkehrs f¨ uhrt schon heute zu Kapazit¨ atsengp¨ assen sowohl f¨ ur die Flugh¨ afen als auch f¨ ur die einzelnen Sektoren des Luftraums. W¨ ahrend Kapazit¨ atsengp¨ asse f¨ ur den Straßenverkehr durch den Bau zus¨ atzlicher Straßen entsch¨ arft werden k¨ onnen, kann dem Wachstum des Luftverkehrs nur mit der eﬃzienteren Nutzung existierender Infrastrukturen bzw. mit der Einf¨ uhrung neuer Technologien begegnet werden. Die Luftverkehrssteuerung (engl. Air Traﬃc Manangement, kurz ATM) gewinnt damit immer weiter an Bedeutung. Ihre Aufgabe besteht im Wesentlichen darin, allen Teilnehmern am Luftverkehr die Einhaltung der geplanten Flugpl¨ ane f¨ ur Abﬂug und Landung zu erm¨ oglichen. Das Air Traﬃc Flow Management (ATFM) umfasst dabei eine Reihe von Aktivit¨ aten, um einen optimalen“ Fluss des Luftverkehrs innerhalb des Luftverkehrsraums ” sicherzustellen, insbesondere dann, wenn die Nachfrage die verf¨ ugbare Ka2 Das

Single European Sky Air Traﬃc Management Research Programme“ ist ein von ” der Europ¨ aischen Kommission in Zusammenarbeit mit der europ¨ aischen Flugverkehrssicherung EUROCONTROL initiiertes Projekt im Rahmen des europ¨ aischen Flugverkehrsmanagements.

4

Einf¨ uhrung

pazit¨ at des Luftverkehrssystems u atsengpass pro¨ bersteigt bzw. ein Kapazit¨ gnostiziert wird. Die durch ausgesch¨ opfte Kapazit¨ aten des Luftverkehrsraums bedingten unmittelbaren Auswirkungen auf den Verkehrsﬂuss haben Verz¨ ogerungen f¨ ur das gesamte Luftverkehrssystem zur Folge mit betr¨ achtlichen ﬁnanziellen Implikationen (engl. delay costs). Jede Versp¨ atungsminute ruft dabei durchschnittlich Kosten in H¨ ohe von 109 e hervor [36].3 T¨ aglich durchschnittlich 50 279 Versp¨ atungsminuten [35] verursachten damit f¨ ur das Jahr 2006 innerhalb des europ¨ aischen Luftverkehrssystems Kosten allein f¨ ur Versp¨atungen im Luftverkehr in H¨ ohe von mindestens 2,0 Milliarden e. Im gleichen Zeitraum beziﬀerte die amerikanische Air Transport Association (ATA) die Kosten in Folge von Versp¨ atungen mit 116,5 Millionen Versp¨atungsminuten innerhalb des amerikanischen Luftverkehrssystems auf 7,7 Milliarden US-Dollar [2]. Diese Kostengr¨ oßen verdeutlichen nachgerade die Notwendigkeit einer efﬁzienten Flugverkehrssteuerung. Die Aktivit¨ aten des Air Traﬃc Flow Managements zur Organisation und Steuerung des Verkehrsﬂusses m¨ ussen daher darauf ausgerichtet sein, allen Teilnehmern am Flugverkehr einen sicheren, geordneten und schnellen Flug zu gew¨ ahrleisten, w¨ ahrend die verf¨ ugbare Kapazit¨ at des gesamten Luftverkehrssystems zu jeder Zeit und an jedem Ort zu ber¨ ucksichtigten ist. Ein wichtiges Instrument innerhalb des ATFM ist das sog. Ground Delay Program (GDP). Im Rahmen dessen wird der Abﬂug eines startbereiten Flugzeuges am Abﬂughafen gezielt so lange verz¨ ogert, bis die Kapazit¨ at am Ankunftsﬂughafen zu der prognostizierten Ankunftszeit f¨ ur eine direkte Landung ausreicht. Solche Programme werden immer dann eingesetzt, wenn die Landungsrate an den Zielﬂugh¨ afen beispielsweise auf Grund schlechten Wetters eingeschr¨ ankt ist oder allgemein immer dann, wenn die prognostizierte Nachfrage die vorhandenen Kapazit¨ aten f¨ ur eine bestimmte Periode u ¨berschreitet. Auf diese Weise kann der Bedarf an Landungen auf einem akzeptablen Niveau gehalten, das Fliegen von Warteschleifen (engl. holding) u ¨ ber dem Zielgebiet vermieden oder die Umleitung zu Ausweichﬂugh¨ afen verhindert werden. Dem Piloten eines startbereiten Flugzeugs wird zu diesem Zweck mit seinem Kommando ready for take-oﬀ“ auf Basis einer Entscheidung im ” Rahmen des GDP eine erwartete freigegebene Abﬂugzeit (EDCT, engl. ex3 Die

angegebenen Durchschnittskosten basieren dabei auf Daten des Westminister ” Reports“ [117] aus dem Jahr 2004 und wurden auf das Preisniveau des Jahres 2006 projiziert.

Einf¨ uhrung

5

pected departure clearance time) mitgeteilt. Die zugewiesene Abﬂugverz¨ ogerung (DA, engl. delay assignment) muss dabei unter anderem sowohl die Kapazit¨ atsbeschr¨ ankungen innerhalb der Luftsektoren der Flugroute, das Gesamtaufkommen aller startenden und landenden Flugzeuge am Zielﬂughafen sowie etwaige Anschlussﬂ¨ uge der zu- und umsteigenden Passagiere ber¨ ucksichtigen. Ein funktionierendes GDP muss daher zur Entscheidungsﬁndung eine systemweite Betrachtung mit entsprechend schnellen Reaktionszeiten voraussetzen. Der europ¨ aische Luftverkehrsraum ist aktuell in 1 246 kontrollierte Sektoren (sog. FMP, engl. ﬂow management position) aufgeteilt, die sowohl reine Luftraumsegmente als auch Flugh¨ afen umfassen. F¨ ur das europ¨ aische Luftverkehrssystem wurden im Jahr 2006 t¨ aglich durchschnittlich 26 286 Fl¨ uge verzeichnet (mit einer h¨ ochsten jemals registrierten Spitzenbelastung am 15.9.2006 mit 31 914 Fl¨ ugen). [35] Damit wird deutlich, dass in ein realit¨ atsnahes, tagesbasiertes Abbild des Luftverkehrssystems innerhalb eines entscheidungsunterst¨ utzenden Modells f¨ ur das GDP je nach Art der Modellierung bis zu mehreren Millionen entscheidungsrelevanter Informationen (Variablen und Nebenbedingungen) einﬂießen m¨ ussen. Kurzfristige ad-hoc-Entscheidungen f¨ ur den Piloten direkt vor dem Abﬂug sind auf diese Weise rechentechnisch nicht realisierbar. Neben dem Aufstellen geeigneter Entscheidungsmodelle bedarf es daher ebenfalls entsprechender L¨ osungsverfahren, die in der Lage sind, selbst f¨ ur derart großskalierte Entscheidungsprobleme optimale Entscheidungen in k¨ urzester Zeit zu generieren. In [8] wurde beispielsweise ausgehend von einem linearen deterministischen Modell ein quadratisches Optimierungsproblem abgeleitet. Beide Problemtypen werden im Folgenden kurz vorgestellt. Dazu sei A ⊆ + die Menge der f¨ ur den Zeitraum von einer Stunde zu betrachtenden Flugzeuge. Es sei n := card (A) die Kardinalit¨ at der Menge A, d. h. die Anzahl der Flugzeuge. F¨ ur jedes der n Flugzeuge i ∈ A sei vi ∈ + die im Rahmen des GDP zugewiesene Abﬂugverz¨ ogerung (DA) in Minuten und damit v = (v1 , . . . , vn )T die f¨ ur das Entscheidungsproblem relevante vektorwertige Variable. Es beschreibe S ⊆ + die Menge der betrachteten Luftraumsektoren und ck ∈ + die verf¨ ugbare Kapazit¨ at jedes Sektors k ∈ S an Flugzeugen pro Stunde. Wir bezeichnen mit tk,i ∈ + die geplante Eintrittszeit jedes Flugzeugs i ∈ A f¨ ur den Sektor k ∈ S. Zur Vermeidung von Kapazit¨ atsengp¨ assen muss f¨ ur alle Sektoren k ∈ S und f¨ ur je zwei Flugzeuge

Æ

Ê

Æ

Æ

Æ

6

Einf¨ uhrung

i, j ∈ A schließlich die folgende Kapazit¨ atsbedingung (tk,i + vi ) − (tk,j + vj ) ≥

60 , ck

∀ i, j ∈ A, ∀ k ∈ S

erf¨ ullt sein. Mit dieser Bedingung wird jedem in den k-ten Sektor eintretenden Flugzeug ein eigenes Zeitfenster der L¨ ange 60/ck Minuten zugesichert. Auf diese Weise wird gew¨ ahrleistet, dass die Kapazit¨ at je Sektor k von ck Flugzeugen pro Stunde nicht u ¨ berschritten wird. Wir erhalten auf diese Weise ein lineares Optimierungsproblem zur Minimierung der zuzuweisenden Gesamtverz¨ ogerung v = (v1 , . . . , vn )T der Form wi · vi minn v∈

Ê

+

i∈A

u. d. N. vi − vj ≥ 60/ck + tk,j − tk,i , vi ≥ 0,

∀ k ∈ S, ∀ i, j ∈ A

(1.1)

∀ i ∈ A,

Ê

wobei u ¨ber einen Gewichtsvektor w = (wi )i∈A ∈ n+ die zugewiesene Verz¨ ogerung gewichtet werden kann. Der Leser beachte die Dimension dieses Optimierungsproblems f¨ ur den Fall, dass der gesamte europ¨ aische Luftraum mit 1 246 Sektoren simultan betrachtet werden w¨ urde. Mit durchschnittlich n = 1 095 Fl¨ ugen pro Stunde (im Jahr 2006) m¨ ussten hier insgesamt m = 1 246 · 1 095 · 1 095 = 1 493 985 150 Nebenbedingungen und zus¨ atzlich 1 246 Variablenbeschr¨ ankungen ber¨ ucksichtigt werden. Ein L¨osungsverfahren zur linearen Optimierung h¨ atte in diesem Beispiel eine Nebenbedingungsmatrix der Dimension 1 493 985 150 × 1 095 zu verarbei” ten“, eine Matrix also mit ca. 1,5 Milliarden Zeilen und eintausendeinhundert Spalten. Eine u ¨bliche Erweiterung als quadratisches Optimierungsproblem erhalten wir, wenn das Verkehrsaufkommen innerhalb der Luftraumsektoren als stochastisch angenommen wird.4 Daher werde der Gewichtsvektor w ∈ n T + jetzt als Zufallsvektor W = (W1 , . . . , Wn ) von Zufallsvariablen Wi , i = 1, . . . , n eines geeigneten Wahrscheinlichkeitsraums angegeben. Wir bezeichnen mit μ := E(W ) den Erwartungswertvektor und mit K := E((W − μ)(W − μ)T ) die Kovarianzmatrix f¨ ur W . W¨ ahrend in Vektorschreibweise im deterministischen Modell (1.1) als Entscheidungsziel wT v minimiert wird, ergibt sich in der stochastischen Formulierung ein Ska-

Ê

4 Zur

Motivation dieser Annahme werde das Verkehrsaufkommen beispielsweise allein durch das jeweilige Wetter innerhalb von Sektor k nicht-deterministisch beeinﬂusst.

Zielstellung dieser Arbeit

7

Ê

larprodukt W, v bestehend aus dem Vektor der Verz¨ ogerungen v ∈ n+ und dem Zufallsvektor der Gewichte W . Wegen E(W, v) = E(W ), v = μT v und var (W, v) = v T Kv erhalten wir eine innerhalb der PortfolioOptimierung u ur die Zielfunktion als Minimierung ¨bliche Formulierung f¨ von Erwartungswert und Varianz (sog. Mean-Variance-Ansatz, siehe zum Beispiel Markowitz [81] oder Steiner und Bruns [104]) als minn E(W, v) + λ var (W, v)

v∈

Ê

mit einem Steuerungsparameter λ ≥ 0 f¨ ur die Risikoeinstellung des Entscheiders. F¨ ur das GDP ergibt sich damit unter Ber¨ ucksichtigung des Risikos u ¨ber den quadratischen Term v T Kv das quadratische Optimierungsproblem minn μT v + λv T Kv

v∈

Ê

+

u. d. N. vi − vj ≥ 60/ck + tk,j − tk,i , vi ≥ 0,

∀ k ∈ S, ∀ i, j ∈ A

∀i∈A

mit einer auf Grund der Kovarianz symmetrischen und positiv-semideﬁniten Matrix K ∈ n×n . Die Aussagen u ¨ ber die Dimension des Problems gelten damit uneingeschr¨ ankt auch f¨ ur die quadratische Formulierung. Ein Problem dieser Gr¨ oßenordnung ist derzeit sowohl f¨ ur die lineare als auch f¨ ur die quadratische Optimierung nicht in angemessener Zeit zu l¨ osen.

Ê

1.1 Zielstellung dieser Arbeit Die mathematische Modellformulierung zur Abbildung aktueller, praxisrelevanter Fragestellungen innerhalb von technisch-¨ okonomischen Entscheidungssystemen f¨ uhrt – wie beispielhaft gezeigt wurde – schnell zu quadratischen Optimierungsproblemen mit einigen Tausend entscheidungsrelevanten Variablen und Nebenbedingungen. Letztere schr¨ anken die Menge der m¨oglichen L¨ osungen f¨ ur die Probleme auf die sog. Menge zul¨assiger L¨ osungen ein. Die Bestimmung einer Menge von optimalen L¨ osungen unter den zul¨assigen L¨ osungen unter Ber¨ ucksichtigung aller Nebenbedingungen des Problems gestaltet sich rechentechnisch aufw¨ andig. In diesem Sinne werden eﬃziente L¨ osungsverfahren ben¨ otigt. Lassen sich die einzelnen Nebenbedingungen f¨ ur ein Optimierungsproblem in Abh¨ angigkeit der gesuchten Variablenwerte x1 , . . . , xn ∈ durch

Ê

8

Einf¨ uhrung

n einen linearen Zusammenhang ausdr¨ ucken, d. h. es gilt i=1 ai xi ≤ b mit geeigneten, vorgegebenen Koeﬃzienten a1 , . . . , an ∈ und b ∈ , so sprechen wir von linearen Nebenbedingungssystemen. Solche Systeme von linearen Nebenbedingungen sind in der Realit¨ at h¨ auﬁg anzutreﬀen. Obwohl f¨ ur Nebenbedingungen auch funktionale Zusammenh¨ ange h¨ oherer Ordnung vorkommen (bspw. logarithmisch, quadratisch, kubisch o. ¨ a.), werden in dieser Arbeit ausschließlich lineare Nebenbedingungssysteme betrachtet. Aus der Anschauung wissen wir, dass sich ein Punkt (x1 , x2 )T in der Ebene eindeutig als Schnittpunkt zweier Geraden angeben l¨ asst. Einen Punkt (x1 , x2 , x3 )T in einem dreidimensionalen Raum ﬁnden wir dagegen eindeutig als Schnittpunkt dreier Ebenen. Allgemein in einem n-dimensionalen Raum sprechen wir in diesem Zusammenhang von Hyperebenen. Ein Punkt (x1 , . . . , xn )T eines n-dimensionalen Raumes l¨ asst sich damit eindeutig als Schnittpunkt von n Hyperebenen angeben. F¨ ur die linearen Nebenbedingungssysteme bedeutet das, dass f¨ ur die Bestimmung einer n-dimensionalen L¨osung des betrachteten Optimierungsproblems als ein Punkt der zul¨ assigen Menge h¨ ochstens5 n dieser Nebenbedingungen betrachtet werden m¨ ussen. Bestehen die Nebenbedingungssysteme aus m n Nebenbedingungen, sind in diesem Sinne mindestens m − n Nebenbedingungen f¨ ur die Angabe einer optimalen L¨ osung nicht relevant und k¨ onnten daher innerhalb eines L¨ osungsverfahrens ignoriert werden. F¨ ur ein L¨ osungsverfahren, welches lediglich die so reduzierte Menge der relevanten Nebenbedingungen zum Auﬃnden einer L¨ osung ber¨ ucksichtigt, ließen sich auf diese Weise der rechentechnische Aufwand und damit die L¨ osungszeiten deutlich verringern. Logischerweise l¨ asst sich ohne die Kenntnis der L¨ osung nicht angeben, welche Auswahl von h¨ ochstens n der m Nebenbedingungen ber¨ ucksich m m tigt werden m¨ usste. Es ergeben sich m , , . . . , m¨ o gliche Komn n−1 1 binationen zu betrachtender Nebenbedingungen, aus denen die relevante daher nur mit hohem rechentechnischen Aufwand auszuw¨ ahlen w¨ are. Da wir zun¨ achst keine Anhaltspunkte haben, nach welchen Kriterien eine solche Kombination gew¨ ahlt werden kann, l¨ asst es sich nicht vermeiden, das komplette System der m Nebenbedingungen durch die L¨ osungsverfahren zu verarbeiten“. Die Bestimmung der optimalen L¨ osungsmenge innerhalb ” der L¨ osungsverfahren wird auf diese Weise durch unn¨ otige Informationen wegen der unvermeidbaren Einbeziehung solcher Nebenbedingungen we-

Ê

5 Das

Ê

ist immer genau dann der Fall, wenn das Optimum des Optimierungsproblems in einer Ecke der sich durch die linearen Nebenbedingungen ergebenden Menge zul¨ assiger Punkte angenommen wird.

Zielstellung dieser Arbeit

9

sentlich (und m¨ oglicherweise nachteilig) beeinﬂusst. Zudem werden Systeme betrachtet, die damit deutlich gr¨ oßer als notwendig f¨ ur die Bestimmung einer optimalen L¨osung sind. Seit den sechziger Jahren – also seit der Einf¨ uhrung der linearen Optimierung – sind sich Forscher des Problems dieser u ussigen Neben¨berﬂ¨ bedingungen bewusst. Schon Dantzig [21] erw¨ ahnte, dass es Nebenbedingungen gibt, die f¨ ur die Bestimmung des Optimums nicht relevant sind und vorhergesagt werden k¨ onnten. In der Folgezeit untersuchte man in diesem Zusammenhang sog. redundante Nebenbedingungen als eine Untermenge der u ussigen Nebenbedingungen. Das sind Nebenbedingungen, ¨ berﬂ¨ die f¨ ur die Beschreibung der zul¨ assigen Menge der L¨ osungen nicht relevant sind und damit ignoriert werden k¨ onnten, ohne die zul¨ assige Menge zu ver¨ andern. F¨ ur die linearen Optimierungsprobleme zeigte sich, dass die Angabe dieser redundanten Nebenbedingungen genauso aufwendig ist, wie die Bestimmung der L¨ osung des Problems selber [32]. F¨ ur die quadratische Optimierung lassen sich auf Grund der besonderen Gestalt dieser Probleme Kriterien angeben, mit denen Nebenbedingungen erkannt werden, die f¨ ur das Optimum nicht relevant sind [94]. Wir sprechen in diesem Zusammenhang von nicht-bindenden Nebenbedingungen. Mit den sog. Innere-Punkte-Methoden verf¨ ugen wir heute f¨ ur die quadratische Optimierung u ber eine geeignete Verfahrensklasse zur iterativen ¨ L¨osung solcher Optimierungsprobleme. Die Art und Weise wie im Verlauf dieser Verfahren Iterationspunkte erzeugt werden, ist zudem pr¨ adestiniert f¨ ur die Anwendung der erw¨ ahnten Kriterien zur Idenﬁkation nichtbindender Nebenbedingungen. So k¨ onnten bei Anwendung dieser Kritierien von Iteration zu Iteration solcherart Nebenbedingungen eliminiert werden, so dass sukzessive die Problemgr¨ oße reduziert und in Folge dessen die L¨osung des quadratischen Optimierungsproblems beschleunigt wird. Es ist damit das Ziel dieser Arbeit festzustellen, wie die bestehenden Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung um die Techniken zur Identiﬁkation und der Eliminierung von nicht-bindenden Nebenbedingungen erweitert werden k¨ onnen. In diesem Zusammenhang untersuchen wir, welchen Einﬂuss die nicht-bindenden Nebenbedingungen auf den L¨osungsprozess u ¨ ben und insbesondere welche Auswirkungen die Elimination dieser Nebenbedingungen auf ebendiesen haben. Aufbauend auf den ¨ theoretischen Uberlegungen und den Beobachtungen, die in dieser Weise erstmals f¨ ur die quadratische Optimierung dargestellt werden, entwerfen wir ein modiﬁziertes Innere-Punkte-Verfahren. Mit der anschließenden Implementierung des Verfahrens entwickeln wir einen praxistauglichen Pro-

10

Einf¨ uhrung

grammcode (ein sog. Solver oder L¨oser ) namens qipp zur L¨ osung quadra¨ tischer Optimierungsprobleme u einen ¨ber Innere-Punkte-Verfahren. Uber Optionsschalter l¨ asst sich dabei die Erkennung und Eliminierung nichtbindender Nebenbedingungen aktivieren. Die Resultate f¨ ur das Laufzeitverhalten bei einer umfangreichen Auswahl von Beispielproblemen werden abschließend dargestellt.

1.2 Aufbau der Arbeit Die Arbeit ist in folgender Weise aufgebaut: Im Anschluss an diese Einleitung stellen wir in Kapitel 2 kurz die wesentlichen Eigenschaften quadratischer Optimierungsprobleme vor. Mit Hilfe der Dualit¨ atstheorie werden zun¨achst das korrespondierende duale Programm aufgestellt und einf¨ uhrend grundlegende Optimalit¨ atskriterien f¨ ur die quadratische Optimierung besprochen. Wir setzen das Kapitel mit einer u ¨ berblicklichen Vorstellung der Innere-Punkte-Verfahren und einer heute u ¨ blichen Klassiﬁzierung der einzelnen Verfahrenstypen fort. Weiter vertiefen wir die Betrachtung hin zu den Pfadverfolgungsverfahren bzw. weitergehend zu Pr¨ adiktor-KorrektorVerfahren. Mit den Vorschl¨ agen von Mehrotra und Gondzio werden zwei heute u ur die Implementierung von Innere-Punkte¨bliche Erweiterungen f¨ Verfahren im Detail vorgestellt. Die wesentlichen theoretischen Hintergr¨ unde f¨ ur die Identiﬁzierung nichtaktiver Restriktionen im Kontext der quadratischen Optimierung ﬁnden ¨ wir in Kapitel 3. Ein vorangehender Uberblick u ¨ber die geschichtliche Entwicklung zur Theorie und Praxis der Redundanzerkennung verdeutlicht auf der einen Seite die zentrale Bedeutung der Arbeiten in diesem Gebiet, zeigt aber auf der anderen Seite mit den nur wenigen Arbeiten zu diesem Thema die Schwierigkeiten, die oﬀenbar damit verbunden sind. Ausf¨ uhrlich werden anschließend die Kriterien zur Identiﬁkation nicht-aktiver Nebenbedingungen vorgestellt, die innerhalb des sp¨ ater zu entwickelnden Verfahrens eingesetzt werden. In Kapitel 4 zeigen wir den theoretisch wichtigen Zusammenhang zwischen der logarithmischen Barriere-Funktion und den Innere-Punkte-Verfahren und liefern damit grundlegende theoretische Kenntnisse f¨ ur die an¨ schließende Untersuchung. Uber theoretische Ausf¨ uhrungen zu Abstandsmaßen und dem sog. zentralen Pfad werden erstmals die Besonderheiten im Zusammenhang mit der Elimination von u ussigen Nebenbedingun¨berﬂ¨ gen im Rahmen der Innere-Punkte-Verfahren f¨ ur die quadratische Opti-

Verwendete Notation

11

mierung erarbeitet. Sie motivieren die grundlegende Vorgehensweise f¨ ur die Implementierung eines geeigneten Verfahrens in dem nachfolgenden Kapitel. Ziel dieses Kapitels ist die Erarbeitung eines algorithmischen Schemas f¨ ur ein L¨ osungsverfahren im Rahmen der Innere-Punkte-Verfahren, das die Fr¨ uherkennung der Redundanzen unterst¨ utzt und durch Eliminieren letztlich praktiziert. Das Kapitel 5 stellt detailliert alle Hintergr¨ unde der Implementierung des Innere-Punkte-Verfahrens f¨ ur die quadratische Optimierung unter Einbeziehung der M¨ oglichkeiten zur Identiﬁkation und Eliminierung nicht-aktiver Restriktionen vor. Dabei werden die Besonderheiten f¨ ur die Implementierung des Verfahrens und die Auswirkungen der Elimination nicht-aktiver Restriktionen auf die primal-duale Programmstruktur verdeutlicht. Eine Auswertung der ersten rechentechnischen Ergebnisse und der Vergleich zwischen der L¨ osung mit und ohne der Eliminierung identiﬁzierter nichtaktiver Restriktionen ﬁnden wir in dem sechsten Kapitel. Die wesentlichen Ergebnisse dieser Arbeit und Anregungen, wo und wie eine weiterf¨ uhrende Forschung sinnvoll ist und ansetzen k¨ onnte, gibt die abschließende Zusammenfassung samt Ausblick wieder.

1.3 Verwendete Notation

Ê

F¨ ur den gesamten der Verlauf der Arbeit bezeichne die Menge der reellen Zahlen sowie die Menge der nat¨ urlichen Zahlen. Die Menge der nichtnegativen reellen bzw. nat¨ urlichen Zahlen schreiben wir dabei als + bzw. + , die damit explizit die Null als Element enthalten. Großbuchstaben beschreiben Mengen, Abbildungen oder auch Matrizen, w¨ ahrend Skalare und Vektoren immer mit kleinen Buchstaben angegeben werden. Die Transponierte einer Matrix M bzw. eines Vektors v geben wir mit M T bzw. v T an. F¨ ur eine Matrix A = (aij )i=1,...,m,j=1,...,n ∈ m×n bezeichnet der Vektor ai = (ai1 , . . . , ain )T die i-te Zeile der Matrix. Die Einheitsmatrix im n wird immer mit In dargestellt. Wird die Dimension der Matrix im Kontext deutlich, so verzichten wir auf die Angabe des Subskripts n. Einheitsvektoren im n werden durch ei = (0, . . . , 0, 1, 0, . . . , 0)T ∈ n kenntlich gemacht, wobei die i-te Komponente jeweils die 1 ist. Die Summe der Einheitsvektoren ergibt den Einsvektor, den wir mit e := (1, . . . , 1)T = = n i=1 ei bezeichnen. Mit · sei immer die Euklidische Norm · 2 gemeint, · ∞ meint die Maximumsnorm, d. h. f¨ ur x ∈ n gilt x ∞ = maxi=1,...,n |xi |, wobei xi

Æ

Ê

Æ

Ê

Ê

Ê

Ê

½

Ê

12

Einf¨ uhrung

Ê

die i-te Komponente des Vektors x darstellt. F¨ ur eine Matrix A ∈ m×n bezeichne M 1 die Spaltensummennorm und M ∞ die Maximumsnorm bzw. Zeilensummennorm. Ein Großbuchstabe als Subskript bezeichnet eine Matrixnorm. Beispielsweise sei mit · M eine √ Matrixnorm bzgl. M deﬁniert, d. h. f¨ ur alle v ∈ V gelte v M := v T M v, wobei V ⊆ n ein beliebiger endlich-dimensionaler reeller Vektorraum sei. ∂f ∂f T F¨ ur eine reelle Funktion f : n → sei ∇f = ( ∂x , . . . , ∂x ) der Gra1 n ∂f dient der Funktion, wobei ∂xi die partielle Ableitung der Funktion f nach xi bezeichnet. F¨ ur eine mit Hilfe der Matrix M ∈ m×n dargestellte lineare 1 ,...,Mm ) Abbildung M : n → m mit x → M (x) bezeichnet ∇M = ∂(M ∂(x1 ,...,xn ) die Jacobimatrix. Hier sind M1 , . . . , Mm die einzelnen Funktionskomponenten von M . F¨ ur die noch zu beschreibenden Optimierungsprobleme bezeichne x0 immer die optimale L¨ osung des unrestringierten Problems und x∗ bzw. λ∗ die optimale L¨ osung eines jeweils restringierten Problems. In den jeweiligen Abbildungen der sp¨ ateren Kapitel zur Verdeutlichung der Ideen und der Ergebnisse wird f¨ ur die Darstellung des zentralen Pfades in der Ausgangssituation vor dem Eliminieren von Nebenbedingungen immer eine rote Stiftfarbe gew¨ ahlt, w¨ ahrend der zentrale Pfad eines reduzierten Optimierungsproblems blau dargestellt wird. Die im Laufe der Arbeit vorgestellten iterativen Verfahren erzeugen in jedem Durchlauf sog. Iterationspunkte bzw. Iterierte“. F¨ ur die k-te Ite” ration bezeichnen wir einen solchen Punkt mit xk . H¨ auﬁg bestimmt man mit den Verfahren innerhalb einer Iteration einen Richtungsvektor Δxk , mit dessen Hilfe ausgehend von dem letzten Iterationspunkt xk−1 die neue Iterierte u ¨ ber

Ê

Ê

Ê

Ê

Ê

Ê

xk := xk−1 + αk Δxk ermittelt wird, wobei αk > 0 die sog. Schrittweite angibt. Ein Beispiel f¨ ur ein solches Vorgehen stellt das Newton-Verfahren zur Bestimmung einer Nullstelle einer Funktion dar (siehe bespielsweise [67, Kap. 4.1]). Den ¨ Ubergang von xk−1 nach xk bezeichnet man dabei als Newton-Schritt bzw. allgemein als Schritt, den Richtungsvektor Δxk als die Suchrichtung oder die Newton-Richtung. Im weiteren Verlauf der Arbeit werden wir uns mit Systemen linearer Ungleichungen cTi x ≥ di f¨ ur i = 1, . . . , m mit x ∈ n besch¨ aftigen, die wir mit Hilfe der Matrix C ∈ m×n in Matrix-Vektor-Schreibweise kurz als

Ê

Ê

Verwendete Notation

13

Cx ≥ d schreiben. Soll f¨ ur ein solches Ungleichungssystem die j-te Ungleichung nicht mehr betrachtet werden, so sprechen wir von dem reduzierten ¯ Dabei enth¨ ¯ ≥ d. Ungleichungssystem Cx alt die reduzierte Matrix C¯ nur noch diejenigen Zeilen ci der Matrix C mit i ∈ {1, . . . , m} \ {j} und analog der reduzierte Vektor d¯ ∈ m−1 der rechten Seite die Komponenten di von d f¨ ur i ∈ {1, . . . , m} \ {j}. Soll f¨ ur bestimmte Gr¨ oßen x oder X der Bezug zu einem reduzierten System deutlich gemacht werden, so verwenden wir ¯ Die genaue Bezeichnung f¨ die Bezeichnungen x ¯ oder x− bzw. X. uhren wir detailliert an den entsprechenden Stellen im Kapitel 4.2 ein. Zur Angabe der Gr¨ oßenordnung f¨ ur die Komplexit¨ at und die Konvergenz wird die gebr¨ auchliche Notation mit Hilfe des Landau-Symbols O verwendet. Dabei bedeutet v(n) = O(w(n)), dass eine Konstante c > 0 existiert, so dass f¨ ur gen¨ ugend großes n immer v(n) ≤ c · w(n) gilt. Der Buchstabe L bezeichnet dabei immer die Gesamtgr¨ oße der Eingabedaten des Problems. Dabei wird L u ¨blicherweise als

Ê

L = Θ(mn + log2 |P |) gesetzt, wobei P das Produkt aller Nicht-Nullkoeﬃzienten der das Problem beschreibenden Vektoren und Matrizen mit Dimension n bzw. m × n ist. Die Eingabegr¨ oße eines Vektors a ∈ n betr¨ agt dabei beispielsweise n + size (a1 ) + . . . + size (an ) mit size (ai ) := 1 + log2 (|ai | + 1) als Gr¨ oße eines Vektorkoeﬃzienten. Die Schreibweise v(n) = Θ(w(n)) bedeutet dabei, dass Konstanten c1 > 0 und c2 > 0 existieren, so dass f¨ ur ein gen¨ ugend gr¨ oßes n schließlich c1 · w(n) ≤ v(n) ≤ c2 · w(n) gilt. [100] In diesem Zusammenhang wird ein Verfahren im Sinne der Komplexit¨ atstheorie polynomiell genannt, wenn die Anzahl der ben¨ otigten Operationen zur Bestimmung einer L¨ osung in gew¨ unschter Genauigkeit nach oben durch ein Polynom in L beschr¨ ankt ist. Wir nennen ein Verfahren exponentiell , wenn die Anzahl der Operationen nach oben durch eine exponentielle Funktion (z. B. w(L) = 2L ) beschr¨ ankt ist.

Ê

2 Innere-Punkte-Verfahren fu ¨ r die Quadratische Optimierung Erinnern wir uns an die innerhalb der Einleitung geschilderte Motivierung dieser Arbeit, die deutlich machte, dass die Reduktion der Problemgr¨ oße f¨ ur aktuelle Optimierungsprobleme eine immer wichtigere Rolle spielt. Unsere Aufgabe besteht darin, ein geeignetes L¨ osungsverfahren f¨ ur solche Optimierungsprobleme zu entwickeln. Es soll uns auf der einen Seite erlauben, die Erweiterungen f¨ ur die Identiﬁkation und die Elimination von nicht-aktiven Restriktionen zu ber¨ ucksichtigen. Auf der anderen Seite hat es dem aktuellen Stand der Forschung im Rahmen der Quadratischen Optimierung zu entsprechen. In diesem Sinne konzipieren wir das umzusetzende Verfahren als ein Innere-Punkte-Verfahren, eine Verfahrensklasse, die heutzutage auf Grund der Leistungsf¨ ahigkeit auch f¨ ur große Optimierungsprobleme den Maßstab innerhalb der bekannten L¨ osungsverfahren bildet. ¨ In diesem Kapitel beginnen wir mit einem Uberblick u ¨ ber die historische Entwicklung dieser Verfahren und den wesentlichen Meilensteinen. Im Rahmen dieses Zeitlaufs werden einzelne Verfahrenstypen vorgestellt, die ¨ heute insgesamt auf Grund bemerkenswerter Ubereinstimmungen und Eigenschaften zusammenfassend als die Klasse der Innere-Punkte-Verfahren bezeichnet werden. Die Vorstellung der einzelnen Verfahren gipfelt in den sog. Pfadverfolgungsverfahren, die im Zusammenhang mit der logarithmischen Barriere-Funktion den f¨ ur uns ganz wesentlichen Begriﬀ des zentralen Pfades pr¨ agen. Der zentrale Pfad ist f¨ ur uns deshalb von entscheidender Bedeutung, da wir mit dessen Hilfe den Einﬂuss der Elimination von Nebenbedingungen beobachten und auf diese Weise wichtige Anhaltspunkte f¨ ur das umzusetzende L¨ osungsverfahren ausarbeiten werden. Zur Vorbereitung auf das in dem sp¨ ateren Kapitel 5 zu implementierende Verfahren vertiefen wir im Rahmen der Innere-Punkte-Methoden die Klasse der primal-dualen Verfahren und insbesondere die heute weitl¨ auﬁg benutzten Pr¨adiktor-Korrektor-Verfahren mit den bekannten und g¨ angigen Modiﬁkationen durch Mehrotra und Gondzio. Ziel dieses Kapitels ist es, ein algorithmisches Schema eines primal-dualen Pr¨ adiktor-KorrektorVerfahrens f¨ ur quadratische Optimierungsprobleme auszuarbeiten. Dieses

16

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

Verfahren wird dann die Grundlage der sp¨ ateren Erweiterungen zur Identiﬁkation und Eliminierung von nicht-aktiven Restriktionen bilden.

2.1 Quadratische Optimierung Wir beginnen an dieser Stelle mit einer kurzen Einf¨ uhrung der Klasse der quadratischen Optimierungsprobleme. Die grundlegenden Eigenschaften, das dazugeh¨ orige sog. duale Problem und die f¨ ur den Verlauf der Arbeit essentiellen Optimalit¨ atskriterien werden hier vorgestellt. 2.1.1 Grundlagen der Quadratischen Optimierung Quadratische Optimierungsprobleme, die neben der Entwicklung eines geeigneten L¨ osungsverfahrens den mathematischen Kern dieser Arbeit darstellen, zeichnen sich allgemein durch eine quadratische Zielfunktion und durch lineare Nebenbedingungen aus. Man unterscheidet bei den Nebenbedingungen zwischen Gleichheits- und Ungleichheitsnebenbedingungen. Immer dann, wenn innerhalb des Optimierungsproblems Nebenbedingungen zu ber¨ ucksichtigen sind, sprechen wir von restringierten Optimierungsproblemen. Mit Hilfe der Matrix A ∈ my ×n schreiben wir das System der my Gleichheitsnebenbedingungen kurz als Ax = b, das System der mz Ungleichheitsnebenbedingungen mit Cx ≥ d, mit der Nebenbedingungsmatrix C ∈ mz ×n .1 Jede Gleichheitsnebenbedingung muss f¨ ur einen gegebenen Punkt x ˆ ∈ n mit Gleichheit erf¨ ullt werden, d. h. ein solcher Punkt liegt auf der durch die Gleichheitsrestriktion beschriebenen Hyperebene des n , d. h. es gilt aTi x ˆ = bi , wobei mit ai die i-te Zeile der Matrix A beschrieben wird. Die Ungleichheitsnebenbedingungen beschreiben jeweils einen aﬃnen Halbraum des n und damit eine konvexe Menge. Die Schnittmenge aller dieser Halbr¨ aume bildet auf Grund der Eigenschaften konvexer Mengen wieder eine konvexe Menge. Besteht das betrachtete Optimierungsproblem ausschließlich aus Ungleichungsbedingungen, so schreiben wir f¨ ur die Anzahl der Ungleichungsbedingungen im Folgenden immer m statt mz . Die

Ê

Ê

Ê

Ê

Ê

1 Durch

die Auszeichnung der Anzahl der Gleichungs- und Ungleichungsnebenbedingungen mit y und z wird schon auf die duale Formulierung des Optimierungsproblems vorgegriﬀen. Dort werden mit y die korrespondierenden dualen Variablen f¨ ur die Gleichheitsnebenbedingungen und mit z die dualen Variablen f¨ ur die Ungleichungsnebenbedingungen bezeichnet.

Quadratische Optimierung

17

Dimension der Variablen x wird durch die gesamte Arbeit hinweg mit n angenommen. Einen Punkt x ∈ n bezeichnen wir als einen (primal) zul¨assigen Punkt des Optimierungsproblems, wenn er sowohl die Gleichungs- als auch die Ungleichungsnebenbedingungen erf¨ ullt. Die Vereinigung aller zul¨ assigen Punkte ergibt den sog. zul¨assigen Bereich, den wir mit S := {x ∈ n | Ax = b, Cx ≥ d} bezeichnen. Wir nennen ein quadratisches Optimierungsproblem zul¨assig dann und nur dann, wenn die Nebenbedingungen in sich widerspruchsfrei sind, d. h. f¨ ur das Problem existiert mindestens ein zul¨ assiger Punkt, also ein Punkt, f¨ ur den alle Nebenbedingungen des Problems erf¨ ullt sind. Wir nennen einen Punkt xˆ ∈ n des zul¨ assigen Bereichs strikt zul¨assig, wenn er die Ungleichungsbedingungen strikt erf¨ ullt, d. h. x ˆ ∈ {x ∈ n | Ax = b, Cx > d}. Ein quadratisches Optimierungsproblem l¨ asst sich daher allgemein in der Form

Ê

Ê

Ê

Ê

minn 21 xT Qx + cT x,

x∈

Ê

u. d. N. x ∈ S

(GQP)

angeben. Die dem Problem den Namen gebende Zielfunktion enth¨ alt mit xT Qx einen quadratischen Term mit einer symmetrischen Matrix Q ∈ n×n und mit cT x zus¨ atzlich einen linearen Term mit einem Vektor c ∈ n . Mit der speziellen Wahl von Q als Nullmatrix erhalten wir ein lineares Optimierungsproblem. Die Gestalt der Matrix Q charakterisiert ein quadratisches Optimierungsproblem. Wir nennen (GQP) ein konvex-quadratisches Optimierungsproblem, falls die Matrix Q positiv-semideﬁnit ist, d. h. f¨ ur alle Vektoren v ∈ n gilt v T Qv ≥ 0. Die positive Semideﬁnitheit sichert uns f¨ ur die quadratische Zielfunktion die vorteilhafte Eigenschaft der Konvexit¨ at (siehe beispielsweise [44, Kap. 2.1 und 5.1]). Mit Hilfe der Konvexit¨ at der Zielfunktion lassen sich unter bestimmten Voraussetzungen Aussagen u ¨ ber die Gestalt der L¨ osungsmenge des Problems ableiten. Verlangen wir anstelle der positiven Semideﬁnitheit als st¨ arkere Forderung die positive Deﬁnitheit der Matrix Q, d. h. es gilt v T Qv > 0 f¨ ur alle Vektoren v ∈ n mit v = 0, so f¨ uhrt das zu einer strikt konvexen, quadratischen Zielfunktion.

Ê

Ê

Ê

Ê

2.1.2 Das dualisierte quadratische Optimierungsproblem Jedes Optimierungsproblem korrespondiert mit einem sog. dualen Optimierungsproblem. Unter gewissen Voraussetzungen stimmen die Zielfunk-

18

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

tionswerte beider Optimierungsprobleme u ¨berein. Zudem existieren Algorithmen f¨ ur Optimierungsprobleme, die neben den Informationen des Ausgangsproblems zus¨ atzlich die dualen Informationen ausnutzen. Die Theorie der Lagrange-Dualit¨at (siehe zum Beispiel [44, Kap. 6.2]) erm¨ oglicht es beispielsweise, ein duales Optimierungsproblem f¨ ur ein bestehendes Ausgangsproblem zu formulieren.

Speziell f¨ ur konvexe Optimierungsprobleme erh¨ alt man als Spezialfall der Lagrange-Dualit¨ at die sog. Wolfe-Dualit¨at [121, 40]. Zur Herleitung des dualisierten Optimierungsproblems von (GQP) mit der positiv-semideﬁniten Matrix Q betrachten wir zun¨ achst die allgemeine Darstellung eines konvexen Optimierungsproblems und erhalten u at das ¨ ber die Wolfe-Dualit¨ allgemeine dualisierte Problem.

Dazu seien u. d. N.

min f (x) gj (x) ≤ 0, j = 1, . . . , m,

(GCP)

x ∈ K, ein allgemeines konvexes Optimierungsproblem mit einer konvexen Menge K ⊆ n und auf dieser Menge konvexen Funktionen f und g1 , . . . , gm gegeben. In der Regel betrachtet man als die konvexe Menge K = n . F¨ ur (GCP) bezeichnet man die reelle Funktion L : n × m −→ f¨ ur x ∈ n , y ∈ m und y ≥ 0 mit

Ê

Ê Ê

Ê

L(x, y) := f (x) +

m

yj gj (x)

Ê

Ê

Ê

(2.1)

j=1

als die zu dem Problem (GCP) dazugeh¨ orige Lagrange-Funktion. Die Lagrange-Funktion hat die Besonderheit, dass sie alle Informationen des Ausgangsproblems in sich vereint [15, Kap. 4.3].

Quadratische Optimierung

19

Deﬁnition 2.1 (Wolfe-Dual) Es seien die Funktionen f , g1 , . . . , gm stetig diﬀerenzierbar und konvex sowie K = n . Das Problem ⎫ ⎧ m ⎬ ⎨ sup f (x) + yj gj (x) ⎭ x,y ⎩

Ê

j=1

u. d. N.

∇f (x) +

m j=1

y ≥ 0, x ∈

yj ∇gj (x) = 0,

(WD)

Ên

heißt Wolfe-Dual des konvexen Optimierungsproblems (GCP).

Die Zielfunktion f¨ ur das Wolfe-duale Problem stellt also das Supremum der Lagrange-Funktion von (GCP) dar. Die eingef¨ uhrte Darstellung des Wolfedualen Problems (WD) f¨ ur ein allgemein konvexes Optimierungsproblem u ¨ bertragen wir nun auf das gegebene konvex-quadratische Optimierungsproblem (GQP). Dazu schreiben wir das quadratische Ausgangsproblem (GQP) durch Aufspalten der Gleichheitsrestriktionen Ax = b zun¨ achst in der Form min 21 xT Qx + cT x u. d. N. Ax ≤ b −Ax ≤ −b −Cx ≤ −d. Die dazugeh¨ orige Lagrange-Funktion L erh¨ alt damit die Form L(x, y1 , y2 , λ) = 21 xT Qx + cT x + y1T (Ax − b) + y2T (b − Ax) + λT (d − Cx) und f¨ ur deren Ableitung bzgl. der Variablen x ∈

(2.2)

Ên gilt, dass

∇x L(x, y1 , y2 , λ) = Qx + c + AT y1 − AT y2 − C T λ.

(2.3)

20

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

Mit (2.2) und (2.3) ergibt sich das Wolfe-duale Problem entsprechend der Deﬁnition 2.1 als sup {L(x, y1 , y2 , λ)} x,y1 ,y2 ,λ

u. d. N. ∇x L(x, y1 , y2 , λ) = 0, y1 , y2 , λ ≥ 0 und auf Grund der Linearit¨ at der Ableitung der Lagrange-Funktion in der Darstellung des Supremums als Maximum zu max 1 xT Qx x,y1 ,y2 ,λ 2

+ cT x + y1T (Ax − b) + y2T (b − Ax) + λT (d − Cx)

u. d. N. Qx + c + AT y1 − AT y2 − C T λ = 0

(2.4)

y1 , y2 , λ ≥ 0.

Ê

F¨ ur die Ableitung der Lagrange-Funktion nach der Variablen x ∈ n in (2.3) gilt Qx + AT y1 − AT y2 − C T λ = −c und das Optimierungsproblem (2.4) l¨ asst sich zu max 1 xT Qx x,y1 ,y2 ,λ 2

+ (−Qx − AT y1 + AT y2 + C T λ)T x

+ y1T (Ax − b) + y2T (b − Ax) + λT (d − Cx) Qx + c + AT y1 − AT y2 − C T λ = 0 y1 , y2 , λ ≥ 0

u. d. N.

umformen, was sich nach Ausmultiplizieren innerhalb der Zielfunktion weiter vereinfacht zu max

x,y1 ,y2 ,λ

u. d. N.

− 12 xT Qx − y1T b + y2T b + λT d

Qx + c + AT y1 − AT y2 − C T λ = 0 y1 , y2 , λ ≥ 0.

Wir erhalten schließlich durch Substitution von y := y2 − y1 f¨ ur das Ausgangsproblem (GQP) das Wolf-duale Programm als max − 12 xT Qx + y T b + λT d x,y,λ

u. d. N.

Qx + c − AT y − C T λ = 0 λ ≥ 0,

(GQD)

Quadratische Optimierung

21

bei dem es sich genauso wie das Ausgangsproblem (GQP) wieder um ein konvex-quadratisches Optimierungsproblem handelt. F¨ ur die dualen Variablen λ bez¨ uglich der Ungleichungsrestriktionen verlangen wir hierbei die Nicht-Negativit¨ at, w¨ ahrend die dualen Variablen y ∈ my , die mit den Gleichungsrestriktionen Ax = b korrespondieren, hier unbeschr¨ ankt sind. Wir nennen eine duale Variable (y, λ) ∈ my × mz dual zul¨assig, wenn gleichermaßen Qx + c − AT y − C T λ = 0 und λ ≥ 0 erf¨ ullt sind und strikt dual zul¨assig, wenn hier f¨ ur λ statt der Nicht-Negativit¨ at versch¨ arfend die Positivit¨ at verlangt wird, d. h. λ > 0. Im Zusammenhang mit seinem dualen Problem (GQD) spricht man von dem Ausgangsproblem (GQP) als das primale Problem und demzufolge von x ∈ n als den primalen Variablen. Das primale und das duale Optimierungsprobleme stehen u ¨ ber die als sog. schwache Dualit¨at bekannte Eigenschaft (siehe z. B. [121]) in direkter Beziehung. Die schwache Dualit¨ at besagt dabei, dass f¨ ur eine zul¨ assige L¨ osung x ∈ n des primalen Problems (GQP) und (y, λ) ∈ my ×mz als eine zul¨ assige L¨ osung des dualen Problems (GQD) jeder dual zul¨ assige Punkt eine untere Schranke an den Zielfunktionswert des primalen Problems liefert, d. h. es gilt f¨ ur jeweils zul¨ assige Punkte x bzw. (y, λ) der beiden Probleme

Ê

Ê

Ê

Ê

Ê

Ê

− 12 xT Qx + bT y + dT λ ≤ 12 xT Qx + cT x, bzw. umgekehrt, dass jeder zul¨ assige Punkt x des primalen Problems eine obere Schranke f¨ ur den Zielfunktionswert des dualen Problems liefert. 2.1.3 Optimalit¨ atsbedingungen Das Auﬃnden einer optimalen L¨ osung f¨ ur ein Optimierungsproblem erfordert regelm¨ aßig die Pr¨ ufung auf Optimalit¨ at u ¨ber sog. Optimalit¨atsbedingungen. Mit den Karush-Kuhn-Tucker-Bedingungen (KKT-Bedingungen) stehen unter gewissen zus¨ atzlichen Voraussetzungen notwendige und hinreichende Optimalit¨ atskriterien erster Ordnung f¨ ur restringierte Optimierungsprobleme zur Verf¨ ugung. Die speziellen Voraussetzungen bezeichnet man als Regularit¨atsbedingungen (engl. constraint qualiﬁcations), die bestimmte Forderungen an den aktuell betrachteten Punkt in Bezug auf die Nebenbedingungen des Optimierungsproblems stellen. Erst die Regularit¨ atsbedingungen garantieren die Existenz sog. Multiplikatoren, die zusammen mit dem aktuellen Punkt einen sog. KKT-Punkt bilden. F¨ ur konvexe Optimierungsprobleme (GCP) l¨ asst sich zeigen, dass genau dann je-

22

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

der KKT-Punkt ein Optimalpunkt des Optimierungsproblem ist, wenn die KKT-Bedingungen und eine Regularit¨ atsbedingung erf¨ ullt sind (siehe zum Beispiel [44, Kap. 2.2] bzw. die Ausf¨ uhrungen zur Herleitung des erweiterten KKT-Systems f¨ ur (GQP) im Mathematischen Anhang A.1 auf Seite 189 u ¨ ber die sog. Regularit¨atsbedingung von Slater ). F¨ ur konvex-quadratische Optimierungsprobleme ist auf Grund der Linearit¨ at der Nebenbedingungen automatisch eine Regularit¨ atsbedingung erf¨ ullt (sog. Regularit¨atsbedingung von Abadie, siehe bspw. [44, Kap. 2.2]), wenn man die stetige Diﬀerenzierbarkeit der Zielfunktion voraussetzt. Auf diese Weise lassen sich f¨ ur konvex-quadratische Optimierungsprobleme die KKT-Bedingungen als notwendige und hinreichende Optimalit¨ atskriterien erster Ordnung angeben. Die L¨ osung des Systems der KKT-Bedingungen ist damit ¨ aquivalent zum L¨ osen des quadratischen Ausgangsproblems selber. Die KKT-Bedingungen sind daher zentraler Bestandteil f¨ ur die Konstruktion der im weiteren Verlauf der Arbeit vorgestellten L¨ osungsverfahren f¨ ur die quadratische Optimierung. Die im folgenden Abschnitt vorgestellten Innere-Punkte-Verfahren verlangen zus¨ atzlich, dass der zul¨ assige Bereich des betrachteten Optimierungsproblems nicht leer ist und damit mindestens ein strikt zul¨ assiger Punkt existiert.

¨ 2.2 Uberblick und Klassiﬁzierung von Innere-Punkte-Verfahren Seit Karmarkar im Jahr 1984 sein grundlegendes Werk [71] ver¨ offentlichte, wurde damit die Entwicklung einer neuen Verfahrensklasse zur L¨ osung von linearen Optimierungsproblemen eingeleitet – die so genannten InnerePunkte-Verfahren. Nachdem Klee und Minty 1972 gezeigt hatten [74], dass die schon seit Dantzig [21] in den F¨ unfziger Jahren entwickelten und bis dahin f¨ uhrenden L¨ osungsverfahren – die sog. Simplexverfahren – von theoretisch exponentieller Komplexit¨ at sind, begann die Suche nach Verfahren mit polynomieller Komplexit¨ at. Mit den sog. Ellipsoidmethoden stellte Khachian [73] im Jahre 1979 erstmals ein solches polynomielles Verfahren f¨ ur die lineare Optimierung vor, das theoretisch sch¨ one Eigenschaften aufwies, sich in der Praxis aber als untauglich erwies. Karmarkars Ansatz mittels den sog. projektiven Verfahren (engl. projective method) war deswegen bedeutend, weil er zum einen polynomieller Natur war und auf der anderen Seite ein hervorragendes Laufzeitverhalten in der Praxis aufzeigte.

¨ Uberblick und Klassiﬁzierung von Innere-Punkte-Verfahren

23

Seitdem folgten eine Reihe von Arbeiten zu den Innere-Punkte-Methoden, die in der linearen Programmierung gerade auch f¨ ur groß-skalierte Optimierungsprobleme hervorragend geeignet waren. Man erkannte schließlich, dass diese Verfahren nicht nur f¨ ur die lineare Optimierung interessant waren, sondern auch auf nicht-lineare Optimierungsprobleme angewendet werden k¨ onnen. Interessanterweise wurde dadurch die Br¨ ucke geschlagen zu Verfahren, die schon seit den Sechziger Jahren bekannt waren, wie beispielsweise das Verfahren von Frisch [41] f¨ ur die lineare Optimierung bzw. das von Fiacco und McCormick [39] eingef¨ uhrte Barriere-Verfahren f¨ ur die nicht-lineare Optimierung, das auf einer logarithmischen Barriere-Funktion beruht, den Zentrumsmethoden von Huard [63] und den aﬃn-skalierten Verfahren nach Dikin [28]. Insbesondere die enge Verkn¨ upfung zu den Barriere-Verfahren ist von zentraler Bedeutung und wird f¨ ur den Nachweis der Konvergenz der Innere-Punkte-Verfahren und f¨ ur die Aussagen zur Komplexit¨ at und zum Laufzeitverhalten herangezogen. ¨ Uber die Theorie der Innere-Punkte-Verfahren wird der Begriﬀ des zentralen Pfades gepr¨ agt. Dabei handelt es sich um einen stetigen Pfad im strikten Inneren des zul¨ assigen Bereiches, der in Richtung hin zur optimalen L¨ osung der jeweiligen Optimierungsprobleme f¨ uhrt. Innerhalb der einzelnen Iterationen der Verfahren werden dabei Iterationspunkte erzeugt, die sich an dem Verlauf des zentralen Pfades orientieren und so sukzessive auf eine L¨ osung des zu Grunde liegenden Optimierungsproblems hinf¨ uhren. Bis heute wurden eine Reihe verschiedener Typen von Innere-PunkteVerfahren entwickelt. Man klassiﬁziert die Innere-Punkte-Verfahren u ¨ berlicherweise in drei Gruppen: die aﬃn-skalierten Verfahren (engl. aﬃnescaling algorithms), die Potential-Reduktionsverfahren (engl. potential-reduction algorithms) und schließlich allgemein die Pfadverfolgungsverfahren (engl. path-following algorithms), die im Folgenden jeweils kurz vorgestellt werden. Zur Vertiefung der einzelnen Verfahren verweisen wir auf die an den entsprechenden Stellen im Text angegebenen Literaturquellen. Ein kurzer ¨ historischer Uberblick mit den wesentlichen Meilensteinen der Entwicklung und den Ideen zu den Innere-Punkte-Verfahren wurde durch Jansen, Roos und Terlaky [65] zusammengetragen. 2.2.1 Aﬃn-skalierte Verfahren F¨ ur lineare Optimierungsprobleme der Form minx {cT x | Ax = b, x ≥ 0} wurde durch Dikin [28] schon 1967 ein Verfahren vorgeschlagen, das im Rahmen der ab 1984 einsetzenden Entwicklung der Innere-Punkte-

24

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

Verfahren eine Renaissance“ erlebte. Auf Grund seiner Einfachheit und ” des guten praktischen Verhaltens wurde es sehr beliebt, leidet aber noch heute daran, dass auf theoretischer Seite keine polynomielle Komplexit¨ at f¨ ur das Verfahren festgestellt werden konnte. Die Idee des Verfahrens ist es, die Nichtnegativit¨ x≥0 atsbedingungen durch elliptische Nebenbedingungen der Form X −1 (x − xk ) < 1 auszudr¨ ucken, wobei mit xk die aktuelle Iterierte als ein Punkt des strikt zul¨ assigen Bereiches {x | Ax = b, x > 0} bezeichnet wird und die Matrix X = diag (x1 , . . . , xn ) die Diagonalmatrix mit den Komponenten von x als Eintr¨ age der Diagonalen darstellt. Das somit um xk beschriebene Ellipsoid {x | Ax = b, X −1 (x − xk ) < 1} ist vollst¨ andig im zul¨ assigen Bereich des ¨ Ausgangsproblems enthalten. Uber diesem sog. Dikin-Ellipsoid sucht man f¨ ur das derart relaxierte Problem minx {cT x | Ax = b, X −1 (x − xk ) < 1} eine L¨ osung. Die innerhalb des Verfahrens zur Bestimmung der L¨ osung resultierende Suchrichtung wird als die so genannte aﬃn-skalierte Richtung (engl. aﬃne-scaling direction) bezeichnet, eine Richtung, die uns im Rahmen der primal-dualen Pr¨ adiktor-Korrektor-Verfahren in den n¨ achsten Kapiteln regelm¨ aßig wieder begegnen wird. Sie ist die mit der Matrix X skalierte, projizierte Gradientenrichtung bzgl. der Zielfunktion [122]. Sp¨ ater konnte gezeigt werden (siehe z. B. Adler und Monteiro [1]), dass diese Richtung f¨ ur einen Punkt auf dem sog. zentralen Pfad2 gerade die Tangente an den zentralen Pfad in diesem Punkt vorgibt. Verschiedene Varianten von aﬃn-skalierten Verfahren wurden sowohl f¨ ur lineare Optimierungsprobleme als mittlerweile auch f¨ ur nicht-lineare Optimierungsprobleme entwickelt. Wir unterscheiden hierbei sowohl rein primale Verfahren, rein duale Verfahren als auch primal-duale Verfahren, die ihrerseits entweder nur rein primale Iterierte, rein duale Iterierte bzw. primal-duale Iterierte erzeugen. W¨ ahrend der Nachweis der Konvergenz der Verfahren zun¨ achst nur unter speziellen Nicht-Degeneriertheitsvoraussetzungen gelang, konnten diese Voraussetzungen sp¨ ater fallen gelassen werden. Allerdings konnte der Nachweis einer polynomiellen Laufzeit des Verfahrens ¨ bis heute nicht gef¨ uhrt werden. F¨ ur einen umfangreichen Uberblick u ¨ ber die aﬃn-skalierten Verfahren verweisen wir an dieser Stelle auf Tsuchiya [116]. 2 Der

im Kontext der Innere-Punkte-Verfahren wesentliche Begriﬀ des zentralen Pfades wird weiter unten im Abschnitt 2.3.2 auf Seite 34 detailliert eingef¨ uhrt.

¨ Uberblick und Klassiﬁzierung von Innere-Punkte-Verfahren

25

2.2.2 Potential-Reduktionsverfahren Die Potential-Reduktionsmethoden wurden 1983/1984 von Karmarkar [71] mit den von ihm vorgeschlagenen projektiven Methoden eingef¨ uhrt. In seiner Ursprungsversion konnten damit lineare Optimierungsprobleme in ka” nonischer Form“ (d. h. Ax = 0, eT x = 1, x ≥ 0) behandelt werden. Das Verfahren wurde kurz darauf ab 1986 durch mehrere Autoren unabh¨ angig voneinander auch f¨ ur lineare Probleme in Standardform weiterentwickelt [3, 4, 43, 55, 127]. Die Potential-Reduktionsmethoden ersetzen die urspr¨ ungliche Zielfunktion des linearen Minimierungsproblems durch eine spezielle Hilfsfunktion der Form φK (x, z) = q ln(cT x − z) −

n

ln xi ,

(2.5)

i=1

wobei z hierbei eine untere Schranke f¨ ur den a priori nicht bekannten optimalen Zielfunktionswert des Ausgangsproblems und q > 0 eine Konstante darstellt. Die Hilfsfunktion, deren Werte von Iteration zu Itertion verbessert werden, ist dabei ein Indikator f¨ ur den Fortschritt innerhalb des Iterationsverfahrens. F¨ ur einen kleinen Wert von φK (x, z) liegt die aktuelle Iterierte x nahe am Optimum x∗ . Die Schranke z kann dabei von Iteration zu Iteration mit Hilfe von Informationen des dualen Problems angepasst werden. Mit der zus¨ atzlichen Nebenbedingung cT x > z beschreibt sie das aktuelle Potential“. Daher spricht man hier von der Potential-Funktion. ” Die optimale L¨ osung des resultierenden Optimierungsproblems min φK (x, z) x

u. d. N. Ax = b, x > 0, cT x > z

wird das sog. durch q gewichtete analytische Zentrum x(z) des Polyeders {x | Ax = b, x ≥ 0, cT x ≥ z} genannt. W¨ ahrend φK (x, z) allgemein nicht konvex ist, konnte durch Imai [64] gezeigt werden, dass f¨ ur q ≥ n + 1 zumindest eφK (x,z) strikt konvex ist. Damit kann weiterhin gezeigt werden, dass das eindeutige Minimum x(z) von φK f¨ ur ein gegebenes z existiert T und mit x(z) =: x(μ) f¨ ur μ = c x(z)−z wiederum auf dem zentralen Pfad q liegt und auf diese Weise die enge Verbindung zu den Verfahren der loga-

26

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

rithmischen Barriere-Funktionen aufzeigt, die weiter unten im Abschnitt 2.2.3 und sp¨ ater in Kapitel 4.1 noch ausf¨ uhrlich behandelt werden. Innerhalb der Klasse der Potential-Reduktionsmethoden unterscheidet man weiterhin die projektiven Methoden, die der urspr¨ unglichen Idee u ¨ ber eine projektive Transformation des Ausgangsproblem von Karmarkar folgen und die aﬃnen Potential-Reduktionsmethoden. Die Letzteren sind dabei eine spezielle Formulierung der Reduktionsmetoden, die schließlich ohne die erw¨ ahnte Transformation auskommen. Projektive Potential-Reduktionsmethoden Bei den so genannten projektiven Potential-Reduktionsmethoden oder kurz Projektionsmethoden wird durch eine (projektive) Transformation des Ausgangsproblems eine Suchrichtung p im ‘projezierten’ Raum, dem EinheitsSimplex, bestimmt. Speziell mit der Wahl von q = n + 1 erh¨ alt man die von Karmarkar vorgeschlagene Potential-Funktion. Liegt bei den projektiven Methoden die aktuelle Iterierte xk dicht an dem optimalen zentrierten Punkt x(z) als analytisches Zentrum bzgl. der Schranke z, d. h. nahe zum zentralen Pfad, erh¨ alt man u ¨ ber die innerhalb des Verfahrens zu bestimmende Suchrichtung f¨ ur den neuen Iterationspunkt keine gen¨ ugend große Reduktion der Potential-Funktion. In diesem Fall ist die obere Schranke z geeignet anzupassen. Liegen dagegen die aktuelle Iterierte x und der optimale Punkt x(z) weit auseinander, muss u ¨ berlegt werden, wie eine gen¨ ugend große Reduktion der Potential-Funktion erreicht werden kann. F¨ ur das Ausgangsproblem hat die Transformation zwei Eﬀekte [23]: Die Potential-Funktion ist invariant gegen¨ uber der projektiven Transformation, d. h. die Reduktion der Potential-Funktion im transformierten Problem f¨ uhrt ebenfalls zu einer Reduktion der Potential-Funktion des Ausgangsproblems. Zudem erh¨alt man u atzlich ¨ber die Norm der Suchrichtung p zus¨ Informationen dar¨ uber, ob die zugeh¨ orige duale Variable y¯(z) des transforT x−z mierten Problems zul¨ assig ist oder nicht. Ist p > c n+1 , d. h. ist y¯(z) dual unzul¨ assig, liegt also die aktuelle Iterierte x nicht in der N¨ ahe des zentralen Pfades, dann wird im projektiven Algorithmus ein Schritt in Richtung p T x−z genommen. Andernfalls, wenn p ≤ c n+1 , wenn also y¯(z) dual zul¨ assig ist und damit xk nahe zum zentralen Pfad liegt, wird die obere Schranke z soweit verringert, bis eine Komponente der dualen Variable y(z) des Ausgangsproblems Null wird. Man erreicht damit in solchen F¨ allen eine gen¨ ugende Reduktion der Potential-Funktion.

¨ Uberblick und Klassiﬁzierung von Innere-Punkte-Verfahren

27

Aﬃne Potential-Reduktionsverfahren Um eine Reduktion der Potential-Funktion in jeder Iteration zu erhalten, ist es nicht zwingend notwendig, das Ausgangsproblem wie bei den projektiven Potential-Reduktionsmethoden zu transformieren. In diesem Zusammenhang schlug Gonzaga [56] ein Verfahren vor, in dem die Suchrichtung im Ausgangsproblem als projizierte Gradientenrichtung bez¨ uglich der Potential-Funktion gefunden wird. Er konnte zeigen, dass mit Hilfe dieser Suchrichtung die Potential-Funktion in jedem Schritt reduziert werden kann. Das Verfahren von Gonzaga wurde durch Monteiro [87] f¨ ur Probleme mit linearen Nebenbedingungen und konvexen, stetig diﬀerenzierbaren Zielfunktionen erweitert. Bei den bisherigen Formulierungen wurde das duale Problem lediglich f¨ ur Informationen zur Reduktion der Potential-Funktion – genauer gesagt f¨ ur eine geeignete Anpassung der unteren Schranke z – herangezogen. Nach den ersten dualen Formulierungen f¨ ur ein PotentialReduktionsverfahren f¨ uhrten dann Tanabe [105], Todd und Ye [114] schließlich eine primal-duale Potential-Funktion ein. Im Vergleich zu der PotentialFunktion (2.5) enth¨ alt diese zus¨ atzlich einen logarithmischen Term f¨ ur die dualen Schlupfvariablen s und verwendet an Stelle der Diﬀerenz cT x − z innerhalb des logrithmischen Terms f¨ ur die lineare Zielfunktion nun stattdessen die sog. Dualit¨atsl¨ ucke xT s. Durch Kojima, Mizuno und Yoshise [76] wurde dann eine primal-duale Variante entwickelt, die die bisher besten √ Konvergenzeigenschaften mit O( nL) Iterationen f¨ ur das Auﬃnden einer ε-optimalen L¨ osung aufweist. Das Ausgangsverfahren nach Karmarkar als die erste Potential-Reduktionsmethode erwies sich im Vergleich dazu mit O(nL) Iterationen in der Praxis als langsam [115]. Eine Reihe von Erweiterungen der Potential-Reduktionsverfahren wurden vorgeschlagen, darunter auch zeitgleich Vorschl¨ age f¨ ur konvex-quadratische Optimierungsprobleme von Kapoor und Vaidya [70] und Ye und Tse [128]. Die Potential-Funktion hat dabei die zu (2.5) analoge Form φK (x, z) = q ln(fp (x) − z) − ni=1 ln xi , wobei fp (x) := 12 xT Qx + cT x hier die Zielfunktion des quadratischen Optimierungsproblems darstellt. 2.2.3 Pfadverfolgungsverfahren Die Pfadverfolgungsverfahren entsprechen in ihrer Art in bestimmter Weise modiﬁzierten Newton-Verfahren, mit deren Hilfe Iterationspunkte entlang des Pfades der Minimalpunkte einer parametrisierten Familie loga-

28

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

rithmischer Barriere-Funktionen erzeugt werden, die schließlich gegen den Optimalpunkt konvergieren. Einen solchen Pfad bezeichnet man als den zentralen Pfad im Rahmen der Theorie der Innere-Punkte-Verfahren. Der Ansatz u ung¨ ber die logarithmische Barriere-Funktion stammt urspr¨ lich schon von Frisch [41] aus dem Jahr 1955 f¨ ur lineare Optimierungsprobleme und wurde sp¨ ater von Fiacco und McCormick [39] f¨ ur allgemeine nicht-lineare Probleme erweitert. In seiner Arbeit verwendet Frisch f¨ ur lineare Optimierungsprobleme der Form minx∈Ên {cT x | Ax = b, x ≥ 0} die (primale) Barriere-Funktion φB (x, μ) = cT x − μ

n

ln xi ,

i=1

so dass durch diese Umformulierung des Ausgangsproblems die Ungleichungsnebenbedingungen x ≥ 0 u ¨ ber einen mit dem Parameter μ > 0 gewichteten, logarithmischen Strafterm in die Zielfunktion gehoben werden, die schließlich minimiert werden soll. In analoger Weise lassen sich auch durch entsprechende Barriere-Funktionen duale bzw. primal-duale Formulierungen angeben. Man nennt μ den Barriere-Parameter , mit dessen Hilfe die Verfahren auf dem Weg zu einer optimalen L¨ osung ganz wesentlich gesteuert werden. Den interessanten Zusammenhang zwischen den so gearteten Barriere-Verfahren und Karmarkars projektiver Methode konnten Gill, Murray, Saunders, Tomlin und Wright [48] im Jahr 1986 aufzeigen. Die entscheidenden theoretischen Zusammenh¨ ange unter Ber¨ ucksichtigung primaler und ebenfalls dualer Informationen zwischen dem zentralen Pfad als eine Parametrisierung der gest¨ orten Optimalit¨ atsbedingungen und den L¨ osungen der logarithmischen Barriere-Funktionen wurden durch Megiddo [83] und durch Bayer und Lagarias [7] in den Jahren 1985 bis 1987 aufgezeigt. Seitdem wird den dualen Variablen innerhalb der L¨ osungsverfahren eine gleichberechtigte Bedeutung gegen¨ uber den primalen Variablen beigemessen. Diese Ergebnisse ebneten den Weg f¨ ur die ersten primal-dualen Verfahren. Kojima, Mizuni und Yoshise [75] entwickelten in dieser Zeit einen ersten primal-dualen Algorithmus polynomieller Komplexit¨ at f¨ ur lineare Komplementarit¨ atsprobleme, bei dem die erzeugten Iterierten dem zentralen Pfad folgen. Das Verfahren weist dabei ein Laufzeitverhalten von O(nL) Iterationen auf. Die Pfadverfolgungsverfahren wurden von da an immer weiter verbessert. Monteiro und Adler stellten beispielsweise Verfahren f¨ ur

¨ Uberblick und Klassiﬁzierung von Innere-Punkte-Verfahren

29

lineare Optimierungsprobleme ur konvex-quadratische Probleme √ [88] und f¨ ¨ [89] vor, die jeweils nur O( nL) Iterationen ben¨ otigten. Uber eine Erweiterung des aﬃn-skalierten Verfahrens nach Dikin entwickelte Ye [124] ebenfalls ein Pfadverfolgungsverfahren f¨ ur die quadratische Optimierung. Insbesondere wurde durch den im Zusammenhang mit den primal-dualen Verfahren im Wesentlichen durch Sonnevend [102] gepr¨ agten Begriﬀ der analytischen Zentren eines Polyeders und den daran anschließenden Folgearbeiten von Jarre, Sonnevend und Stoer [68] eine enge Verbindung zu den sog. Zentrumsmethoden (engl. methods of centers) geschaﬀen, die schon im Jahr 1967 durch Huard [63] vorgeschlagen wurden. Innerhalb der Pfadverfolgungsverfahren folgen“ die Iterierten u ¨ber die ” sukzessive Verkleinerung des Barriere-Parameters μ dem zentralen Pfad in einer gewissen Umgebung. F¨ ur den Grenz¨ ubergang μ → 0 erreichen die Verfahren schließlich die optimale L¨ osung des gegebenen Problems. Im Rahmen der sog. ¨außeren Iterationen wird der Parameter μ dabei von Iteration zu Iteration geeignet verkleinert. F¨ ur ein aktuelles μk sucht man dann die L¨ osung x(μk ) des Minimierungsproblems minx φB (x, μk ) und bezeichnet die gefundene, eindeutige optimale L¨ osung als das analytische Zentrum x(μk ), das einen Punkt auf dem zentralen Pfad darstellt. Ausgehend von diesem Punkt wird μk μk+1 geeignet verkleinert und man sucht nun gem¨ aß der Idee des Newton-Verfahrens u ¨ ber mehrere sog. innere Iteratio¨ nen einen neuen Referenzpunkt x(μk+1 ) auf dem zentralen Pfad. Uber die Art und Weise wie der Barriere-Parameter μk dabei innerhalb der a ¨ußeren Iterationen angepasst wird, klassiﬁziert man die Verfahren in Langschrittbzw. Kurzschrittverfahren (engl. long step methods, short step methods). In den Arbeiten von den Hertog und Roos [24] und Gonzaga [57] wurden ¨ interessante Ahnlichkeiten zwischen den verschiedenen Typen der InnerePunkte-Verfahren dahingehend festgestellt, dass alle Verfahren in bestimmter Weise immer dem zentralen Pfad folgen. Die Suchrichtung f¨ ur die jeweils neue Iterierte weist innerhalb der Verfahren regelm¨ aßig eine ¨ ahnliche Form auf. So konnte die Feststellung gemacht werden, dass f¨ ur alle g¨ angigen (und verschiedenartigen) Typen der Innere-Punkte-Verfahren f¨ ur die lineare Optimierung die jeweiligen Suchrichtungen immer Linearkombinationen zweier charakteristischer Vektoren sind: die aﬃn-skalierte Richtung zum einen und die sog. Zentrierungsrichtung zum anderen. Hierbei ist die aﬃnskalierte Richtung genau diejenige Suchrichtung, die innerhalb der aﬃnskalierten Verfahren (siehe Abschnitt 2.2.1) zur Anwendung kommt und die Zentrierungsrichtung schließlich die Newton-Richtung f¨ ur das Problem der Bestimmung des analytischen Zentrums des zul¨ assigen Bereiches.

30

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

2.3 Primal-duale Innere-Punkte-Verfahren und der Zentrale Pfad Nicht nur f¨ ur die linearen Optimierungsprobleme sondern auch f¨ ur die quadratischen Optimierungsprobleme existieren mittlerweile eine Reihe von theoretischen Arbeiten und Implementierungen u ¨ ber Innere-Punkte-Verfahren. Die so genannten primal-dualen Innere-Punkte-Verfahren und deren Spezialisierung als Pr¨ adiktor-Korrektor-Verfahren zeigten dabei in der praktischen Umsetzung bisher die besten rechentechnischen Ergebnisse. Aus diesem Grund und weil ein primal-duales Pr¨ adiktor-Korrektor-Verfahren das Grundger¨ ust unserer in Kapitel 5 beschriebenen Implementierung bildet, wird die Klasse der primal-dualen Innere-Punkte-Verfahren im Folgenden u orten Optimalit¨ atsbedingungen zun¨ achst ¨ ber das System der gest¨ ¨ detailliert eingef¨ uhrt. Uber die Pr¨ adiktor-Korrektor-Verfahren wird anschließend die Basis f¨ ur die Modiﬁkationen nach Mehrotra und Gondzio des dann folgenden Abschnitts 2.4 geschaﬀen.

2.3.1 Das System gest¨ orter Optimalit¨ atsbedingungen Zur Vereinfachung der Notation betrachten wir von nun an ohne Beschr¨ ankung der Allgemeinheit das folgende konvex-quadratische Optimierungsproblem 1 T 2 x Qx

minn

x∈

Ê

+ cT x

(QP)

Cx ≥ d,

u. d. N.

das sich von der vorherigen Darstellung (GQP) lediglich durch den Wegfall der Gleichheitsnebenbedingungen unterscheidet. Jede Gleichheitsrestriktion aTi x = bi ließe sich dabei durch zwei Ungleichungsrestriktionen aTi x ≥ bi und −aTi x ≥ −bi ersetzen und somit in der obigen Form darstellen. Innerhalb der Zielfunktion sei Q ∈ n×n als eine symmetrische und positivdeﬁnite Matrix und der Vektor c ∈ n gegeben. Der zul¨ assige Bereich sei durch das System der m linearen Ungleichungen cTi x ≥ di mit i = 1, . . . , m u ¨ ber die Matrix C ∈ m×n und den Vektor d ∈ m der rechten Seite vorgegeben. Die Zielfunktion von (QP) werden wir im Folgenden durch die reelle Funktion fp : n → mit x → 21 xT Qx + cT x bezeichnen.

Ê

Ê

Ê

Ê

Ê

Ê

Primal-duale Innere-Punkte-Verfahren und der Zentrale Pfad

31

Mit Hilfe der im Unterkapitel 2.1 eingef¨ uhrten Wolfe-Dualit¨ at erhalten wir zu (QP) das duale Optimierungsproblem als x∈

max n

Ê

,λ∈

1 T 2 x Qx

Ê

m

+ cT x − λT (Cx − d)

Qx + c − C T λ = 0 λ ≥ 0,

u. d. N.

(QD )

Ê

wobei λ ∈ m hier den Vektor der dualen Variablen beschreibt. Durch Substitution von c = C T λ − Qx in der Zielfunktion l¨ asst sich das duale Problem schließlich als x∈

max n

Ê

,λ∈

Ê

m

− 12 xT Qx + dT λ

u. d. N. Qx + c − C T λ = 0 λ≥0

(QD)

schreiben. Analog zu (QP) bezeichnen wir im Weiteren die duale Zielfunktion als reelle Funktion fd : n × m → mit (x, λ) → − 21 xT Qx + dT λ. F¨ ur einen primal zul¨ assigen Punkt x und einen dual zul¨ assigen Punkt λ gilt die schon oben eingef¨ uhrte schwache Dualit¨ at, d. h.

Ê

Ê

Ê

fd (x, λ) ≤ fp (x∗ ) ≤ fp (x), wobei mit x∗ hier die optimale L¨ osung f¨ ur (QP) und mit fp (x∗ ) der optimale Zielfunktionswert von (QP) gemeint ist. F¨ ur die Diﬀerenz der Zielfunktionswerte fp (x) − fd (x, λ) folgt durch Einf¨ uhren von primalen Schlupfvariablen s := Cx−d und daher mit Hilfe der umgeschriebenen primalen Zul¨ assigkeit Cx − s = d der Zusammenhang fp (x) − fd (x, λ) = 12 xT Qx + cT x − (− 12 xT Qx + dT λ) = xT Qx + cT x − dT λ = xT Qx + cT x − (Cx − s)T λ = xT Qx + cT x − λT Cx + λT s = xT (Qx + c − C T λ) + λT s. Gen¨ ugen λ und x zudem der dualen Zul¨ assigkeit Qx + c − C T λ = 0, so erhalten wir die als Dualit¨atsl¨ ucke bezeichnete Beziehung fp (x) − fq (x, λ) = λT s ≥ 0.

(2.6)

32

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

Auf Grund der erf¨ ullten Regularit¨ atsbedingung kann f¨ ur konvex-quadratische Optimierungsprobleme auch die Eigenschaft der starken Dualit¨at angegeben werden. Sie besagt dabei, dass genau dann, wenn das primale Problem (QP) f¨ ur einen Punkt x∗ ∈ n l¨ osbar ist, so ist auch das duale Problem (QD) f¨ ur einen Punkt λ∗ ∈ m l¨ osbar und die Zielfunktionswerte beider Probleme stimmen u ¨ berein, d. h.

Ê Ê

fd (x∗ , λ∗ ) = fp (x∗ ). Aus der starken Dualit¨ at folgt damit f¨ ur konvex-quadratische Optimierungsprobleme sofort, dass die Dualit¨ atsl¨ ucke im Optimum verschwindet.

Bemerkung 2.2: Diese Tatsache wird f¨ ur die Konstruktion von Abbruchbedingungen allgemein in den L¨ osungsverfahren f¨ ur konvex-quadratische Optimierungsprobleme ausgenutzt. Gilt in der k-ten Iteration f¨ ur einen primal-dual zul¨ assigen Punkt (xk , λk ), dass fp (xk ) − fd (xk , λk ) ≤ ε f¨ ur einen ausreichend kleinen Schwellenwert ε > 0, so bricht das Verfahren mit dem Punkt (xk , λk ) als eine hinreichend gute N¨ aherung f¨ ur die optimale L¨osung (x∗ , λ∗ ) ab.

Sowohl f¨ ur das primale Problem (QP) als auch f¨ ur das duale Problem (QD) lassen sich die sog. KKT-Bedingungen als notwendige und hinreichende Optimalit¨ atskriterien erster Ordnung angeben und man erh¨ alt jeweils das nicht-lineare Gleichungssystem Qx − C T λ + c = 0

(2.7a)

Cx − s − d = 0 λi si = 0, i = 1, . . . , m

(2.7b) (2.7c)

λ, s ≥ 0.

(2.7d)

Dabei sichert die Gleichung (2.7a) zusammen mit λ ≥ 0 aus (2.7d) die duale Zul¨ assigkeit und die Gleichung (2.7b) zusammen mit s ≥ 0 aus (2.7d) die primale Zul¨ assigkeit. Die Gleichung (2.7c) nennt man die Komplement¨ar-Schlupf-Bedingung bzw. Komplementarit¨atsbedingung, da durch diese Bedingung eine komplement¨ are Verteilung der Nulleintr¨ age innerhalb der Vektoren der dualen Variablen und der primalen Schlupfvariablen ver-

Primal-duale Innere-Punkte-Verfahren und der Zentrale Pfad

33

langt wird. Wir deﬁnieren mit F = {(x, λ, s) | Cx − s = d, Qx − C T λ = −c, λ, s ≥ 0}, F 0 = {(x, λ, s) | Cx − s = d, Qx − C T λ = −c, λ, s > 0} den primal-dualen zul¨assigen Bereich F und den primal-dualen strikt zul¨assigen Bereich F 0 , wobei letzterer auch als das relative Innere des zul¨ assigen Bereiches bezeichnet wird. Eine L¨ osung (x∗ , λ∗ , s∗ ) f¨ ur das (nicht-lineare) Gleichungssystem (2.7) stellt einen KKT-Punkt dar. Damit ist (x∗ , s∗ ) eine optimale L¨ osung f¨ ur (QP) und (x∗ , λ∗ ) eine optimale L¨ osung f¨ ur (QD). Die Nicht-Linearit¨ at des Systems besteht in den Komplementarit¨ atsbedingungen λi si = 0, die das Auﬃnden einer L¨ osung damit erschweren. Die Idee der Innere-Punkte-Verfahren ist es nun, f¨ ur das System bestehend aus den Gleichungen (2.7a) bis (2.7c) eine L¨ osung (x, λ, s) zu ﬁnden. Die Schwierigkeit besteht dabei allerdings in der Einhaltung der Nichtnegativit¨ atsbedingung (2.7d). L¨ osungen (x, λ, s), die den Gleichungen (2.7a), (2.7b) und (2.7c) gen¨ ugen, nicht aber die Nichtnegativit¨ at (λ, s) ≥ 0 erf¨ ullen, m¨ ussen daher vermieden werden. Aus diesem Grund wird das Gleichungssystem in den Komplementarit¨ atsbedingungen (2.7c) durch einen positiven Parameter τ > 0 modiﬁziert, so dass nunmehr λi si = τ,

i = 1, . . . , m

(2.7c )

gefordert wird. Wir erhalten auf diese Weise f¨ ur jedes τ > 0 das System gest¨ orter Optimalit¨ atsbedingungen Qx − C T λ + c = 0 Cx − s − d = 0 λi si = τ, i = 1, . . . , m

(2.8)

λ, s > 0. Eine L¨ osung von System (2.8) stellt daher einen strikt zul¨ assigen primalorungsparameter dualen Punkt (xτ , λτ , sτ )T ∈ F 0 dar. Je kleiner der St¨ τ gew¨ ahlt wird, desto besser approximiert das System (2.8) die KKTBedingungen (2.7). F¨ ur τ = 0 erh¨ alt man als L¨ osung von (2.8) folglich einen KKT-Punkt und damit die optimale L¨ osung (x∗ , λ∗ , s∗ ) f¨ ur die Ausgangsprobleme (QP) und (QD).

34

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

2.3.2 Das primal-duale Ger¨ ust und der zentrale Pfad orten SysZur Berechnung einer L¨ osung (xτ , λτ , sτ ) des mit τ > 0 gest¨ tems (2.8) folgt man der Idee des Newton-Verfahrens zur (approximativen) Bestimmung einer Nullstelle. Wir schreiben dazu (2.8) als eine Abbildung Ψ : n × m × m −→ n+2m f¨ ur die schließlich die Gleichung ⎞ ⎛ ⎞ ⎛ 0 Qx − C T λ + c ! (2.9) Ψ(x, λ, s) = ⎝ Cx − s − d ⎠ = ⎝ 0 ⎠ , τe ΛSe

Ê

Ê

Ê

Ê

zu l¨ osen ist. Mit den Großbuchstaben Λ = diag (λ1 , . . . , λm ) und S = diag (s1 , . . . , sm ) beschreiben wir die Diagonalmatrizen mit den Eintr¨ agen der Dual- und der Schlupfvariablen λ bzw. s. Bemerkung 2.3: W¨ ahlt man f¨ ur das Gleichungssystem (2.9) den St¨ orungsparameter τ = 0, so stellt (2.9) das f¨ ur das herk¨ ommliche NewtonVerfahren zu l¨ osende Gleichungssystem zur Nullstellenbestimmung dar. Durch L¨ osen der so genannten Newton-Gleichung als Linearisierung der Abbildung Ψ in einem Punkt (x, λ, s) mit ∇Ψ(x, λ, s) · p = −Ψ(x, λ, s)

(2.10)

wird ausgehend von einem aktuellen, zul¨ assigen Punkt (x, λ, s)T eine oft auch Newton-Richtung genannte Suchrichtung p = (Δxτ , Δλτ , Δsτ )T bestimmt. Hierbei bezeichnet ∇Ψ(·) die Jacobi-Matrix der Abbildung Ψ. Den Unterschied zum herk¨ ommlichen Newton-Verfahren stellt der St¨ orungsterm τ e innerhalb der rechten Seite von Gleichung (2.9) dar, der daher in der rechten Seite der Newton-Gleichung (2.10) zus¨ atzlich ber¨ ucksichtigt werden muss. Dieses Vorgehen f¨ uhrt uns schließlich auf die L¨ osung des linearen Gleichungssystems ⎛ ⎞⎛ ⎞ ⎞ ⎛ Q −C T Δxτ −rQ 0 ⎝C ⎠. 0 −I ⎠ ⎝Δλτ ⎠ = ⎝ −rd (2.11) 0 S Λ Δsτ −ΛSe + τ e Wir bezeichnen dabei die Eintr¨ age rQ = Qx − C T λ + c und rd = Cx − s − d der rechten Seite als das Residuum f¨ ur die duale Zul¨ assigkeit rQ bzw. das Residuum f¨ ur die primale Zul¨ assigkeit rd . Die Normen der Residuenvektoren rd und rQ bezeichnet man als Maß f¨ ur die primale bzw. duale

Primal-duale Innere-Punkte-Verfahren und der Zentrale Pfad

35

Unzul¨assigkeit (engl. primal and dual infeasibility). Das Gleichungssystem (2.11) bezeichnet man im Rahmen der Innere-Punkte-Verfahren allgemein als das KKT-System bzw. das Newton-KKT-System. Mit der auf diese Weise berechneten Newton-Richtung (Δxτ , Δλτ , Δsτ )T wird ein Punkt T ˜τ , s˜τ )T := (x, λ, s)T + α(Δx (˜ xτ , λ ˜ τ , Δλτ , Δsτ )

(2.12)

˜ τ , s˜τ )T bezeichnen wir all¨ xτ , λ bestimmt. Den Ubergang von (x, λ, s)T zu (˜ gemein als Schritt bzw. Newton-Schritt . Wir sichern die Positivit¨ at (λ, s) > 0u ˜ . Die Schrittweite α ˜ wird dabei ¨ ber die Steuerung der sog. Schrittweite α ˜ und s˜ weiterhin strikt als die maximale Schrittweite bestimmt, so dass λ zul¨ assig sind, d. h. α ˜ := max{α ∈ [0, 1] | λ + αΔλ > 0, s + αΔs > 0}. Die St¨ orung der Komplementarit¨ atsbedingungen u ¨ ber den Parameter τ verhindert, dass u osung des Systems (2.11) Punkte auf dem Rand des ¨ ber die L¨ so genannten nicht-negativen Orthanten (λ, s) ≥ 0 angenommen werden. Die resultierende Suchrichtung wird in diesem Sinne in Richtung des strikten Inneren (λ, s) > 0 beeinﬂusst. Dieser Tatsache verdanken die InnerePunkte-Verfahren schließlich ihren Namen. Bemerkung 2.4: Wird anstatt des restringierten Ausgangsproblems (QP) das unrestringierte Problem minx∈Ên q(x) betrachtet, so vereinfacht sich das zu l¨ osende Newton-KKT-System (2.11) zu dem linearen Gleichungssystem QΔx = −Qx − c. Das Verfahren liefert in diesem Fall f¨ ur jede regul¨ are Matrix Q als Newton-Richtung die L¨ osung Δx = −Q−1 Qx − Q−1 c = −x − Q−1 c x0

ur jedes positiv-deﬁnite Q und damit wegen x + Δx = x − x − Q−1 c = x0 f¨ in genau einem Schritt das globale Optimum x0 als L¨ osung des unrestringierten Minimierungsproblems. F¨ ur die Innere-Punkte-Verfahren ist die Folge der L¨ osungen (xτ , λτ , sτ ) mit τ > 0 des Systems der gest¨ orten Optimalit¨ atsbedingungen (2.8) von entscheidender Bedeutung. Sie formt als Funktion in Abh¨ angigkeit von τ einen stetigen Pfad von strikt zul¨ assigen Punkten, der f¨ ur fallendes τ 0

36

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

gegen die optimale primal-duale L¨ osung von (QP) konvergiert. Im Kontext der Innere-Punkte-Verfahren wird dieser Pfad der zentrale Pfad genannt, ein Begriﬀ, dessen Herkunft wir im Zusammenhang mit der sog. BarriereFunktion in Kapitel 4.1 n¨ aher beleuchten. Dort werden wir auch zeigen, dass f¨ ur jedes τ > 0 die L¨ osung (xτ , λτ , sτ ) von (2.8) eindeutig bestimmt ist, wenn vorausgesetzt wird, dass der strikt zul¨ assige Bereich F 0 nicht-leer ist. Primal-duale Innere-Punkte-Verfahren folgen“ dem zentralen Pfad, ” indem sie jeweils Iterierte in einer geeignet deﬁnierten Umgebung um den Pfad erzeugen. Wir deﬁnieren daher: Deﬁnition 2.5 Gegeben sei die Abbildung τ → (xτ , λτ , sτ ), die jedem τ > 0 die eindeutige L¨osung des gest¨orten Systems (2.8) zuweist. Wir nennen die den Bildraum beschreibende Menge C = {(xτ , λτ , sτ ) | τ > 0} den primal-dualen zentralen Pfad. Betrachtet man nur die Projektion von C nach xτ , so sprechen wir von dem primalen zentralen Pfad Cp . Analog bezeichnet man die Projektion nach λτ als den dualen zentralen Pfad Cd . Das folgende Beispiel veranschaulicht den primalen zentralen Pfad Cp f¨ ur ein gegebenes, graphisch darstellbares Problem im 3 .

Ê

Beispiel 2.6: Wir betrachten das quadratische Optimierungsproblem min

(x,y,z)

u. d. N.

1 2 2x

+ 12 y 2 + 12 z 2 + 0,3x + y + 0z 0 ≤ x, y, z ≤ 1.

In allgemeiner Schreibweise des quadratischen Optimierungsproblems (QP) auf Seite 30 gilt hier somit f¨ ur die Zielfunktion Q = I3 und c = (0,3, 1, 0)T . Die Nebenbedingungsmatrix C ist durch die Blockmatrizen C1 = I3 und C2 = −I3 mit C = (C1 , C2 )T gegeben und f¨ ur die rechte Seite d des Nebenbedingungssystems schreiben wir d1 = (0, 0, 0)T bzw. d2 = (−1, −1, −1)T mit d = (d1 , d2 )T . Die Abbildung 2.1 auf der n¨ achsten Seite stellt den primalen zentralen Pfad f¨ ur dieses Beispiel graphisch dar. Dabei enth¨ alt das linke Bild die Darstellung im 3 , w¨ahrend im rechten Bild die Projektion in die (x, y)-Ebene zusammen mit dem Verlauf der Niveaulinien der quadratischen Zielfunktion dargestellt sind. Man erkennt in der Abbildung f¨ ur den zentralen Pfad, dass er von dem (analytischen) Zentrum des zul¨ assigen Bereiches (hier der

Ê

Primal-duale Innere-Punkte-Verfahren und der Zentrale Pfad

37

1 0.9

0.5

0.8

0.4

0.7

0.3

0.6

0.2

0.5

0.1

0.4

z

0.6

0.3

0 0.6

0.2 0.4 0.6

0.2

y

0.4 0

0

0.1 0

0.2

x

0

0.2

0.4

0.6

0.8

1

Abbildung 2.1: Graphische Darstellung des primalen zentralen Pfades aus Beispiel 2.6 im 3 und Projektion in die (x, y)-Ebene

Ê

Einheitsquader) hin zum Optimum zun¨ achst jeweils in Richtung derjenigen Koordinatenachse verl¨ auft, die den st¨ arksten Einﬂuss durch den linearen Term innerhalb der Zielfunktion aus¨ ubt. Der zentrale Pfad verl¨ auft hier wie dargestellt zun¨ achst in Richtung der y-Achse, danach in Richtung der x-Achse und schließlich in z-Richtung senkrecht hin zum Ursprung (x∗ , y ∗ , z ∗ )T = (0, 0, 0)T als optimale L¨ osung des Problems. Bemerkung 2.7: Indem Δsτ in der mittleren Gleichung von (2.11) durch Umformen der dritten Gleichung zu Δsτ = Λ−1 (−ΛSe − SΔλ + τ e) ersetzt wird, erh¨ alt man das sog. erweiterte KKT-System (engl. augmented system) als Q −C T −rQ Δxτ = , (2.13) C Λ−1 S Δλτ −rd − s + τ Λ−1 e das durch Substitution von Δλτ = S −1 Λ(−rd −s+τ Λ−1 e−CΔx) schließlich in die sog. Normalengleichung (Q + C T S −1 ΛC)Δxτ = −rQ + C T S −1 Λ(−rd − s + τ Λ−1 e)

(2.14)

u uhrt werden kann. W¨ ahrend C T S −1 ΛC eine positiv semideﬁnite Ma¨ berf¨ trix darstellt, ist die Matrix Q + C T S −1 ΛC auf Grund der positiven Deﬁnitheit der Matrix Q ebenfalls positiv deﬁnit. Insbesondere erhalten wir mit Q + C T S −1 ΛC eine symmetrische Matrix der Dimension n × n und damit ein im Vergleich zum Ausgangssystem (2.13) deutlich reduziertes System.

38

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

Das Umschreiben in die Normalengleichungsform (2.14) eignet sich daher immer dann, wenn die Anzahl m der Nebenbedingungen im Vergleich zu der Anzahl n der Variablen groß ist und ein geeigneter (m¨ oglicherweise iterativer) Gleichungssysteml¨ oser zum L¨ osen positiv deﬁniter Systeme zur Verf¨ ugung steht. Wir erhalten auf Grund der Konvergenzeigenschaft des Newton-Verfahrens durch die wiederholte Bestimmung eines Newton-Schrittes u ¨ ber das System (2.11) mit einem fest vorgegebenen Parameter τ schließlich eine N¨aherung gew¨ unschter G¨ ute an den Punkt (xτ , λτ , sτ )T auf dem primaldualen zentralen Pfad C, den wir in diesem Zusammenhang als den Referenzpunkt der Newton-Schritte (engl. target bzw. centered target) auf dem zentralen Pfad bezeichnen wollen. Einen Punkt des zentralen Pfades nennen wir (primal-dual) zentriert bzgl. des St¨ orungsparameters τ . Die zu der Bestimmung eines zentrierten Punktes notwendigen Iterationen bezeichnet man im Zusammenhang mit den Innere-Punkte-Verfahren als die inneren Iterationen. Eine primal-duale L¨ osung (x∗ , λ∗ , s∗ )T des Ausgangsproblems (QP) und damit einen KKT-Punkt als L¨ osung des Gleichungssystems (2.11) erh¨ alt man, indem der St¨ orungsparameter τ sukzessive verringert wird und schließlich der Grenz¨ ubergang f¨ ur τ → 0 vollzogen wird. Die sukzessive Verringerung von τ in jedem Schritt des primal-dualen Verfahrens zur Bestimmung des n¨ achsten zentrierten Punktes nennt man die ¨außere Iterationen des Verfahrens. Das Verfahren endet in der k-ten ¨ außeren Iteration, wenn mit einem zentrierten Punkt (xτ , λτ , sτ )(k) eine N¨aherung gew¨ unschter G¨ ute f¨ ur die optimale primal-duale L¨ osung des Gleichungssystems (2.7) gefunden wurde. Das nachfolgend abgebildete algorithmische Schema verdeutlicht das Vorgehen anschaulich. Algorithmus 2.8 (primal-duales Grundger¨ ust): Require: (x0 , λ0 , s0 )T ∈ F 0 , θ ∈ ]0, 1[, τ0 > 0 Setze k := 0 repeat Setze τk := θ · τk−1 f¨ ur k ≥ 1 Berechne (Δxk , Δλk , Δsk )T durch L¨ osen von ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ Q −C T 0 Δxk −rQ ⎝C ⎠, 0 −I ⎠ ⎝Δλk ⎠ = ⎝ −rd 0 Sk Λk Δsk −Λk Sk e + τk e

Primal-duale Innere-Punkte-Verfahren und der Zentrale Pfad

39

wobei rQ := Qxk − C T λk + c und rd := Cxk − sk − d Setze (xk+1 , λk+1 , sk+1 )T := (xk , λk , sk )T + αk (Δxk , Δλk , Δsk )T f¨ ur geeignetes αk , so dass (λk+1 , sk+1 ) > 0 Setze k := k + 1 until Abbruchbedingung ist erf¨ ullt.

¨ Uber θ ∈ ]0, 1[ wird hierbei ein Parameter vorgegeben, mit dem in jeder Iteration schließlich die Reduktion von τ vorgenommen wird. 2.3.3 Pr¨ adiktor-Korrektor-Verfahren Auf Grund der St¨orung τ > 0 in den Komplementarit¨ atsbedingungen des KKT-Systems (2.7) wird erreicht, dass die Newton-Richtung (Δx, Δλ, Δs)T als L¨ osung des Gleichungssystems (2.11) in Richtung des nicht-negativen Orthanten mit (λ, s) ≥ 0 gelenkt wird. Das ist von Vorteil, da auf diese Weise l¨ angere Schritte als L¨ osung bestimmt werden. Wie groß sollte nun τ als St¨ orgr¨ oße gew¨ ahlt werden? Mit der in der Gleichung (2.6) eingef¨ uhrten Dualit¨ atsl¨ ucke λT s erhalten wir eine geeignete Gr¨ oße f¨ ur die primal-duale Messung des Fortschritts“ ei” nes L¨ osungsverfahrens. Ziel ist ja gerade die Reduktion der Dualit¨ atsl¨ ucke, die schließlich im Optimum verschwindet. In diesem Zusammenhang erscheint es sinnvoll, die Gr¨ oße τ in den paarweisen Produkten λi si = τ der Komplementarit¨ atsbedingungen (2.7c) in Abh¨ angigkeit von dem Fort” schritt des Verfahrens“ zu w¨ ahlen. Aus diesem Grund f¨ uhren wir mit μ u ¨ber λT s 1 = λi si m m i=1 m

μ :=

(2.15)

eine geeignete Gr¨ oße f¨ ur den Wert der einzelnen Komplementarit¨ atsprodukte λi si ein. Auf diese Weise ergibt sich μ als der u ¨ ber die Anzahl der Ungleichungsnebenbedingungen gewichtete Durchschnitt der Komplementarit¨ atsprodukte. Auf Grund der engen Beziehung zu der Dualit¨ atsl¨ ucke und der Bedeutung als Parameter zur Steuerung der Komplementarit¨ atsbedingungen wird μ als das Komplementarit¨atsmaß bzw. oft auch als das Dualit¨atsmaß bezeichnet. Bemerkung 2.9: Mit der Einf¨ uhrung des Dualit¨ atsmaßes μ erh¨ alt man f¨ ur die Dualit¨ atsl¨ ucke somit den Zusammenhang λT s = mμ. Auf diese Weise wird deutlich, dass die Dualit¨ atsl¨ ucke, als Diﬀerenz des primalen

40

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

und des dualen Zielfunktionswertes, lediglich von der Anzahl der Nebenbedingungen und dem Dualit¨ atsmaß abh¨ angt, nicht aber von den Daten des Ausgangsproblems selber. Setzt man in den Komplementarit¨ atsbedingungen τ := μ, so erhalten wir als L¨ osung des KKT-Systems (2.11) einen Schritt in Richtung des Referenzpunktes (xμ , λμ , sμ )T auf dem zentralen Pfad. Im Gegensatz dazu weist der sich ergebende Schritt f¨ ur die Wahl von τ = 0 direkt auf den KKT-Punkt als L¨ osung des reinen Newton-Systems ⎞⎛ ⎞ ⎛ ⎛ ⎞ −rQ Δx Q −C T 0 ⎝C 0 −I ⎠ ⎝Δλ⎠ = ⎝ −rd ⎠ . (2.16) Δs 0 S Λ −ΛSe Durch Einf¨ uhrung eines so genannten Zentrierungsparameters σ ∈ [0, 1] l¨asst sich auf die gesuchte Richtung des Schrittes bewusst Einﬂuss nehmen. Wir setzen daher den St¨ orungsparameter τ := σμ. Mit der Wahl von σ = 0 erh¨ alt man daher als L¨ osung des nicht gest¨ orten Systems (2.16) die reine Newton-Richtung. Man spricht hierbei von der aﬃn-skalierten Richtung (Δxaﬀ , Δλaﬀ , Δsaﬀ )T . Mit der Wahl von σ = 1 erh¨ alt man auf der anderen Seite als L¨ osung des Systems (2.11) dann eine Suchrichtung (Δxμ , Δλμ , Δsμ )T , die auf den zentrierten Punkt (xμ , λμ , sμ )T gerichtet ist. In diesem Fall sprechen wir von der Zentrierungsrichtung. In jeder (¨ außeren) Iteration eines Innere-Punkte-Verfahrens wird u ¨ber die Suchrichtung (Δxσμ , Δλσμ , Δsσμ )T als L¨ osung des Newton-KKT-Systems (2.11) mit τ := σμ ausgehend von (xk , λk , sk )T ein neuer Iterationspunkt (xk+1 , λk+1 , sk+1 )T bestimmt. Wie sollte nun f¨ ur einen solchen Schritt der Zentrierungsparameter σ geeignet gew¨ ahlt werden? Aktuelle Implementierungen von primal-dualen Innere-Punkte-Verfahren l¨osen dazu das Newton-KKT-System zur Bestimmung einer Newton-Richtung zweimal: zun¨achst wird ein sog. Pr¨adiktor-Schritt mit σ = 0 bestimmt, der im Wesentlichen f¨ ur die Reduktion der Dualit¨ atsl¨ ucke und der primalen und dualen Unzul¨ assigkeit und damit f¨ ur das Voranschreiten des Verfahrens verantwortlich ist. Dem Pr¨ adiktor-Schritt folgt ein sog. Korrektor-Schritt. Dessen wesentliche Aufgabe ist es, den u adiktor-Schritt gefun¨ber den Pr¨ denen Iterationspunkt wieder zu zentrieren, d. h. ausgehend von diesem Punkt einen zentrierten Punkt (auf dem zentralen Pfad) zu erreichen. Die Zentrierung u ¨ ber den Korrektor-Schritt ist notwendig, da ausgehend von zentrierten Punkten l¨ angere Newton-Schritte entlang des zentralen Pfades

Primal-duale Innere-Punkte-Verfahren und der Zentrale Pfad

41

bestimmt werden k¨onnen. Nur auf diese Weise k¨onnen die Dualit¨atsl¨ ucke und die primale und duale Unzul¨assigkeit rd bzw. rQ bestm¨oglich reduziert werden. Die Abbildung 2.2 illustriert zur Anschauung die Abfolge

x*

x0 Abbildung 2.2: Illustration des Ablaufs eines Pr¨adiktor-KorrektorVerfahren mit einer Folge von Pr¨adiktor- und KorrektorSchritten

der Pr¨adiktor-Korrektor-Schritte innerhalb eines solchen Verfahrens. Dabei sei x∗ die optimale L¨osung des Beispielproblems und x0 der Optimalpunkt f¨ ur das unrestringierte Optimierungsproblem und damit das Zentrum der durch die Niveaulinien dargestellten Niveaumengen der quadratischen Zielfunktion. Das folgende algorithmische Schema verdeutlicht das Vorgehen f¨ ur ein allgemeines Pr¨adiktor-Korrektor-Verfahren ohne speziell auf technische Besonderheiten f¨ ur die Konvergenz des Verfahrens einzugehen. Algorithmus 2.10 (Pr¨ adiktor-Korrektor-Verfahren): Require: (x0 , λ0 , s0 )T ∈ F 0 , θ ∈ ]0, 1[ Setze k := 0 repeat Setze μk := (λTk sk )/m if k gerade {Pr¨adiktor-Schritt} then

42

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung aﬀ aﬀ T Berechne (Δxaﬀ osen von k , Δλk , Δsk ) durch L¨ ⎛ ⎞ ⎞ ⎛ ⎞ ⎛ Q −C T 0 Δxaﬀ −rQ k ⎝C ⎠ = ⎝ −rd ⎠ , 0 −I ⎠ ⎝Δλaﬀ k 0 Sk Λk −Λk Sk e Δsaﬀ k

wobei rQ := Qxk − C T λk + c und rd := Cxk − sk − d aﬀ aﬀ aﬀ T Setze (xk+1 , λk+1 , sk+1 )T := (xk , λk , sk )T +αaﬀ k (Δxk , Δλk , Δsk ) aﬀ f¨ ur geeignetes αk , so dass (λk+1 , sk+1 ) > 0 else {Korrektor-Schritt} Setze μk := (1 − θ)μk Setze σk ∈ ]0, 1] geeignet Berechne (Δxk , Δλk , Δsk )T durch L¨ osen von ⎛ ⎞ ⎞ ⎛ ⎞ ⎛ Q −C T Δxk −rQ 0 ⎝C ⎠, 0 −I ⎠ ⎝Δλk ⎠ = ⎝ −rd 0 Sk Λk Δsk −Λk Sk e + σk μk e wobei rQ := Qxk − C T λk + c und rd := Cxk − sk − d Setze (xk+1 , λk+1 , sk+1 )T := (xk , λk , sk )T + αk (Δxk , Δλk , Δsk )T f¨ ur geeignetes αk , so dass (λk+1 , sk+1 ) > 0 end if Setze k := k + 1 until Abbruchbedingung ist erf¨ ullt. Im Allgemeinen wird der u adiktor-Schritt erreichbare Punkt ¨ber den Pr¨ nicht explizit bestimmt. Wir nutzen diesen gefundenen Punkt hypothe” tisch“, um Informationen u ¨ber die in diesem Punkt (ebenfalls hypothetisch) erreichbare Reduktion der Dualit¨ atsl¨ ucke zu erhalten, falls ein Schritt in die durch den Pr¨ adiktor-Schritt festgelegte Richtung erfolgt w¨ are. Der Pr¨adiktor-Schritt gibt damit ganz wesentlich vor, inwieweit eine Zentrierung innerhalb des nachfolgenden Korrektor-Schrittes u ¨ berhaupt notwendig ist, d. h. wie der Zentrierungsparameter σ zu w¨ ahlen ist. Eine nur geringf¨ ugige Reduktion der Dualit¨ atsl¨ ucke im Pr¨ adiktor-Schritt deutet somit an, dass als Zielpunkt des Korrektor-Schrittes ein geeigneter Punkt auf dem zentralen Pfad erreicht werden sollte. In diesem Fall ist σ entsprechend groß zu w¨ ahlen. Ein daraufhin erhaltener zentrierter Punkt erm¨ oglicht daher in der n¨ achsten Iteration des Verfahrens l¨ angere Schritte, was zu einer st¨arkeren Reduktion der Dualit¨ atsl¨ ucke f¨ uhrt und damit ein Voranschreiten entlang des zentralen Pfades in Richtung der optimalen L¨ osung bedeutet.

Das Innere-Punkte-Verfahren nach Mehrotra/Gondzio

43

2.4 Das Innere-Punkte-Verfahren nach Mehrotra/Gondzio Der in dem letzten Abschnitt 2.3 entwickelte primal-duale Aufbau der Inneren-Punkte-Verfahren f¨ ur die quadratische Optimierung f¨ uhrte u ¨ber den Versuch, mit Hilfe des Zentrierungsparameters σ Einﬂuss auf Bestimmung der Suchrichtung zu nehmen, zu den so genannten Pr¨adiktor-Korrektor-Verfahren. F¨ ur lineare Optimierungsprobleme schlug Mehrotra [85] auf Basis der Pr¨ adiktor-Korrektor-Verfahren eine Modiﬁkation vor, bei der zur Berechnung der Richtung f¨ ur den Newton-Schritt ein Korrekturterm h¨oherer Ordnung“ 3 ber¨ ucksichtigt wird. In umfangreichen Rechenbeispie” len zeigte er, dass diese Korrektur zu einer signiﬁkanten Reduktion der Iterationszahl der Verfahren f¨ uhrt. Sein Vorschlag ﬁndet heute in fast allen Implementierungen f¨ ur primal-duale Innere-Punkte-Verfahren Anwendung. In seiner Arbeit [52] schlug Gondzio eine Erweiterung der primal-dualen Innere-Punkte-Verfahren vor, die im Wesentlichen auf eine Verbesserung der Zentrierung des neuen Iterationspunktes abzielt. Durch einen zus¨ atzlichen Korrekturterm f¨ ur die Suchrichtung wird erreicht, dass der jeweils aktuelle Iterationspunkt hinsichtlich des Abstandes zum zentralen Pfad verbessert wird, was zu Folge hat, dass f¨ ur die n¨ achste Iteration tendenziell l¨angere Newton-Schritte m¨ oglich sind. Die Vorschl¨ age von Mehrotra und Gondzio f¨ ur die lineare Optimierung lassen sich analog auf quadratische Optimierungsprobleme u ¨ bertragen. In diesem Zusammenhang werden hier die Ideen der beiden Autoren motiviert und dargestellt. 2.4.1 Das Pr¨ adiktor-Korrektor-Verfahren von Mehrotra (MPC) Die meisten heute implementierten und in der Anwendung beﬁndlichen primal-dualen Innere-Punkte-Verfahren unterscheiden sich von dem im vorangegangen Abschnitt eingef¨ uhrten primal-dualen Grundger¨ ust durch eine Modiﬁkation auf Grund der Vorschl¨ age von Mehrotra [85]. Das durch ihn vorgeschlagene Pr¨ adiktor-Korrektor-Verfahren modiﬁziert die Richtung des Newton-Schrittes, indem ein Korrekturterm h¨ oherer Ordnung f¨ ur die L¨osung des KKT-Systems (2.11) ber¨ ucksichtigt wird, mit dem der durch 3 Der

Begriﬀ h¨ ohere Ordnung“ deutet hier an, dass die zu bestimmende Suchrich” tung als L¨ osung des Newton-KKT-Systems auch Terme h¨ oherer als linearer Ordnung ber¨ ucksichtigt.

44

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

die Linearisierung entstehende Fehler innerhalb der Komplementarit¨ atsprodukte kompensiert werden soll. Als Pr¨ adiktor-Schritt wird hier ein reiner Newton-Schritt gew¨ ahlt, also ein Schritt in aﬃn-skalierter Richtung. Mit Hilfe des Wertes der Dualit¨ atsl¨ ucke in dem durch den Pr¨ adiktor-Schritt erreichbaren Punkt wird explizit der Zentrierungsparameter σ gesetzt. In diesem Zusammenhang spricht man von einer adaptiven Anpassung des Zentrierungsparameters auf Basis des aﬃn-skalierten Pr¨ adiktor-Schrittes. In Abh¨ angigkeit der so bestimmten G¨ ute des Pr¨ adiktor-Schrittes wird erreicht, dass die nachfolgende Zentrierung f¨ ur den Korrektor-Schritt h¨ ochstens in dem Maße durchgef¨ uhrt wird, wie sie f¨ ur einen gut zentrierten Punkt f¨ ur die n¨ achste Iteration gerade n¨ otig erscheint. Wir skizzieren in diesem Abschnitt das algorithmische Vorgehen nach Mehrotra. Ausgehend von einem aktuellen Iterationspunkt (x, λ, s)T mit (λ, s) > 0 wird zun¨ achst f¨ ur den Pr¨ adiktor-Schritt die aﬃn-skalierte Richtung (Δxaﬀ , Δλaﬀ , Δsaﬀ )T mit Hilfe des Newton-Verfahrens u o¨ ber die L¨ sung des Gleichungssystems ⎞ ⎛ aﬀ ⎞ ⎛ ⎛ ⎞ Δx Q −C T −rQ 0 ⎝C 0 −I ⎠ ⎝Δλaﬀ ⎠ = ⎝ −rd ⎠ , (2.17) 0 S Λ −ΛSe Δsaﬀ bestimmt, wobei hier wieder rQ = Qx − C T λ + c und rd = Cx − s − d die Residuen f¨ ur die duale und primale Zul¨ assigkeit auf der rechten Seite darstellen. Durch die Wahl von τ = 0 ergibt sich somit ein reiner NewtonSchritt. Um einen neuen Iterationspunkt (xaﬀ , λaﬀ , saﬀ )T in aﬃn-skalierter Richtung angeben zu k¨ onnen, bestimmen wir mit Hilfe einer Liniensuche4 (engl. line search) eine geeignete Schrittl¨ ange αaﬀ ∈ ]0, 1], so dass αaﬀ := max{α ∈ ]0, 1] | (λ, s)T + α(Δλaﬀ , Δsaﬀ )T > 0} erf¨ ullt ist. Mit der gew¨ ahlten Schrittl¨ ange αaﬀ wird auf diese Weise sichergestellt, dass der bestimmte Iterationspunkt wiederum einen strikt zul¨ assigen Punkt darstellt, d. h. es gilt (xaﬀ , λaﬀ , saﬀ )T := (x, λ, s)T + αaﬀ (Δxaﬀ , Δλaﬀ , Δsaﬀ )T ∈ F 0 . 4 Als

Liniensuche bezeichnen wir regelm¨ aßig die Bestimmung einer geeigneten Schrittweite α ≥ 0 u osung eines Minimierungs- oder Maximierungsproblems f¨ ur ¨ber die L¨ eine skalare Funktion entlang eines Strahls x + αs, ausgehend von einem Punkt x ∈ n mit einem Richtungsvektor s ∈ n . Ein Beispiel zur Vertiefung f¨ ur eine Liniensuche ist die Armijo-Regel (siehe u. a. [67, Kap. 6.2]).

Ê

Ê

Das Innere-Punkte-Verfahren nach Mehrotra/Gondzio

45

Bemerkung 2.11: Im Unterschied zur quadratischen Optimierung bestimmt man bei linearen Optimierungsproblemen separate Schrittl¨ angen αpri und αdual f¨ ur den primalen Schritt x + αpri Δx bzw. den dualen Schritt λ+αdual Δλ. Durch die Matrix Q der Zielfunktion l¨ asst sich f¨ ur quadratische Optimierungsprobleme die duale Zul¨ assigkeit allerdings nicht unabh¨ angig von dem primalen Problem sicherstellen (siehe [91, Kap. 16]). Mit einer unterschiedlichen Wahl der Schrittl¨ ange besteht daher die Gefahr, dass die duale Zul¨ assigkeit durch den primalen Schritt verletzt wird. F¨ ur quadratische Optimerungsprobleme l¨ asst sich zeigen [20], dass durch die Wahl einer identischen Schrittl¨ ange α := αpri = αdual die primale und duale Unzul¨ assigkeit5 allgemein um den Faktor (1 − α) reduziert werden kann. Bei gleicher Schrittl¨ ange kann daher auch f¨ ur das Dualit¨ atsmaß μ eine Reduktion gezeigt werden. Seit j¨ ungerer Zeit geht man allerdings auch f¨ ur die quadratischen Optimierungsprobleme dazu u angen ge¨ ber, die primalen und dualen Schrittl¨ trennt voneinander zu ermitteln. Unter besonderer Beobachtung der Einhaltung der dualen Zul¨ assigkeit erlaubt eine getrennte Wahl der Schrittl¨ange dann sogar eine st¨ arkere Reduktion der primalen und dualen Unzul¨ assigkeit als (1 − α) bei identischer Schrittl¨ ange. Inspiriert durch die Arbeit von Huang, Burgess, Plank und M´esz´aros [62] schlagen Curtis und Nocedal in [20] daher eine Erweiterung der Schrittweitenstrategien f¨ ur InnerePunkte-Verfahren f¨ ur die quadratische Optimierung vor. Zur Bestimmung der Schrittl¨ angen wird dabei zus¨ atzlich ein konvex-quadratisches Subproblem gel¨ ost, indem die spezielle G¨ utefunktion 2

2

φα (x, λ, s) := Cx − s − d + Qx + c − C T λ + λT s betrachtet wird. Die G¨ ute eines Punktes wird u ¨ ber die primale und die duale Unzul¨ assigkeit und die Dualit¨ atsl¨ ucke mit Hilfe der Funktion φα bewertet. Die korrespondierenden Schrittweiten αx , αλ und αs f¨ ur einen Schritt werden dann u osung des quadratischen Minimierungsproblems ¨ber die L¨ min

αx ,αλ ,αs ∈

5 Zur

Ê φα (x + αx Δx, λ + αλ Δλ, s + αs Δs)

Erinnerung des Begriﬀs primale bzw. duale Unzul¨ assigkeit sei auf Seite 35 verwiesen.

46

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

u ankten, speziellen Menge6 von Schrittweiten festgelegt, ¨ ber einer beschr¨ die eine Reduktion der Funktion φα garantieren. Im Vergleich zum bisher u ange ¨ blichen Vorgehen bei gleicher Wahl der primalen und dualen Schrittl¨ f¨ uhrte dieses Vorgehen bei nur geringem rechentechnischen Mehraufwand bei der Mehrheit der betrachteten Testf¨ alle zu einer Reduktion der ben¨ otigten Iterationen und sollte daher in zuk¨ unftigen Implementationen ber¨ ucksichtigt werden. Der u ¨ ber die Suchrichtung (Δxaﬀ , Δλaﬀ , Δsaﬀ )T mit der Schrittweite αaﬀ ermittelte Punkt wird als Besonderheit innerhalb des Pr¨ adiktor-Schritts nicht explizit berechnet. F¨ ur diesen Punkt bestimmt man gem¨ aß der Gleichung (2.15) lediglich das Dualit¨ atsmaß μaﬀ u ¨ ber μaﬀ :=

(λ + αaﬀ Δλaﬀ )T (s + αaﬀ Δsaﬀ ) , m

das u ute“ des Schrittes Auskunft geben soll. Der Zentrierungs¨ber die G¨ ” parameter σ wird in Abh¨ angigkeit der relativen Verbesserung des Dualit¨atsmaßes μaﬀ durch den Schritt (Δxaﬀ , Δλaﬀ , Δsaﬀ )T im Vergleich zum aktuellen Dualit¨ atsmaß μ u ¨ ber ν μaﬀ σ= , (2.18) μ mit einem Parameter ν > 0 festgelegt. Die spezielle Wahl von σ nach (2.18) steuert so die Wahl des Referenzpunktes auf dem zentralen Pfad f¨ ur den Korrektor-Schritt. Liefert der aﬃn-skalierte Schritt eine ausreichende Reduktion des Dualit¨ atsmaßes μ, so wird diese Richtung u ¨ber einen kleinen Wert f¨ ur σ f¨ ur den Korrektor-Schritt bevorzugt. Kann durch den aﬃnskalierten Schritt lediglich eine geringe Reduktion der Dualit¨ atsl¨ ucke erreicht werden, so ist es vorteilhafter u ¨ ber den Korrektor-Schritt direkt den Referenzpunkt bzgl. μ auf dem zentralen Pfad anzulaufen. In diesem Fall wird mit σ nahe 1 als Korrektur-Schritt eine reine Zentrierungsrichtung gew¨ ahlt. In intensiven Rechentests beschreibt Mehrotra, dass die Wahl von 2 ≤ ν ≤ 4 im Hinblick auf die Reduktion der Iterationszahl vielversprechend scheint [85, Kap. 5]. Die Hauptidee in dem Vorschlag von Mehrotra ist die Ber¨ ucksichtigung eines Terms h¨ oherer Ordnung“ bei der Bestimmung der neuen Suchrich” 6 F¨ ur

Details zu dieser speziellen beschr¨ ankten Menge zul¨ assiger Schrittweiten sei auf die konkrete Beschreibung in der Arbeit von Curtis und Nocedal [20, Kap. 4] verwiesen.

Das Innere-Punkte-Verfahren nach Mehrotra/Gondzio

47

tung f¨ ur den n¨ achsten Iterationspunkt. Dieser Korrekturterm verbessert die lineare Approximation des zentralen Pfades durch Informationen h¨ oherer Ordnung. Der f¨ ur die Dualit¨ atsl¨ ucke im aﬃn-skalierten Schritt durch die aﬀ Linearisierung u ¨ ber das Newton-Verfahren entstehende Fehler Δλaﬀ i Δsi wird bei der Bestimmung des Korrektor-Schritts in jeder Komponente der Komplementarit¨ atsbedingungen ber¨ ucksichtigt. Wegen der G¨ ultigkeit der aﬀ Komplementarit¨ atsbedingungen si Δλaﬀ = −λi si innerhalb des i + λi Δsi Newton-KKT-Systems (2.17) zur Bestimmung des Schrittes erhalten wir f¨ ur die i-te Komponente zur Berechnung der Dualit¨ atsl¨ ucke aﬀ (λi + Δλaﬀ i )(si + Δsi ) aﬀ aﬀ aﬀ aﬀ aﬀ = λi si + λi Δsaﬀ i + si Δλi +Δλi Δsi = Δλi Δsi , −λi si

urde. falls ein Schritt mit αaﬀ = 1 in aﬃn-skalierter Richtung genommen w¨ Da f¨ ur einen reinen Newton-Schritt in jeder Komponente der Komplemenaﬀ tarit¨ atsbedingungen schließlich λaﬀ = 0 verlangt wird, kann der Term i si aﬀ aﬀ Δλi Δsi als der Fehler innerhalb der i-ten Komponente f¨ ur die Dualit¨atsl¨ ucke des linearisierten Newton-Modells interpretiert werden. Als Folge dessen berechnet man im Rahmen des Korrektor-Schrittes nach dem Vorschlag von Mehrotra unter Ber¨ ucksichtigung der Korrekturterme aﬀ Δλaﬀ Δs innerhalb der Komplementarit¨ atsbedingungen eine modiﬁzierte i i Suchrichtung (Δxmeh , Δλmeh , Δsmeh )T als L¨ osung des Gleichungssystems ⎞ ⎛ meh ⎞ ⎛ ⎛ ⎞ Δx Q −C T 0 −rQ ⎝C ⎠ , (2.19) −rd 0 −I ⎠ ⎝Δλmeh ⎠ = ⎝ aﬀ aﬀ meh 0 S Λ Δs −ΛSe + σμe − ΔΛ ΔS agen wobei ΔΛaﬀ und ΔS aﬀ jeweils die Diagonalmatrizen mit den Eintr¨ aﬀ Δλaﬀ ur i = 1, . . . , m darstellen. i bzw. Δsi f¨ Mit Hilfe einer Liniensuche bestimmen wir wiederum f¨ ur die in (2.19) ermittelte Richtung eine geeignete Schrittl¨ ange αmax ∈ ]0, 1], so dass αmax := max{α ∈ ]0, 1] | (λ, s)T + α(Δλmeh , Δsmeh )T > 0} und w¨ ahlen f¨ ur die abschließende Bestimmung der neuen Iterierten schließlich α ∈ ]0, αmax ] entsprechend der Schrittweiten-Heuristik nach Mehrotra [85, siehe Kap. 6]. Der neue Iterationspunkt (xmeh , λmeh , smeh)T ergibt sich

48

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

mit Hilfe der Schrittl¨ ange α dann wie gewohnt u ¨ ber (xmeh , λmeh , smeh )T = (x, λ, s)T + α(Δxmeh , Δλmeh , Δsmeh )T .

(2.20)

¨ Uber die Werte der aktuellen Dual- und Schlupfvariablen λmeh bzw. smeh wird abschließend das Dualit¨ atsmaß μmeh entsprechend der Gleichung (2.15) f¨ ur den neuen Punkt bestimmt. Eine weiterf¨ uhrende Beschreibung zum Verfahren von Mehrotra f¨ ur lineare Optimierungsprobleme und insbesondere der Zusammenhang zu Verfahren h¨ oherer Ordnung gibt Wright [122], auf den an dieser Stelle zur Vertiefung verwiesen wird.

2.4.2 Heuristik zur Richtungskorrektur nach Gondzio Mit einer Heuristik zur Korrektur der Suchrichtung erweitert Gondzio in [52] die primal-dualen Pr¨ adiktor-Korrektor-Verfahren. Innerhalb des Verfahrens steht dabei die Verbessung der Zentralit¨ at eines u ¨ ber einen NewtonSchritt bestimmten Iterationspunktes im Vordergrund. Motiviert wird das Ziel der Verbesserung der zentralen Lage der Iterationspunkte dadurch, dass ausgehend von zentrierten Punkte lange Newton-Schritte m¨ oglich sind. Unter Ber¨ ucksichtigung der primalen und der dualen Zul¨ assigkeit wird durch die L¨ osung mit dem Newton-Verfahren ein Schritt erzeugt, f¨ ur den die Wahl der Dual- und der Schlupfvariablen u ¨ber die Linearisierung letztlich den Wert der entstehenden Komplementarit¨ atsprodukte (λi +Δλi )(si + Δsi ) bestimmt. Entsprechend der Gleichung (2.7c ) wird verlangt, dass die Komplementarit¨ atsprodukte jeweils identisch den Wert τ annehmen, was auf Grund der Linearisierung der Komplementarit¨ atsbedingung durch das System (2.11) u ¨ber si Δλi + λi Δsi = −λi si + τ nicht garantiert werden kann. Starke Abweichungen zwischen den einzelnen Komplementarit¨ atsprodukten sind hier von Nachteil, da die L¨ ange des resultierenden Newton-Schritts in Richtung (Δx, Δλ, Δs)T im Wesentlichen von den kleinsten Produkten λi si bestimmt wird [6]. Zur Erinnerung sei gesagt, dass τ f¨ ur die InnerePunkte-Verfahren u atsl¨ ucke ja gerade als das gewichtete Mit¨ ber die Dualit¨ tel der Komplementarit¨ atsprodukte gew¨ ahlt wird. F¨ ur ein Verfahren w¨ are es in diesem Sinn von Vorteil, wenn die paarweise Abweichung der einzelnen Produkte λi si relativ gering ist, wovon im Allgemeinen nicht ausgegangen werden kann. Nach Ansicht Gondzios ist der aus dem Newton-Schritt so-

Das Innere-Punkte-Verfahren nach Mehrotra/Gondzio

49

mit resultierende Punkt damit a much too optimistic (hence unreachable) ” target“ [52, siehe Abschnitt 3.2]. In der Arbeit [66] wird der Quotient des kleinsten und des gr¨ oßten Komplementarit¨ atspaares genutzt, um ein Maß f¨ ur die N¨ ahe eines Punktes zum zentralen Pfad zu erhalten. Genau dieses Vorgehen ist die Motivierung f¨ ur Gondzios Verfahren der sog. mehrfachen Zentralit¨ atskorrekturen (engl. multiple centrality corrections). Die innerhalb der primal-dualen Pr¨ adiktor-Korrektor-Verfahren zu bestimmenden Newton-Schritte zielen in Abh¨ angigkeit von der aktuellen St¨ orung der Komplementarit¨ atsprodukte mit dem Parameter τ genau auf einen Punkt (xτ , λτ , sτ )T auf dem zentralen Pfad. Dieser angestrebte Referenzpunkt7 wird daher wesentlich u ¨ ber einen speziellen Punkt v = τ e ∈ m bestimmt. In dem Ansatz von Gondzio wird der Referenzpunkt auf dem zentralen Pfad nun nicht u ¨ ber den Punkt v = τ e bestimmt, wie das bei den primal-dualen Verfahren zur L¨ osung des KKT-Systems eingef¨ uhrt wurde. Stattdessen wird ein Ersatzpunkt v¯ = (ΛSe) ∈ m festgelegt, der jeweils mit den wirklichen Werten der Komplementarit¨ atsprodukte λi si in der iten Komponente besetzt ist. Um einen Referenzpunkt auf dem zentralen Pfad zu erhalten, wird der Punkt v¯ nun in den speziellen Hyperw¨ urfel H = [βmin τ, βmax τ ]m projiziert. Durch βmin τ und βmax τ wird hierbei ein Toleranzintervall f¨ ur die Komplementarit¨ atsprodukte festgelegt. Mit der Projektion PH : m → H wird der Punkt v¯ in den Punkt

Ê

Ê

Ê

vt := PH (¯ v) ∈ u uhrt, f¨ ur den alle Ausreißer ¨ berf¨ geschnitten werden, d. h. ⎧ ⎪ ⎨βmin τ, vt i = v¯i , ⎪ ⎩ βmax τ,

Êm

der Komplementarit¨ atsprodukte in v¯ abfalls v¯i ≤ βmin τ falls v¯i ∈ ]βmin τ, βmax τ [ falls v¯i ≥ βmax τ.

Der Begriﬀ Ausreißer“ bezeichnet in diesem Zusammenhang also diejeni” gen Komplementarit¨ atsprodukte λi si , die außerhalb des Intervalls [ βmin τ, βmax τ ] liegen und die mit Hilfe von PH f¨ ur die Bestimmung von vt auf den Rand des Intervalls projiziert werden. 7 Vergleiche

dazu auch die Einf¨ uhrung des Begriﬀs Referenzpunkt auf Seite 38.

50

Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung

Durch L¨ osen des erweitertes KKT-Systems unter Ber¨ ucksichtigung der gerade beschriebenen Besonderheiten in den Komplementarit¨ atsbedingunosung gen bestimmt man letztlich eine Korrektur (Δxg , Δλg , Δsg )T als L¨ des linearen Gleichungssystems ⎞ ⎛ g⎞ ⎛ ⎛ ⎞ Δx Q −C T 0 0 ⎝C 0 −I ⎠ ⎝Δλg ⎠ = ⎝ 0 ⎠ . (2.21) vt − v¯ 0 S Λ Δsg F¨ ur die rechte Seite der linearisierten Komplementarit¨ atsbedingungen wurde entsprechend dem Vorschlag von Gondzio die Modiﬁkation u ¨ ber die Projektion PH vorgenommen. Statt τ e nehmen die Komplementarit¨ atsprodukte demnach nun den Wert v¯ − vt an, d. h. v¯ − PH (¯ v ). F¨ ur die L¨ osung des Systems (2.21) werden damit ausschließlich Komplementarit¨ atsprodukte ber¨ ucksichtigt, die deutlich vom Mittelwert τ abweichen, also Komplementarit¨ atsprodukte, die nicht innerhalb des Intervalls ]βmin τ, βmax τ [ liegen. Alle anderen Eintr¨ age der rechten Seite verschwinden. Die so vorgeschlagene Modiﬁkation mittels der Projektion kann nicht verhindern, dass auch weiterhin große Diﬀerenzen zwischen den Eintr¨ agen der rechten Seite durch Ausreißer in den Komplementarit¨ atsprodukten vorkommen k¨ onnen und das System damit schlecht skaliert ist. Daher wird vereinbart, dass alle Eintr¨ age der rechten Seite, f¨ ur die vt − v¯ < −βmax τ gilt, durch den Wert −βmax τ beschr¨ ankt werden. Die L¨ osung (Δxg , Δλg , Δsg )T des Gleichungssystems (2.21) wird nun als Korrektur auf die urspr¨ ungliche Richtung des zuvor bestimmten Pr¨ adiktorKorrektor-Schrittes addiert. Wir kombinieren auf diese Weise die Richtung (Δxg , Δλg , Δsg )T und die Suchrichtung (Δxmeh , Δλmeh , Δsmeh )T , die sich auf Grund des Vorschlags von Mehrotra als L¨ osung gem¨ aß des Gleichungssystems (2.19) ergab. Als endg¨ ultige Suchrichtung erhalten wir damit (Δxmg , Δλmg , Δsmg )T = (Δxmeh , Δλmeh , Δsmeh )T + (Δxg , Δλg , Δsg )T . (2.22) Wiederum wird eine geeignete primal-duale Schrittweite α bestimmt und der neue Iterationspunkt (xmeh , λmeh , smeh)T analog zu Gleichung (2.20) ermittelt, wobei nun f¨ ur die Suchrichtung des Schrittes der kombinierte Vektor (Δxmg , Δλmg , Δsmg )T gem¨ aß Gleichung (2.22) herangezogen wird. Um die Suchrichtung hinsichtlich einer guten Zentrierung des zu bestimmenden Iterationspunktes weiter zu verbessern, kann die Berechnung

Das Innere-Punkte-Verfahren nach Mehrotra/Gondzio

51

¨ der Richtung (Δxg , Δλg , Δsg )T im Ubrigen mehrfach wiederholt werden. F¨ ur einen Lauﬁndex k = 1, 2, . . . sei daher (Δxg , Δλg , Δsg )T(k) die aktuell u osung des Systems (2.21) berechnete k-te Korrektur und damit ¨ ber die L¨ (Δxmg , Δλmg , Δsmg )T(k) die kombinierte Richtung gem¨ aß Gleichung (2.22). F¨ ur den sich damit analog zu Gleichung (2.20) mit der kombinierten Suchrichtung ergebenden Iterationspunkt (xmeh , λmeh , smeh )T(k) = (x, λ, s)T + αk (Δxmg , Δλmg , Δsmg )T(k) kann auf diese Weise wiederum nach Festlegung von v¯ und vt eine neue Korrekturrichtung (Δxg , Δλg , Δsg )T(k+1) bestimmt werden. Auf diese Weise erhalten wir den endg¨ ultigen Iterationspunkt (xmeh , λmeh , smeh )T nach einer endlichen Anzahl von Korrekturen u ¨ ber (xmeh , λmeh , smeh)T = (x, λ, s)T + α(Δxmeh , Δλmeh , Δsmeh )T + (Δxg , Δλg , Δsg )T(k) . k

Gondzio zeigte in einer Vielzahl von Testbeispielen, dass die Verwendung der Richtungskorrekturen einen positiven Einﬂuss auf die Anzahl der Iterationen des Verfahrens aus¨ ubt. Wiederholte Korrekturen k¨ onnen dann herangezogen werden, wenn das Verh¨ altnis der Kosten f¨ ur die Faktorisierung der Matrix des KKT-Systems zu den Kosten f¨ ur die Bestimmung der anschließenden L¨ osung des Systems groß ist. Ein Maß f¨ ur die Kosten der Faktorisierung und der L¨ osung des KKT-Systems wurde in [54] ¨ eingef¨ uhrt. Uber eine einfache Heuristik kann damit entschieden werden, wieviele Korrekturen schließlich innerhalb einer jeden (¨ außeren) Iteration erlaubt werden k¨ onnen und damit hinsichtlich der Gesamtlaufzeit des Verfahrens unsch¨ adlich sind.

¨ 3 Uber die Identiﬁkation nicht-aktiver Restriktionen Restringierte Optimierungsprobleme bestehen in der Regel aus einer Vielzahl von Nebenbedingungen, die wesentlich sind f¨ ur die Beschreibung des zul¨ assigen Bereiches, d. h. f¨ ur die Beschreibung der Menge S ⊂ n aller zul¨ assigen L¨ osungen. Nach der Bestimmung des Optimums x∗ ∈ S f¨ ur das Problem wird sehr oft deutlich, dass eine große Zahl der urspr¨ unglichen Nebenbedingungen f¨ ur das Auﬃnden der optimalen L¨ osung gar nicht relevant und in diesem Sinne u berﬂ¨ u ssig sind. Dieses Kapitel besch¨ aftigt sich ¨ mit solchen u berﬂ¨ u ssigen Nebenbedingungen. ¨

Ê

¨ Wir beginnen zun¨ achst mit einem groben historischen Uberblick zur Redundanzerkennung, der die Entwicklung bis hin zu aktuellen Forschungsergebnissen in diesem Gebiet schildert. Ausgehend von linearen Ungleichungssystemen liegt dann der Schwerpunkt der Betrachtung auf den Innere-Punkte-Verfahren und der allgemein nicht-linearen Optimierung. Detailliert stellen wir im Anschluss daran spezielle Kriterien zur Erkennung u ussiger Restriktionen f¨ ur die konvex-quadratische Optimierung vor. ¨ berﬂ¨ Grundlegend werden zwei Arten von u ussigen Nebenbedingungen ¨ berﬂ¨ unterschieden: die sog. redundanten Nebenbedingungen, die die Menge der zul¨ assigen L¨ osungen nicht beeinﬂussen und die sog. nicht-bindenden Nebenbedingungen, die – obwohl sie f¨ ur die Beschreibung des zul¨ assigen Bereiches wesentlich sind – f¨ ur die Bestimmung des Optimums keinerlei Bedeutung haben. Die Abbildung 3.1 illustriert die beiden verschiedenen Typen u ¨ berﬂ¨ ussiger Nebenbedingungen. Dennoch sind u ussige Nebenbedingungen auch in modernen L¨ o¨ berﬂ¨ sungsverfahren ein fester Bestandteil des Ausgangsproblems und werden innerhalb der Verfahren be- und verarbeitet“, allein weil a priori nicht ” bekannt ist, dass sie u ussig sind. Nebenbedingungen k¨ onnen in die¨berﬂ¨ sem Sinne nicht wahllos eliminiert werden, da die Menge der zul¨ assigen L¨osungen und damit die Menge der optimalen L¨ osungen auf diese Weise unzul¨ assig ver¨ andert werden k¨ onnte.

¨ Uber die Identiﬁkation nicht-aktiver Restriktionen

54

S

S x*

x*

Abbildung 3.1: Redundante (links) und nicht-bindende Nebenbedingungen (rechts) als verschiedene Arten u ussiger Nebenbedin¨berﬂ¨ gungen

¨ 3.1 Historischer Uberblick zur Redundanzerkennung Redundanzkriterien wurden schon fr¨ uh haupts¨achlich im Zusammenhang mit linearen Ungleichungssystemen bzw. f¨ ur die Beschreibung des zul¨assigen Bereiches in der linearen Optimierung angegeben. Schon Dantzig [21] erw¨ ahnte, dass Bedingungen im Optimum nicht-bindend sind und vorhergesagt werden k¨onnten. Die ersten theoretischen Ergebnisse entwickelte Boot [14] in den sechziger Jahren, indem er durch die Annahme, dass eine Nebenbedingung verletzt sei, das gegebene System von linearen Ungleichungen in ein anderes System linearer Ungleichungen transformiert und zeigt, dass der entstehende zul¨assige Bereich nicht-leer ist. Die als verletzt angegenommene Nebenbedingung gilt dann als redundant. Indem auf diese Weise mit jeder Restriktion des Ausgangsproblems verfahren wird, k¨onnen so alle redundanten Nebenbedingungen f¨ ur das System entfernt werden. Das Verfahren verlangt allerdings in jedem Schritt das Auﬃnden eines zul¨assigen Punktes f¨ ur das transformierte Problem und ist damit f¨ ur die praktische Anwendung unbrauchbar. Llewellyn [77] stellt zwei Kriterien f¨ ur redundante Restriktionen auf. Die gleichen Regeln wurden 1974 von Zeleny [130] wiederenteckt. Thompson, Tonge und Zionts [112] unterscheiden im Rahmen von linearen Optimierungsproblemen erstmals Kriterien f¨ ur redundante Restriktionen, die im Vorfeld eines L¨osungsverfahrens auf das Ausgangsproblem angewendet werden und Kriterien, die w¨ahrend der L¨osung mit Hilfe eines L¨osungsverfahrens nicht-bindende Nebenbedingungen identiﬁzieren. In diesem Zusammenhang wurden dort erstmals Deﬁnitionen f¨ ur u ussige Nebenbedin¨ berﬂ¨

¨ Historischer Uberblick zur Redundanzerkennung

55

gungen linearer Optimierungsprobleme angegeben, einerseits f¨ ur redundante Nebenbedingungen und andererseits f¨ ur nicht-bindende Nebenbedingungen, die wir analog auf die hier zu behandelnden quadratischen Optimierungsprobleme (QP) u ¨bertragen. Deﬁnition 3.1 Die i-te Nebenbedingung cTi x ≥ di ist redundant dann und nur dann, wenn die durch {x | Cx ≥ d} beschriebene konvexe Menge identisch ist mit der durch die verbleibenden Nebenbedingungen deﬁnierten Menge {x | CJ x ≥ dJ }, wobei f¨ ur die Indexmenge J := {1, . . . , m} \ {i} gilt. Alle nicht-redundanten Nebenbedingungen nennt man notwendige oder wesentliche Nebenbedingungen. W¨ahrend entsprechend dieser Deﬁnition f¨ ur redundante Nebenbedingungen lediglich Informationen des zul¨ assigen Bereiches und keinerlei Informationen der Zielfunktion ben¨ otigt werden, setzt die folgende Deﬁnition nicht-bindender Restriktionen die Kenntnis des Optimums voraus. Deﬁnition 3.2 Eine Nebenbedingung, die in dem Optimalpunkt x∗ von (QP) mit Gleichheit erf¨ ullt ist, nennt man aktiv oder bindend. Alle anderen Nebenbedingungen nennt man nicht-bindende bzw. nicht-aktive Nebenbedingungen. Bemerkung 3.3: F¨ ur eine nicht-bindende Nebenbedingung cTi x ≥ di gilt mit der Deﬁntion 3.2 in einer optimalen L¨ osung x∗ daher immer die strikte T ∗ Ungleichung, d. h. ci x > di . Bemerkung 3.4: Eine nach Deﬁnition 3.1 f¨ ur die Beschreibung des zul¨assigen Bereiches redundante Nebenbedingung bzw. eine nach Deﬁnition 3.2 nicht-bindende Nebenbedingung hat keinen Einﬂuss auf die Menge der optimalen L¨ osungen und ist in diesem Sinne f¨ ur lineare und quadratische ¨ Optimierungsprobleme u ussig. Uberﬂ¨ ussige Nebenbedingungen k¨ onn¨ berﬂ¨ ten damit a priori aus dem Ausgangsproblem entfernt werden, ohne die Menge der optimalen L¨ osungen zu ¨ andern. Eckhardt [32] entwickelte Kriterien, die Verallgemeinerungen der Kriterien von Thompson et al. sind. Er sagt weiter, dass systematisch alle redundanten Nebenbedingungen eines linearen Optimierungproblems gefunden werden, indem alle Extremalpunkte des zul¨assigen Bereiches abgesucht werden. Er zeigte damit, dass die Identiﬁzierung einer redundanten Ungleichung ¨ aquivalent ist zu der L¨ osung eines linearen Optimierungsproblems. Gal [42] f¨ uhrte die Ideen von Thompson et al. fort, indem er im Gegensatz

56

¨ Uber die Identiﬁkation nicht-aktiver Restriktionen

zu Eckhardt ein Verfahren entwickelte, das systematisch alle redundanten Nebenbedingungen aufsp¨ urt, ohne dabei jedoch s¨ amtliche Extremalpunkte des zul¨ assigen Bereiches zu durchlaufen. F¨ ur ganzzahlige lineare Probleme konnten von Rubin [99] die Ergebnisse von Thompson et al. weiterentwickelt werden. Seit Ende der siebziger Jahre war es haupts¨ achlich Telgen [106, 107], der sich mit Redundanzen innerhalb von linearen Ungleichungssystemen besch¨ aftigte. In [109] zeigte er durch die Angabe von zwei Gegenbeispielen, dass die von Llewellyn entwickelten beiden Kriterien nicht allgemein gelten ¨ und verallgemeinerte die Ergebnisse. Eine Ubersicht u ¨ ber die bis dahin gewonnenen Ergebnisse zur Redundanzerkennung f¨ ur die lineare Optimierung und die Motivierung f¨ ur die Wichtigkeit der Erkennung zumindest der notwendigen Nebenbedingungen ist in Karwan, Lotﬁ, Telgen und Zionts [72] und in Caron, Greenberg und Holder [18] zu ﬁnden. Auch im Zusammenhang mit der Entwicklung der Innere-Punkte-Methoden ﬁnden u ussige Nebenbedingungen Erw¨ ahnung. Jeder Punkt ¨ berﬂ¨ des zentralen Pfades als ein sog. analytisches Zentrum wird dabei ganz entscheidend von der Repr¨ asentation des Polytops beeinﬂusst, d. h. im Besonderen von den Nebenbedingungen. Sonnevend bemerkt hierzu in [102], dass das analytische Zentrum nicht nur wesentlich von der Form des zul¨ assigen Bereiches abh¨ angt, sondern vielmehr auch von den ‘Datenelementen’, die nichts zur Gestalt des zul¨ assigen Bereiches beitragen und meint hiermit insbesondere die redundanten Nebenbedingungen. Er schreibt dazu w¨ ortlich: This is the price we have to pay for the smooth dependence on the ” data“. In diesem Zusammenhang wird nun deutlich, dass das Mitf¨ uhren der u berﬂ¨ u ssigen Nebenbedingungen in den L¨ o sungsverfahren ein Problem dar¨ stellt. F¨ ur die Bestimmung einer L¨ osung werden so irrelevante Daten verarbeitet, die daher einen wesentlichen Einﬂuss auf den L¨ osungsprozess und somit auf die Qualit¨ at eines L¨ osungsverfahrens haben. Von vielen Autoren wird dieses Problem erkannt, tiefe wissenschaftliche Erkenntnisse hierzu fehlen allerdings. Es sollte in diesem Sinne ebenfalls Ziel der Optimierungsverfahren sein, f¨ ur die Bestimmung der L¨ osung zumindest eine minimale Repr¨asentation des zul¨ assigen Bereiches zu ﬁnden, wie sie Telgen in [110] vorschl¨ agt und in Obuchowska und Caron [93] und Greenberg [60] zu ﬁnden ist. In Boneh, Caron, Lemire, McDonald, Telgen und Vorst [12] wird dann als dessen Erweiterung von der sog. prime representation gesprochen. Damit ist die redundanzfreie Darstellung des Polyeders der Nebenbedingungen gemeint.

¨ Historischer Uberblick zur Redundanzerkennung

57

Telgen erweitert zudem in [108] die Deﬁnitionen f¨ ur redundante Nebenbedingungen um die starke und schwache Redundanz und f¨ uhrt in [111] den Begriﬀ der impliziten (Gleichheits-) Nebenbedingungen ein. Damit sind Ungleichungsnebenbedingungen gemeint, die durch Gleichheitsbedingungen ersetzt werden k¨ onnen, ohne den zul¨ assigen Bereich zu ¨ andern. F¨ ur die beiden Arten – die stark und schwach redundanten Nebenbedingungen – kann er Kriterien zur Identiﬁkation angeben und schl¨ agt so ein Verfahren zum vollst¨ andigen und systematischen Auﬃnden redundanter Nebenbedingungen vor. F¨ ur kleine Beispiele kann er zudem erste rechentechnische Ergebnisse angeben. Eine umfangreiche und weiterf¨ uhrende Klassiﬁkation von Nebenbedingungen geben Boneh, Boneh und Caron [13] an. Caron et al. [18] suchen in diesem Zusammenhang nach einer Darstellung der analytischen Zentren. Sie f¨ uhren den Begriﬀ des prime analytic center ein und ﬁnden somit erstmals eine redundanzfreie Darstellung des zentralen Pfades, den so genannten repelling path in Verbindung mit der Menge der sog. repelling inequalities. Letztere umfassen dabei alle diejenigen Nebenbedingungen, die letztlich den zul¨ assigen Bereich des zu Grunde liegenden Optimierungsproblemes formen“. Sie sind damit gem¨ aß Deﬁnition 3.1 die ” wesentlichen Nebenbedingungen. Die j¨ ungsten Entwicklungen, um in Systemen mit linearen Ungleichungsnebenbedingungen Redundanzen zu erkennen, benutzen wahrscheinlichkeitstheoretische Ans¨ atze. Erste Arbeiten dazu ﬁnden wir durch Boneh und Golan [11] und Boneh [10] mit den dort vorgestellten Methoden zu den Generatoren f¨ ur zuf¨ allige zul¨ assige Punkte (engl. random feasible point generator ). Mittlerweile existieren eine Reihe von Arbeiten zu den auf diese Weise entwickelten, so genannten Hit-and-run-Verfahren (siehe zum Beispiel [101, 129, 17, 9]). In jeder Iteration wird dabei neben einem zuf¨ alligen, zul¨ assigen Punkt ebenfalls eine zuf¨ allige Suchrichtung erzeugt. Mit einer Liniensuche bestimmt man dann ausgehend von diesem Punkt die maximal zul¨ assige Schrittl¨ ange. Fast sicher (in wahrscheinlichkeitstheoretischer Sprechweise, d. h. mit Wahrscheinlichkeit 1) ﬁnden wir auf diese Weise mit Hilfe dieser Schrittl¨ ange schließlich eine notwendige Nebenbedingung. Wir sprechen dann von einer ‘getroﬀenen’ Nebenbedingung (engl. hit ). Analog verf¨ ahrt man in negativer Suchrichtung. Das Verfahren endet in Abh¨ angigkeit eines bestimmten Abbruchkriteriums. Von allen bis dahin nicht getroﬀenen Nebenbedingungen nehmen wir dann an, sie seien f¨ ur die Formung des zul¨ assigen Bereiches redundant. In den bisher geschilderten Arbeiten ging es haupts¨ achlich darum, redundante Nebenbedingungen zu erkennen bzw. eine redundanzfreie Darstel-

58

¨ Uber die Identiﬁkation nicht-aktiver Restriktionen

lung des zul¨ assigen Bereiches zu erhalten. Das Thema abrundend ist in Greenberg [60] eine detaillierte Darstellung und Zusammenfassung zu redundanten Nebenbedingungen und der minimalen Repr¨ asentation linearer Systeme zu ﬁnden. Relevante weiterf¨ uhrende Arbeiten, die sich zus¨ atzlich mit der Identiﬁkation von im Optimum nicht-bindenden Nebenbedingungen besch¨ aftigen, gibt es bis dahin nicht. Charakteristisch f¨ ur alle Innere-Punkte-Verfahren ist die Bestimmung einer Suchrichtung als L¨ osung des Newton-KKT-Systems in jeder Iteration des Verfahrens. Dabei liegt der Hauptrechenaufwand in der Faktorisierung der Koeﬃzientenmatrix des Gleichungssystems. Hierbei ﬂießen s¨ amtliche Informationen des gegebenen Optimierungsproblems ein und damit auch die der u ussigen Nebenbedingungen. F¨ ur das durch Karmarkar vorge¨ berﬂ¨ schlagene Innere-Punkte-Verfahren entwickelte Ye [125] sein sog. Build” Down-“ oder auch Spalteneliminierungsverfahren“ f¨ ur lineare Optimie” rungsprobleme. Er z¨ ahlt damit zu den ersten, die im bis dahin entwickelten Verst¨ andnis der Innere-Punkte-Verfahren wesentlichen Einﬂuss auf die Gr¨ oße des in jeder Iteration zu l¨ osenden KKT-Systems aus¨ uben und den Berechnungsaufwand f¨ ur die Suchrichtung reduzieren k¨ onnen. In seinem Verfahren benutzt er – basierend auf den Ideen der EllipsoidMethoden – ein das Polyeder der zul¨ assigen Punkte umschreibendes Ellipsoid und identﬁziert dar¨ uber nicht-bindende Nebenbedingungen. Fr¨ uhzeitig k¨ onnen so Nicht-Basisvariablen f¨ ur die optimale L¨ osung identiﬁziert werden. In den folgenden Basiswechseln des Verfahrens brauchen die dazugeh¨ origen Spalten der Nebenbedingungsmatrix damit nicht mehr in die Basis aufgenommen zu werden bzw. k¨ onnen aus der Matrix eliminiert werden. Bisher jedoch k¨ onnen weder Ye noch andere Autoren aufbauend auf dem Build-Down-Verfahren erste praktische Ergebnisse aufzeigen. Etwa zur selben Zeit wurden auch Verfahren entwickelt, die umgekehrt vorgehen und versuchen, u ¨ ber das Generieren von Spalten und damit das zus¨atzliche Aufnehmen von Nebenbedingungen, die f¨ ur das bisherige Verfahren außer Acht gelassen wurden, den Rechenaufwand gering zu halten. Erste Arbeiten dazu im Rahmen der Innere-Punkte-Verfahren stammen von Mitchell [86] und Goﬃn und Vial [49]. Auch Ye [126] schl¨ agt ein auf der Spalten-Generierung basierendes Verfahren f¨ ur Potential-Reduktionsmethoden vor. Zumindest f¨ ur das duale, aﬃn-skalierte Innere-Punkte-Verfahren arbeiten Dantzig und Ye [22] ein ebensolches Verfahren aus, bei dem f¨ ur die Bestimmung der Suchrichtung die meistversprechenden“ dualen ” Nebenbedingungen herangezogen werden. Jede in dem aus der gewonnenen Richtung bestimmten aktuellen dualen Punkt verletzte Nebenbedin-

¨ Historischer Uberblick zur Redundanzerkennung

59

gung wird dem Problem hinzugef¨ ugt. Eine neue Suchrichtung wird dann unter Hinzunahme dieser Informationen bestimmt. Nach Ye waren es haupts¨ achlich den Hertog, Roos und Terlaky, die erkennen, dass das Auﬃnden von nicht-bindenden Nebenbedingungen deutlichen Einﬂuss auf die Geschwindigkeit und den rechentechnischen Aufwand der L¨ osungsverfahren haben. Sie merken in [27] zudem kritisch: However, ” the speed of the detection process is crucial. If the non-binding constraints are only detected during the last stage of the algorithm, the reduction in computation is negligible.“ In [26] erarbeiten sie zun¨ achst ein Spalten-Generierungsverfahren f¨ ur die Pfadverfolgung. Die Ideen der Spaltengenerierung einbeziehend schlagen sie dann in [27] f¨ ur ein logarithmisches Barriere-Verfahren bei linearen Optimierungsproblemen ein Vorgehen vor, dass es neben dem Hinzuf¨ ugen von Spalten bzw. Nebenbedingungen auch erlaubt, Nebenbedingungen zu l¨ oschen, wenn die dazugeh¨ origen Schlupfvariablen entsprechend groß“ sind. Bezeichnet q ≤ m die maximale Anzahl von Nebenbedingun” gen, die w¨ ahrend des Verfahrens in der Arbeitsmenge“ der jeweils zu be” trachtenden Nebenbedingungen enthalten sind, so k¨ onnen die Autoren eine √ Konvergenz des Verfahrens der Ordnung O( qL) an Iterationen und damit eine Verbesserung gegen¨ uber der bisherigen Innere-Punkte-Verfahren zeigen. Allerdings kann f¨ ur das Verfahren keine sichere, bessere obere Schranke f¨ ur q als m angegeben werden. Neben dem so entwickelten Build-Up and ” ¨ Down-Verfahren“ f¨ uhren sie in ihren theoretischen Uberlegungen zum Hinzuf¨ ugen, Verschieben und L¨ oschen von Nebenbedingungen sog. Abstandsmaße f¨ ur den zentralen Pfad ein, d. h. Maße f¨ ur die Entfernung“ eines ” beliebigen Punktes zum zentralen Pfad, die wir in Kapitel 4.2 vorstellen und auf unsere quadratische Problemformulierung (QP) u ¨bertragen. In j¨ ungster Zeit sind nur wenige Beitr¨ age zur Reduzierung der Nebenbedingungen in Verbindung mit Innere-Punkte-Verfahren zu ﬁnden. Tits, Absil und Woessner [113] schlagen sowohl ein primal-duales aﬃn-skaliertes Verfahren als auch ein primal-duales Pr¨ adiktor-Korrektor-Verfahren in Anlehnung an Mehrotra f¨ ur lineare Optimierungsprobleme mit n m vor. Nach einer einfachen Heuristik werden dabei die M ≥ m meist-aktiven“ ” dualen Nebenbedingungen ausgew¨ ahlt und auf Grundlage dieses sog. working set die beiden genannten Typen der Innere-Punkte-Verfahren angewendet. F¨ ur ihre Testbeispiele konnte unter Benutzung von nur 10 % der Nebenbedingungen eine Beschleunigung um den Faktor drei gezeigt werden. Winternitz, Nicholls, Tits und O’Leary [120] ﬁnden in der j¨ ungsten Arbeit zu dem Thema trotz einer v¨ ollig unterschiedlichen Herangehens-

60

¨ Uber die Identiﬁkation nicht-aktiver Restriktionen

weise analoge Resultate f¨ ur die quadratische Konvergenz ihres Pr¨ adiktorKorrektor-Algorithmus nach Mehrotra und stellen eine deutliche Reduktion der L¨ osungszeit fest. Als eine weitere Arbeit zu diesem Thema nennen wir Jibrin und Stover [69], die sich mit der Identiﬁkation aller zumindest redundanten, linearen Nebenbedingungen f¨ ur semideﬁnite Optimierungsprobleme (SDP) besch¨ aftigen. Als Spezialfall k¨ onnten ihre Ergebnisse damit auch auf quadratische Optimierungsprobleme mit linearen Nebenbedingungen bzw. auf allgemein konvexe Optimierungsprobleme angewendet werden. Eine Grundidee der Arbeiten zum Auﬃnden von redundanten und insbesondere nicht-bindenden Nebenbedingungen bei linearen Optimierungsproblemen der Form min cT x, u. d. N. x ∈ X = {x ∈

Ên | Ax = b, x ≥ 0}

mit dem zugeh¨ origen dualen Problem max bT y, u. d. N. y ∈ Y = {y ∈

Êm | A

T

y ≤ c}

stellte Ye in einer der wenigen Arbeiten zu diesem Thema vor. In [125] konstruierte er spezielle Ellipsoide f¨ ur den um eine Komponente −z ∗ − bT y erweiterten Vektor der dualen Schlupfvariablen s¯ ∈ m+1 , die die Menge der optimalen L¨ osungen y ∗ ∈ m des dualen Problems enthalten. Mit ∗ z werde dabei der optimale Zielfunktionswert bezeichnet. Die L¨ osung eines speziellen Optimierungsproblems u uft nun, ob die j-te duale Ne¨ berpr¨ benbedingung das vorgegebene Ellipsoid schneidet. Ist das nicht der Fall, dann ist der optimale Wert s∗j dieses Optimierungsproblems positiv. Mit der Komplement¨ ar-Schlupf-Bedingung x∗ T s∗ = 0 als Optimimalit¨ atsbedingung f¨ ur die lineare Optimierung folgt damit, dass x∗j = 0 gilt. F¨ ur das duale Problem ist damit die j-te Spalte der dualen Nebenbedingungsmatrix AT im Optimum eine Nicht-Basisspalte. Sie kann daher aus dem Problem entfernt werden, was ¨ aquivalent dem Entfernen der j-ten Zeile der Nebenbedingungsmatrix A des primalen Problems ist.

Ê

Ê

Zur¨ uck geht diese Idee auf die Ellipsoid-Verfahren von Khachian [73], bei denen eine Folge von speziellen Ellipsoiden konstruiert wird, die sich auf einen Optimalpunkt zusammenziehen. Ellipsoide erscheinen in diesem Zusammenhang auf Grund ihrer einfachen analytischen Darstellung vorteilhaft. Allerdings erweist sich die Konstruktion dieser Ellipsoidenfolge f¨ ur

¨ Historischer Uberblick zur Redundanzerkennung

61

lineare Optimierungsprobleme als sehr aufwendig, so dass sich die EllipsiodVerfahren in der Praxis nicht durchsetzen konnten. F¨ ur quadratische Optimierungsprobleme kann die Grundidee der Ellipsoide allerdings genauso aufgegriﬀen werden. Die quadratische Zielfunktion f (x) = 21 xT Qx + cT x l¨ asst sich unter Hinzunahme des Optimalpunktes x0 ∈ n des unrestringierten quadratischen Problems durch Umformulierung bis auf einen konstanten Term in Form eines Ellipsoids als fˆ(x) = T 1 ur verschiedene Niveaus 2 (x − x0 ) Q(x − x0 ) darstellen. So lassen sich f¨ der Zielfunktion ohne Zusatzaufwand korrespondierende Ellipsoide angeben. Insbesondere lassen sich f¨ ur jede Nebenbedingung sog. Schwellenniveaus bestimmen, d. h. Niveaus der quadratischen Zielfunktion, f¨ ur die die entsprechende Nebenbedingung die Tangentialhyperebene an das das Niveau beschreibende Ellipsoid darstellt. Diese Idee griﬀ so erstmals Recht [94] f¨ ur konvex-quadratische Optimierungsprobleme auf. Er gibt dazu Kriterien an, mit Hilfe derer f¨ ur den optimalen Punkt x∗ des quadratischen Optimierungsproblems in Abh¨ angigkeit von oberen Schranken α an den optimalen Zielfunktionswert fˆ(x∗ ) nicht-bindende Restriktionen u ¨ ber den Vergleich mit ihren jeweiligen Schwellenniveaus identiﬁziert werden k¨ onnen. Idealerweise bietet sich der Einsatz dieser Kriterien innerhalb der InnerePunkte-Verfahren an, da mit Hilfe des Zielfunktionswertes der jeweils aktuellen Iterierten xk als ein Punkt des zul¨ assigen Bereiches im Laufe eines solchen Verfahrens automatisch immer obere Schranken αk := fˆ(xk ) f¨ ur ¨ den optimalen Zielfunktionswert generiert werden. Die Ubertragung der gefundenen Kriterien auf konvex-quadratische, bin¨ are Optimierungsprobleme ﬁnden wir u berdies in Recht [96]. ¨ In [95] k¨ onnen diese Kriterien weiter verallgemeinert werden, indem weitere Ellipsoide u ¨ber spezielle sog. Watchpoints qualiﬁziert werden und diese zus¨ atzlich f¨ ur die Identiﬁkation genutzt werden k¨ onnen. Seine Kriterien werden in [97] zumindest zur reinen Identiﬁkation u ussiger Neben¨ berﬂ¨ bedingungen in ein nach Mehrotra vorgeschlagenes Pr¨ adiktor-KorrektorVerfahren f¨ ur quadratische Optimierungsprobleme eingebaut und zeigen in ersten praktischen Untersuchungen vielversprechende Ergebnisse. Das Entfernen der so erkannten nicht-aktiven Nebenbedingungen wurde dort letztlich allerdings nicht durchgef¨ uhrt. In dem folgenden Abschnitt 3.2 werden wir die theoretischen Ergebnisse nach Recht zusammenfassend wiedergeben, um darauf aufbauend ein kombiniertes Innere-Punkte-Verfahren f¨ ur die quadratische Optimierung vorzubereiten, das u ussiger Nebenbedingun¨ ber das reine Auﬃnden u ¨berﬂ¨ gen in [97] hinausgeht und solche nicht-aktiven Nebenbedingungen schließ-

Ê

¨ Uber die Identiﬁkation nicht-aktiver Restriktionen

62

lich ebenfalls eliminiert. Auf diese Weise haben wir die M¨ oglichkeit, die Gr¨ oße des f¨ ur die Suchrichtung des Verfahrens in jeder Iteration zu l¨ osenden Gleichungssystems deutlich zu reduzieren. Entsprechende praktische numerische Ergebnisse werden darauf aufbauend gezeigt.

3.2 Kriterien zur Identiﬁkation nicht-aktiver Restriktionen fu ¨ r die quadratische Optimierung F¨ ur die Darstellung der Kriterien zur Identiﬁkation nicht-aktiver Restriktionen gehen wir weiterhin von der allgemeinen Formulierung eines quadratischen Problems in der Form minn

x∈

Ê

u. d. N.

1 T 2 x Qx

+ cT x

Cx ≥ d

(QP)

mit linearen Ungleichungsnebenbedingungen aus. Die wesentliche Idee der Identiﬁkationskriterien besteht in der Auswertung von geometrischen Zusammenh¨ angen zwischen den einzelnen Nebenbedingungen des Problems und zul¨ assigen Punkten. Dazu werden jeweils elliptische Informationen“ ” benutzt und verglichen, die in diesem Fall u ¨ber die Niveaulinien der quadratischen Zielfunktion zur Verf¨ ugung stehen und die nicht wie im linearen Fall erst konstruiert werden m¨ ussen. Unter Voraussetzung der positiven Deﬁnitheit der Matrix Q l¨ asst sich die quadratische Zielfunktionsgleichung f (x) = 12 xT Qx + cT x von (QP) durch einfache Transformation als Ellipsengleichung fˆ(x) = 12 (x − x0 )T Q(x − x0 ) schreiben. Beide Gleichungen stimmen dann bis auf den konstanten Term − 21 cT x0 u ¨ berein. Dabei stellt x0 ∈ n den Mittelpunkt des Ellipsoids E = {x ∈ n | 12 (x − x0 )T Q(x − x0 ) ≤ fˆ(x)} dar, der gleichzeitig der Optimalpunkt des unrestringierten Ausgangsproblems minx∈Ên 12 xT Qx + cT x ist und im konvex-quadratischen Fall u ¨ ber x0 := −Q−1 c bestimmt werden kann.

Ê

Ê

Identiﬁkation nicht-aktiver Restriktionen

63

Zur Angabe der Kriterien ben¨ otigen wir bestimmte, das quadratische Optimierungsproblem (QP) charakterisierende Gr¨ oßen. Dazu deﬁnieren wir ri := di − cTi x0 , T

qij := ci Q

−1

cj ,

∀ i = 1, . . . , m,

(3.1)

∀ i, j = 1, . . . , m.

(3.2)

Ê

F¨ ur die mit ri bezeichneten Komponenten des Residuenvektors r ∈ m sei weiterhin eine Indexmenge J := {i | ri < 0} deﬁniert. Sie beinhaltet die Indizes derjenigen Nebenbedingungen, die bez¨ uglich des unrestringierten Optimums x0 strikt erf¨ ullt sind, d. h. f¨ ur die cTi x0 > di gilt. Mit diesen Vorbereitungen l¨ asst sich allein unter Kenntnis einer oberen Schranke α f¨ ur den optimalen Zielfunktionswert f˜(x∗ ) u ¨ ber den folgenden ur das Optimum nicht-aktive Restrikti¨aquivalenten Zusammenhang eine f¨ on charakterisieren. Recht formuliert dazu in noch allgemeinerer Form f¨ ur ˜ −x eine beliebige, strikt-konvexe Funktion f˜(x) = 12 (x − x ˜0 ) mit ˜0 )T Q(x einem zugeh¨ origen Mittelpunkt x ˜0 ∈ n und einer positiv-deﬁniten Matrix n×n ˜ Q∈ den folgenden Satz, f¨ ur den die Gr¨ oßen r˜i , q˜ij und J˜ in analoger Weise bestimmt werden:

Ê

Ê

Satz 3.5 F¨ ur ein gegebenes Optimierungsproblem der Form (QP) sind die beiden nachfolgenden Aussagen ¨aquivalent: a) Die i-te Nebenbedingung cTi x ≥ di ist im Optimum x∗ nicht-aktiv.

Ê

Ê

˜ ∈ n×n b) Es gibt einen Punkt x ˜0 ∈ n , eine positiv-deﬁnite Matrix Q und eine obere Schranke α ˜ > 0 f¨ ur den Zielfunktionswert von (QP), f¨ ur die gilt i) f˜(x∗ ) < α ˜ und ˜ q˜ii . ii) mit i ∈ J˜ gilt r˜i2 > 2α Beweis: Siehe dazu [94, S. 55].

Mit dem vorangegangenen Satz ist nun eine erste einfache Qualiﬁzierung von nicht-aktiven Restriktionen f¨ ur konvex-quadratische Optimierungsprobleme gegeben. Die Schwierigkeit besteht allein in der Festlegung der ben¨otigten Gr¨ oßen f˜(x) und x ˜0 , die sich i. Allg. nicht konstruktiv angeben lassen. F¨ ur die praktische Umsetzung der Kriterien zur Identiﬁkation nichtaktiver Restriktionen nutzen wir daher die gegebenen Gr¨ oßen des Ausgangsproblems, also die Zielfunktion fˆ(x) und das unrestringierte Optimum x0 und erhalten unmittelbar f¨ ur eine gegebene obere Schranke α an

64

¨ Uber die Identiﬁkation nicht-aktiver Restriktionen

den optimalen Zielfunktionswert fˆ(x∗ ) ein erstes Kriterium f¨ ur alle Nebenbedingungen i ∈ J. Korollar 3.6 Sei α > 0 gegeben. Dann gelten die folgenden Eigenschaften: a) Die i-te Nebenbedingung ist nicht-bindend in x∗ , falls i ∈ J und ullt ist. fˆ(x∗ ) ≤ α gelten und ri2 > 2αqii erf¨ ullt ist, dann b) Gibt es ein i ∈ J f¨ ur das die Bedingung ri2 > 2αqii erf¨ ∗ ˆ gilt entweder f (x ) > α oder der zul¨assige Bereich ist leer. Mit der Aussage des vorherigen Korollars ist das praktische Vorgehen f¨ ur die Umsetzung des ersten Kriteriums klar vorgegeben. F¨ ur jede Nebenbedingung i ∈ J wird ein Schwellenniveau βi∗ u ¨ ber −1 2 βi∗ := 21 qii ri

bestimmt. Wir vergleichen das f¨ ur die entsprechenden Nebenbedingungen so bestimmte Schwellenniveau mit einer aktuell gegebenen oberen Schranke α an den optimalen Zielfunktionswert fˆ(x∗ ) und identiﬁzieren die i-te Nebenbedingung gem¨ aß Korollar 3.6 dann als nicht-aktiv f¨ ur die optimale L¨osung x∗ , wenn gilt βi∗ > α. Wird ein (primal-duales) Innere-PunkteVerfahren zur L¨ osung des Problems verwendet, so l¨ asst sich eine obere Schranke α jeweils leicht angeben, indem wir die (primale) Zielfunktion in der primalen Komponente xk der aktuellen k-ten Iterierten auswerten und schließlich α := fˆ(xk ) setzen. Mit dem Wert βi∗ beschreibt das Kriterium nach Korollar 3.6 die kleinste Niveaumenge Nβi∗ = {x ∈ n | fˆ(x) ≤ βi∗ }, die die i-te Nebenbedingung gerade noch in einem Punkt x˘(i) ber¨ uhrt. F¨ ur jede obere Schranke α an den optimalen Zielfunktionswert fˆ(x∗ ), die α < βi∗ erf¨ ullt, ist damit die Niveaumenge Nα vollst¨ andig in Nβi∗ enthalten, d. h. Nα ⊂ Nβi∗ . Ein beliebiger Punkt x ¯ der i-ten Nebenbedingung, f¨ ur den also cTi x¯ = di gilt, ∗ ∗ x(i) ) ≤ fˆ(¯ x) nicht mehr optimale kann somit wegen fˆ(x ) ≤ α < βi = fˆ(˘ L¨osung sein. Damit kann insgesamt die i-te Nebenbedingung nicht mehr aktiv sein f¨ ur x∗ und k¨ onnte demzufolge aus dem betrachteten Problem entfernt werden. Die Abbildung 3.2 auf der n¨ achsten Seite veranschaulicht diesen Zusammenhang graphisch. Dar¨ uber hinaus gibt Recht [94] ein weiteres hinreichendes Kriterium f¨ ur nicht-aktive Nebenbedingungen an, f¨ ur das jeweils zwei Nebenbedingungen i und j betrachtet werden m¨ ussen. Dazu f¨ uhrt er die Schnittmenge Si,α der

Ê

Identiﬁkation nicht-aktiver Restriktionen

65

Abbildung 3.2: Graphische Darstellung des ersten Kriteriums zur Identiﬁkation gem¨ aß Korollar 3.6 i-ten Nebenbedingung mit der durch α eindeutig bestimmten Niveaumenge Nα als Si,α := {x ∈ n | cTi x = di } ∩ {x ∈ n | fˆ(x) ≤ α}

Ê

Ê

ein. F¨ ur jede Nebenbedingung j = i wird u ¨ ber die L¨osung eines nicht∗ linearen Minimierungsproblems ein Referenzwert τj,i (α) bestimmt und wiederum mit der aktuellen oberen Schranke α verglichen. F¨ ur die Identiﬁkation einer im Optimum nicht-aktiven Restriktion liefert daher der folgende Satz ein hinreichendes Kriterium. Satz 3.7 Sei Si,α := {x ∈ n | cTi x = di } ∩ {x ∈ n | fˆ(x) ≤ α} gege∗ ben. F¨ ur jedes i, j ∈ {1, . . . , m} sei τj,i (α) der optimale Zielfunktionswert des nicht-linearen Optimierungsproblems minx∈Si,α cTj x. Dann gelten die folgenden Eigenschaften:

Ê

Ê

∗ a) τj,i (α) l¨asst sich direkt bestimmen u ¨ber 1 −1 ∗ 2 12 ri qij + (2αqii − ri2 ) 2 (qii qjj − qij (α) = cTj x0 − qii ) . τj,i

b) Die i-te Nebenbedingung ist nicht-aktiv im Punkt x∗ genau dann, ∗ wenn τj,i (α) > dj gilt. Beweis: Siehe dazu [94, S. 56].

Die graphische Interpretation dieses Kriteriums zur Indentiﬁkation einer nicht-aktiven Nebenbedingung i mit Hilfe der j-ten Nebenbedingung veranschaulicht die Abbildung 3.3 auf der n¨ achsten Seite. Demnach ist die

66

¨ Uber die Identiﬁkation nicht-aktiver Restriktionen

i-te Nebenbedingung dann nicht-aktiv im Optimalpunkt x∗ , wenn die sich ∗ durch die Verschiebung in den u (α) bestimmten Punkt w∗ (α) er¨ ber τj,i gebende j-te Nebenbedingung oberhalb der urspr¨ unglichen j-ten Nebenbedingung liegt. F¨ ur die aktuelle Niveaumenge Nα dominieren dann alle zuk¨ unftig vielleicht relevanten Punkte der j-ten Nebenbedingung die i-te Nebenbedingung, die damit f¨ ur eine bessere obere Schranke α ¯ < α nie mehr aktiv sein kann. F¨ ur die Bestimmung des Optimalpunktes x∗ ist damit die i-te Nebenbedingung irrelevant und k¨ onnte demnach aus dem Ausgangsproblem entfernt werden.

Abbildung 3.3: Graphische Darstellung des zweiten Kriteriums zur Identiﬁkation gem¨ aß Satz 3.7 F¨ ur die praktische Umsetzung des durch Satz 3.7 angegebenen Kriteriums hilft das folgende Korollar, bei dem ¨ ahnlich dem Vorgehen f¨ ur das erste Kriterium nun f¨ ur jedes Indexpaar (i, j) von Nebenbedingungen ein Schwellenwert α∗i,j ermittelt wird, der dann jeweils mit einer aktuellen oberen Schranke α verglichen werden kann. ∗ Korollar 3.8 Es sei α∗i,j die L¨osung der Gleichung τj,i (α) = dj . Dann gelten die folgenden Aussagen:

a) α∗i,j l¨asst sich direkt bestimmen ¨ uber 2 −1 ) . α∗i,j = (2qii )−1 ri2 + (rj qii − ri qij )2 (qii qjj − qij b) Gilt fˆ(x∗ ) < α∗i,j , dann ist die i-te Nebenbedingung nicht-aktiv in x∗ .

Identiﬁkation nicht-aktiver Restriktionen

67

c) Gilt die Gleichheit fˆ(x∗ ) = α∗i,j , dann ist x∗ eindeutig bestimmt durch x∗ = w∗ (α∗i,j ). ∗ (α) = dj l¨ osbar ist, Bemerkung 3.9: Unter der Voraussetzung, dass τj,i kann man mit Hilfe von Punkt a) des vorangegangenen Korollars 3.8 leicht nachvollziehen, dass wegen der Absch¨ atzung 2 −1 α∗i,j = (2qii )−1 ri2 + (rj qii − ri qij )2 (qii qjj − qij ≥ (2qii )−1 ri2 =: βi∗ )

durch Korollar 3.8 ein schw¨ acheres Kriterium f¨ ur nicht-aktive Nebenbedingungen als u ur ein ¨ ber Korollar 3.6 gegeben ist. Zudem ist Korollar 3.8 f¨ 2 Indexpaar (i, j) nur g¨ ultig, so lange qii qjj > qij erf¨ ullt ist. Die Gleichheit 2 tritt nur in den F¨ allen auf, in denen die Nebenbedingungen qii qjj = qij i und j linear abh¨ angig sind. In diesen F¨ allen ist jeder Punkt der Menge Si,α ein optimaler Punkt des Minimierungsproblems aus Satz 3.7 und −1 ∗ ∗ der Schwellenwert τj,i (α) l¨ asst sich dann u (α) = cTj x0 − qii ri qij ¨ ber τj,i bestimmen. Mit denselben Techniken wie in Korollar 3.8 l¨ asst sich ebenfalls ein Wert ∗∗ τj,i (α) als der optimale Wert des Maximierungsproblems maxx∈Si,α cTj x bestimmen. Auf Grund der durch die Zielfunktion induzierten Symmetrie der elliptischen Niveaumengen ermittelt sich der dazugeh¨ orige Schwellenwert ∗∗ α∗∗ osung der Gleichung τj,i (α) = dj auf identische Weise zu α∗i,j . Als i,j als L¨ Aussage dieses Vorgehens erhalten wir durch das folgende Korollar, dass zumindest eine der beiden Nebenbedingungen i oder j im Optimum nicht aktiv sein kann. ∗∗ Korollar 3.10 Es sei α∗∗ osung der Gleichung τj,i (α) = dj . Dann i,j die L¨ gelten die folgenden Aussagen:

a) α∗∗ asst sich direkt bestimmen ¨ uber i,j l¨ 2 −1 2 −1 ri + (rj qii − ri qij )2 (qii qjj − qij . ) α∗∗ i,j = (2qii ) 2 dass fˆ(x∗ ) < α∗∗ b) Gilt f¨ ur qii qjj > qij i,j , dann ist entweder die i-te oder die j-te Nebenbedingung nicht-aktiv f¨ ur x∗ . 2 ∗∗ und τj,i (α) = dj , dann ist die i-te Nebenbedingung c) Gilt qii qjj = qij redundant f¨ ur die Bestimmung von x∗ . Gilt weiterhin qij < 0, dann ist die j-te Nebenbedingung aktiv in x∗ .

68

¨ Uber die Identiﬁkation nicht-aktiver Restriktionen

In Erg¨ anzung zu den durch Recht [94] eingef¨ uhrten Kriterien kann ein weiteres Kriterium angeben werden. Wenn zus¨ atzlich bekannt ist, dass der zul¨ assige Bereich nicht leer ist, also mindestens ein zul¨ assiger Punkt existiert, so kann eine weitere Bedingung f¨ ur Redundanz in dem Spezialfall angegeben werden, dass die i-te und die j-te Nebenbedingung linear abh¨ angig sind.

Ê

Korollar 3.11 Es seien S := {x ∈ n | cTi x ≥ di , i = 1, . . . , m} = ∅ 2 ∗∗ und qii qjj = qij vorausgesetzt. Es sei wiederum τj,i (α) die L¨osung des T ∗∗ Maximierungsproblems maxx∈Si,α cj x. Gilt dann τj,i (α) > dj , dann ist die i-te Nebenbedingung nicht-aktiv in x∗ . 2 ur alle k = 1, . . . , m. Wegen qii qjj = qij Beweis: O. B. d. A. sei ck = 1 f¨ T T sind ci und cj linear abh¨ angig und es gilt ci x0 = cj x0 und damit qij = qii . Wegen S = ∅ ist auch Si,α = ∅. Jeder Punkt x ¯ ∈ Si,α ist damit optimale L¨osung von maxx∈Si,α cTj x, d. h. f¨ ur alle x¯ ∈ Si,α gilt

1 −1 ∗∗ 2 12 ri qij + (2αqii − ri2 ) 2 (qii qjj − qij ¯ = τj,i (α) = cTj x0 + qii ) cTj x −1 −1 = cTj x0 + ri qii qij = cTi x0 + ri qii qii = cTi x0 + ri = di > dj .

Alle relevanten Punkte x¯ ∈ Si,α werden damit von der j-ten Nebenbedingung dominiert. Demzufolge ist die i-te Nebenbedingung redundant und k¨onnte f¨ ur die Bestimmung des Optimums x∗ aus dem Ausgangsproblem entfernt werden. F¨ ur zwei sich gegenseitig dominierende und linear-abh¨ angige Nebenbedingungen haben wir auf diese Weise ein Kriterium gefunden, durch das eine der beiden betrachteten Nebenbedingungen als nicht-aktiv identiﬁziert werden kann.

¨ 4 Uber die Elimination u ¨ berﬂu ¨ ssiger Nebenbedingungen Nachdem im letzten Kapitel die theoretischen Resultate f¨ ur die Identiﬁkation von nicht-aktiven Nebenbedingungen vorgestellt wurden, ist es Ziel dieses Kapitels, neben der Identiﬁkation die Elimination solcher Nebenbedingungen f¨ ur einen m¨ oglichen Einsatz innerhalb von Innere-Punkte-Verfahren zu untersuchen. Dazu ist es erforderlich, die Auswirkungen u ussiger ¨ berﬂ¨ Nebenbedingungen auf den zentralen Pfad und die Implikationen f¨ ur ein Innere-Punkte-Verfahren herauszuarbeiten, um daraus Vorschl¨ age f¨ ur ein modiﬁziertes Innere-Punkte-Verfahren ableiten zu k¨ onnen. ¨ Uber den Zusammenhang der sog. logarithmischen Barriere-Funktion und den Innere-Punkte-Verfahren werden zun¨ achst die wesentlichen Grundlagen f¨ ur die Konvergenz der Innere-Punkte-Verfahren erl¨ autert. F¨ ur das Verst¨ andnis der Auswirkungen von u ussigen Nebenbedingungen auf ¨berﬂ¨ den zentralen Pfad stellen wir im Anschluss daran Maße f¨ ur den Ab” stand“ von Punkten zum zentralen Pfad vor. Mit Hilfe der Abstandsmaße wird der Einﬂuss der Eliminierung von Nebenbedingungen auf den zentralen Pfad deutlich. Die theoretischen Ergebnisse dieser Vorarbeit f¨ uhren anschließend auf unseren Vorschlag f¨ ur ein algorithmisches Vorgehen zur Einbindung der Erkennung nicht-aktiver Restriktionen in ein primal-duales Innere-Punkte-Verfahren. Damit erarbeiten wir in diesem Kapitel in einem breiteren Kontext die notwendige theoretische Basis f¨ ur das im anschließenden Kapitel zu implementierende modiﬁzierte Innere-Punkte-Verfahren. Eine weitere Betrachtungsweise motiviert zum Abschluss des Kapitels ein alternatives Vorgehen f¨ ur m¨ oglicherweise zuk¨ unftige Forschung.

4.1 Logarithmische Barriere-Funktion und Pfadverfolgungsverfahren In Abschnitt 2.3.1 f¨ uhrten wir f¨ ur die verwendete quadratische Problemformulierung (QP) mit Hilfe der Dualit¨ atstheorie das dazugeh¨ orige duale Problem (QD) ein. Daraufhin konnten die KKT-Bedingungen als das System der notwendigen und hinreichenden Optimalit¨ atsbedingungen (2.7a)

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

70

bis (2.7d) mit Qx − C T λ + c = 0 Cx − s − d = 0 λi si = 0, i = 1, . . . , m λ, s ≥ 0 angegeben werden, das als zentrales Merkmal der Innere-Punkte-Verfahren in den Komplementarit¨ atsbedingungen durch einen Parameter1 μ > 0 gest¨ ort wird und so das System Qx − C T λ + c = 0

(4.1a)

Cx − s − d = 0 Sλ = μe

(4.1b) (4.1c)

λ, s > 0

(4.1d)

ergibt. Durch die St¨ orung mit μ wird die Suche nach einem KKT-Punkt auf den positiven Orthanten des (λ, s)-Raumes einschr¨ ankt. Die eindeutige L¨osung (x(μ), s(μ), λ(μ)) des Systems (2.8) bzw. (4.1) f¨ ur einen gegebenen Parameter μ stellt dann einen KKT-Punkt f¨ ur das gest¨ orte KKT-System dar. Der Leser beachte an dieser Stelle, dass λi si = μ f¨ ur alle i = 1, . . . , m und die Schreibweisen Sλ = Λs = SΛe = ΛSe = μe jeweils v¨ ollig analoge Darstellungen der gest¨ orten Komplementarit¨ atsbedingungen (4.1c) sind und im Weiteren ohne zus¨ atzliche Bemerkungen auch ¨ aquivalent verwendet werden. F¨ ur das primale Problem (QP) betrachten wir die folgende logarithmische Barriere-Funktion φB (x, μ) = 21 xT Qx + cT x − μ

m

ln(cTi x − di ),

(4.2)

i=1

wobei μ ≥ 0 hierbei der sog. Barriere-Parameter ist und mit ci die i-te Zeile der Nebenbedingungsmatrix C bezeichnet wird. F¨ ur den Gradienten 1 W¨ ahrend

im System (2.8) auf Seite 33 als St¨ orungsparameter τ verwendet wurde, verwenden wir hier stattdessen μ, um den Zusammenhang zwischen den Optimalit¨ atsbedingungen und der gleich einzuf¨ uhrenden logarithmischen Barriere-Funktion zu verdeutlichen.

Logarithmische Barriere-Funktion und Pfadverfolgungsverfahren

der Barriere-Funktion (4.2) in der primalen Variable x ∈ ∇x φB (x, μ) = Qx + c − C T y,

71

Ên erhalten wir (4.3)

mit einem Vektor y = (y1 , . . . , ym )T , wobei f¨ ur yi und durch Substitution mit Hilfe der Schlupfvariablen si f¨ ur die i-te Nebenbedingung gilt, dass yi :=

μ μ = cTi x − di si

(4.4)

bzw. in der Darstellung allein u ¨ber die primalen Variablen und die primalen Schlupfvariablen als ∇x φB (x, μ) = Qx + c − μC T S −1 e mit S = diag (s1 , . . . , sm ) als Diagonalmatrix mit den Schlupfvariablen s1 , . . . , sm als Eintr¨ age der Diagonale. Die Hessematrix ∇2x φB (x, μ) der Barriere-Funktion ergibt sich demzufolge als ∇2x φB (x, μ) = Q + μC T S −2 C. Damit ist ∇2 φB oﬀensichtlich positiv-semideﬁnit und auf dem relativen Inneren2 F 0 des zul¨assigen Bereiches auf Grund der Positivit¨ at der Schlupfvariablen si positiv-deﬁnit. Demzufolge ist φB strikt-konvex u ¨ ber dem relativen Inneren des zul¨ assigen Bereiches. F¨ ur alle Punkte auf dem Rand des zul¨ assigen Bereiches nimmt φB unendliche Werte an. Daraus folgt, dass die Barriere-Funktion φB f¨ ur einen Punkt x(μ) ∈ F 0 aus dem relativen Inneren ihr eindeutiges Minimum annimmt. Bemerkung 4.1: Durch Substitution von λ := y im Gradienten und der Hesse-Matrix der Barriere-Funktion (4.2) l¨ asst sich auf anschauliche Weise der ¨ aquivalente und f¨ ur den Nachweis der Konvergenz der Innere-PunkteVerfahren wichtige Zusammenhang zwischen der Formulierung mit Hilfe der Barriere-Funktion und allgemein den Pfadverfolgungsverfahren darμ stellen. Wir erhalten aus Gleichung (4.4) mit yi := cT x−d = sμi durch i i Umstellen f¨ ur jedes i = 1, . . . , m die grundlegende Bedingung μ = (cTi x − di ) · λi = λi · si 2 Vergleiche

dazu Seite 33.

72

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

und damit die f¨ ur die Charakterisierung der Innere-Punkte-Verfahren entscheidende gest¨ orte Komplementarit¨ atsbedingung (4.1c) mit λi · si = μ des KKT-Systems. Als direkte Folgerung ergibt sich somit durch Angabe der notwendigen und hinreichenden Bedingungen f¨ ur das Auﬃnden eines Minimalpunktes von φB das System der gest¨ orten KKT-Bedingungen (2.8), wie wir sie in Kapitel 2.3.1 allgemein f¨ ur (QP) schon eingef¨ uhrt hatten. Wegen der notwendigen Bedingung ∇φB (x, μ) = 0 f¨ ur die Existenz eines Extremums muss also Qx + c − μC T S −1 e = Qx + c − C T λ = 0

(4.5)

gelten, wobei hier f¨ ur λ der Zusammenhang λ = μS −1 e,

(4.6)

genutzt wird und damit schließlich Sλ = μe gilt. Mit der Deﬁnition 0 ≤ s := Cx − d f¨ ur die nicht-negativen Schlupfvariablen folgt daraus gleichwohl die ¨ Nicht-Negativit¨ at der Dualvariablen λ und damit insgesamt die Aquivalenz zu den gest¨ orten KKT-Bedingungen nach (2.8), wie wir sie im Abschnitt 2.3.1 eingef¨ uhrt hatten. ¨ Dieser Zusammenhang verdeutlicht somit auf direkte Weise die Aquivalenz der Bestimmung einer L¨ osung mittels der Barriere-Funktion einerseits und der Pfadverfolgungsverfahren (z. B. den Pr¨ adiktor-KorrektorVerfahren) andererseits. Der wesentliche Unterschied zwischen den beiden Verfahrenstypen liegt in der Festlegung der Dualvariablen λ. F¨ ur das Verfahren u ber die logarithmische Barriere-Funktion bestimmt man λ nur in¨ direkt u ber die Beziehung (4.6) in Abh¨ a ngigkeit des Barriere-Parameters ¨ μ und dem primalen Punkt x(μ). Dahingegen wird bei den primal-dualen Innere-Punkte-Verfahren die duale Variable λ nicht als abh¨ angige Gr¨ oße sondern als Variable behandelt, deren Wert schließlich durch den aktuellen Schritt als L¨ osung des Newton-KKT-Systems (2.11) erst noch bestimmt wird. ¨ Die beschriebene Aquivalenz beider Verfahrenstypen erm¨ oglicht es uns, charakteristische Eigenschaften (zum Beispiel Aussagen zur Konvergenz) der Innere-Punkte-Verfahren analog mit Hilfe der logarithmischen BarriereFunktion zu untersuchen. Die bis hier im Zusammenhang mit den InnerePunkte-Verfahren eingef¨ uhrten Begriﬄichkeiten k¨ onnen daher analog f¨ ur die logarithmische Barriere-Funktion u ¨ bertragen werden. Es wird aus die-

Logarithmische Barriere-Funktion und Pfadverfolgungsverfahren

73

sem Grund mit (x(μ), s(μ), λ(μ)) die L¨ osung des Systems der gest¨ orten KKT-Bedingungen (4.1a) bis (4.1d) zum St¨ orungsparameter μ beschrieben. Der primale L¨ osungspunkt x(μ) wird im Kontext der logarithmischen Barriere-Funktion als analytisches Zentrum oder μ-Zentrum f¨ ur einen gegebenen Barriere-Parameter μ bezeichnet. Er ergibt sich damit durch den ¨aquivalenten Zusammenhang u ¨ber die Barriere-Funktion ebenfalls als x(μ) = arg min φB (x, μ) = arg min 12 xT Qx + cT x − μ x∈

Ê

n

x∈

Ê

n

m

ln(cTi x − di ).

i=1

Der (primale) zentrale Pfad wird damit deﬁniert als die Menge {x(μ) | μ > 0} der analytischen Zentren als L¨ osungen der Minimierungsprobleme minx φB (x, μ) an Abh¨ angigkeit von μ > 0. F¨ ur einen gegebenen Barriere-Parameter μ und das dazugeh¨ orige analytische Zentrum x(μ) gilt f¨ ur die Dualit¨ atsl¨ ucke u ¨ ber die Diﬀererenz der Zielfunktionswerte des primalen und des dualen Ausgangsproblems (QP) bzw. (QD) auf Grund der Komplementarit¨ at mit λi si = μ f¨ ur alle i = 1, . . . , m gem¨ aß (4.6), dass 1 T 2 x(μ) Qx(μ)

+ cT x(μ) −

1

Qx(μ) + cT x(μ) − λ(μ)T (Cx(μ) − d) m λi (μ)si (μ) = mμ. (4.7) = λ(μ)T s(μ) = T

2 x(μ)

i=1

Damit wird insbesondere im Zusammenhang mit den durch die Minimierung der logarithmischen Barriere-Funktion gefundenen μ-Zentren klar, dass die Dualit¨ atsl¨ ucke verschwindet, wenn μ schließlich gegen Null konvergiert. Die Punkte x(μ) bzw. (x(μ), λ(μ)) konvergieren somit gegen die optimalen L¨ osungen des primalen bzw. dualen Problems. Als Folgerung erh¨ alt man, dass der zentrale Pfad f¨ ur μ 0 gegen die optimale L¨ osung des Ausgangsproblems konvergiert. Weiterhin wird hier der Zusammenhang zwischen der Dualit¨ atsl¨ ucke und dem Barriere-Parameter μ deutlich, was an dieser Stelle die spezielle Wahl von μ aus Gleichung (2.15) in Abschnitt 2.3.3 rechtfertigt. Mit Hilfe der Gleichung m (4.7) erkennen wir wieder, dass sich der Barriere-Parameter μ u ¨ ber i=1 λi si /m als die gewichtete Dualit¨atsl¨ ucke interpretieren l¨ asst und damit so gesehen als der Durchschnitt der einzelnen Komplementarit¨ atsprodukte λi si . Wir bezeichnen mit fp (x(μ)) = 21 x(μ)T Qx(μ) + cT x(μ) den Wert der Zielfunktion von (QP) in Abh¨ angigkeit des analytischen Zentrums x(μ) f¨ ur

74

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

den Barriere-Parameter μ. Analog bezeichnen wir mit fd (x(μ), λ(μ)) den Wert der Zielfunktion des dualen Problems (QD). F¨ ur die lineare Optimierung ist hinl¨ anglich bekannt, dass die primale lineare Zielfunktion cT x(μ) f¨ ur ein fallendes μ ebenfalls monoton fallend ist. Ebenso weiß man, dass die entsprechende duale Zielfunktion in Abh¨ angigkeit von μ monoton steigend ist f¨ ur ein fallendes μ. F¨ ur Details sei in diesem Zusammenhang f¨ ur die lineare Optimierung auf die Arbeiten von Fiacco und McCormick [39] bzw. Megiddo [84] verwiesen. Analoge Aussagen speziell f¨ ur die konvex-quadratische Programmierung gab es parallel zun¨ achst nicht. Erst mit dem Nachweis f¨ ur glatte, allgemeine konvexe Optimierungsprobleme durch den Hertog, Roos und Terlaky [25] konnten diese Aussagen f¨ ur die primale und duale Zielfunktion in Abh¨ angigkeit von dem Barriere-Parameter μ somit indirekt auch f¨ ur die konvex-quadratischen Optimierungsprobleme gezeigt werden. F¨ ur die quadratische Optimierung folgte der direkte Nachweis erst sp¨ ater durch Anstreicher, den Hertog, Roos und Terlaky [5]. F¨ ur die in dieser Arbeit gegebene Formulierung des konvex-quadratischen Optimierungsproblems (QP) zusammen mit der logarithmischen Barriere-Funktion (4.2) und der dualen Formulierung (QD) m¨ ochten wir den Beweis an dieser Stelle der Vollst¨ andigkeit halber direkt f¨ uhren, da wir ihn in dieser Form in der Literatur nicht vorgefunden haben. Satz 4.2 F¨ ur μ ≥ 0 bezeichne fp (x(μ)) = 21 x(μ)T Qx(μ)+cT x(μ) den Wert der Zielfunktion f¨ ur das primale, konvex-quadratische Optimierungsproblem (QP) ausgewertet im analytischen Zentrum x(μ). Analog dazu bezeichne fd (x(μ), λ(μ)) = − 21 x(μ)T Qx(μ) + dT λ(μ) den Wert der Zielfunktion des dualen Optimierungsproblems (QD). Weiterhin sei mit (μk )k≥0 f¨ u r μk ≥ 0 eine monoton fallende reelle Folge gegeben. Dann gelten die folgenden beiden Aussagen: a) Die Werte der primalen Zielfunktion fp (x(μk )) sind monoton fallend. b) Die Werte der dualen Zielfunktion fd (x(μk ), λ(μk )) sind monoton steigend. Beweis: F¨ ur den ersten Teil der Behauptung ist eine Aussage gesucht u ¨ ber die Ableitung der primalen Zielfunktion fp (x(·)) nach μ. Unter Anwendung der Produktregel f¨ ur die Ableitung der einzelnen Komponenten xi (μ) nach

Logarithmische Barriere-Funktion und Pfadverfolgungsverfahren

75

μ suchen wir daher ∂ 1 ∂fp (x(μ)) x(μ)T Qx(μ) + cT x(μ) = 2 ∂μ ∂μ n n ∂ T 1 = qi · xi (μ)xl (μ) + c x(μ) ∂μ 2 i=1 l=1

=

n n

qi · xi (μ)xl (μ) + cT x (μ) = x Qx(μ) + cT x , T

(4.8)

i=1 l=1

wobei (. . .) jeweils die Ableitung nach μ und der Vektor qi die i-te Spalte der Matrix Q bezeichnen soll. Es sei (x(μ), λ(μ)) eine L¨ osung der KKTBedingungen (4.1a) bis (4.1d) Abh¨ angigkeit von μ. F¨ ur die Bedingung der dualen Zul¨ assigkeit (4.1a) und die Komplementarit¨ atsbedingung (4.1c) Qx(μ) + c − C T λ(μ) = 0 λj (μ)sj (μ) = μ,

∀ j = 1, . . . , m

dargestellt in Abh¨ angigkeit von μ erhalten wir als Ableitung nach μ mit cj als Vektor der j-ten Zeile der Matrix C n

qi xi (μ) −

i=1

m

cj λj (μ) = 0

(4.9)

j=1

λj (μ) cTj x(μ) − d + λj (μ)cTj x (μ) = 1,

∀ j = 1, . . . , m.

(4.10)

Die Jacobimatrix als Ableitung des Systems der Gleichungen in (4.9) und (4.10) nach x (μ) und λ (μ) ist regul¨ ar f¨ ur μ > 0 und es existieren damit nach dem Satz u ¨ber implizite Funktionen Vektoren x und λ . Die Gleichungen (4.9) und (4.10) lassen sich damit als n i=1

xi qi −

m

λj cj = 0

(4.11)

j=1

λj cTj x(μ) − d + λj (μ)cTj x = 1,

∀ j = 1, . . . , m

(4.12)

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

76

schreiben. Durch Substitution von cTj x(μ) − d = sj (μ) und durch Multiplikation von (4.12) mit λj (μ) erhalten wir den Zusammenhang λj sj (μ)λj (μ) + λ2j (μ)cTj x = λj (μ),

∀ j = 1, . . . , m,

der schließlich durch die Komplementarit¨ atsbeziehung sj (μ)λj (μ) = μ und durch Multiplikation mit cj dann μλj cj + λ2j (μ)cj cTj x = λj (μ)cj ,

∀ j = 1, . . . , m

und durch Summation u ¨ ber j = 1, . . . , m schließlich μ

m

λj cj +

j=1

m

λ2j (μ)cj cTj x =

j=1

m

λj (μ)cj

j=1

ergibt. Durch Ausnutzen der Gleichung (4.9) f¨ ur den ersten Term erhalten wir die Gleichung μ

n

xi qi +

i=1

m

λ2j (μ)cj cTj x =

j=1

m

λj (μ)cj ,

j=1

die durch Multiplikation mit x jeweils von links die abschließende Gleichung T

μx

T

n i=1

xi qi + x

T

m

λ2j (μ)cj cTj x = x

j=1

T

m

λj (μ)cj

(4.13)

j=1

ergibt. Durch Umformen in Matrix-Vektor-Schreibweise erhalten wir aus (4.13) dann die Gleichung ⎛ ⎞ m T T T μx Qx + x ⎝ λ2j (μ)cj cTj ⎠ x = x (C T λ(μ)) , j=1

aquivalent zu die wegen λj (μ) = μsj (μ)−1 und durch Einsetzen von (4.1a) ¨ ⎛ ⎞ m T c c j T T j ⎠ x = x T (Qx(μ) + c) μ2 μx Qx + x ⎝ 2 s (μ) j j=1

Logarithmische Barriere-Funktion und Pfadverfolgungsverfahren

77

ist, was wiederum durch ¨ aquivalente Umformung schließlich T T T μx Qx + μx μC T S −2 C x = x Qx(μ) + cT x T T ⇐⇒ μx Q + μC T S −2 C x = x Qx(μ) + cT x ergibt. Auf der linken Seite der letzten Gleichung ﬁnden wir die HesseMatrix H wieder, w¨ ahrend auf der rechten Seite die Ableitung der primalen Zielfunktion nach μ steht. Insgesamt ergibt sich auf Grund der positiven Deﬁnitheit der Hesse-Matrix H abschließend ∂fp (x(μ)) T T T = x Qx(μ) + cT x = μx Q + μC T S −2 C x = μx Hx ≥ 0, ∂μ (4.14) womit die Monotonie f¨ ur die primale Zielfunktion f¨ ur fallendes μ ≥ 0 gezeigt ist.

F¨ ur den zweiten Teil der Behauptung wird eine Aussage u ¨ ber die Ableitung der dualen Zielfunktion fd (x(·), λ(·)) nach μ gesucht, d. h. ∂ ∂ 1 x(μ)T Qx(μ) + cT x(μ) − λ(μ)T (Cx(μ) − d) . fd (x(μ), λ(μ)) = ∂μ ∂μ 2 Mit der Darstellung der Ableitung der primalen Zielfunktion nach μ in (4.8), der Herleitung der Komplementarit¨ atsl¨ ucke in (4.7) und der Gleichheitsbeziehung in (4.14) erhalten wir f¨ ur die Ableitung der dualen Zielfunktion nach μ ∂ ∂ 1 fd (x(μ), λ(μ)) = x(μ)T Qx(μ) + cT x(μ) − mμ 2 ∂μ ∂μ T = x (μ) Qx(μ) + cT x (μ) − m T

= μx Hx − m T

2 T

(4.15) (4.16)

−2

= μx Qx + μ x C S Cx − m n m cj cTj T T xi qi + μ2 x x −m = μx s2j i=1 j=1 T

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

78

= μx = μx

T

n

T

i=1 n

xi qi + x

T

m

λ2j cj cTj x − m

j=1

xi qi +

i=1

m

λ2j (cTj x )2 − m.

(4.17)

j=1

Durch Quadrierung und Summierung u ¨ ber j = 1, . . . , m erhalten wir aus Gleichung (4.10) dann m

λj s2j + 2

j=1

m

λ2j (cTj x )2 + 2

j=1

m

λj sj λj cTj x = m

j=1

und damit die Beziehung m

λ2j (cTj x )2 − m = −

j=1

m

λj s2j − 2 2

j=1

m

λj sj λj cTj x .

(4.18)

j=1

Durch Einsetzen von (4.18) in Gleichung (4.17) erhalten wir mit (4.1c) und (4.9) und der positiven Deﬁnitheit der Matrix Q f¨ ur die Ableitung der dualen Zielfunktion nach μ schließlich μx

T

n i=1

xi qi +

m

λ2j (cTj x )2 − m

j=1

= μx = μx = μx = μx

T

n

xi qi −

m

i=1

j=1

n T

m

T

i=1 n

xi qi − xi qi −

j=1 m

λj s2j − 2 2

m

λj sj λj cTj x

j=1

(λj sj )2 − 2μ

m

λj cTj x

j=1

(λj sj )2 − 2μx

T

m

i=1

j=1

j=1

n T

m

n T

i=1

xi qi −

j=1

(λj sj )2 − 2μx

i=1

λj cj xi qi

Logarithmische Barriere-Funktion und Pfadverfolgungsverfahren

= −μx

T

n

xi qi −

i=1

= −μx Qx − T

m

79

(λj sj )2

j=1 m

(λj sj )2 ≤ 0,

j=1 ∂ fd (x(μ), λ(μ)) ≤ 0 und womit der zweite Teil der Behauptung, dass ∂μ damit die Monotonie f¨ ur die duale Zielfunktion in Abh¨ angigkeit von μ ≥ 0 gezeigt ist.

Das Resultat des letzten Satzes ist in diesem Zusammenhang deshalb be¨ sonders wichtig, weil u der Barriere-Funktion und der ¨ber die Aquivalenz Pfadverfolgungsverfahren mit der Konvergenz der Barriere-Funktion f¨ ur μ → 0 gegen die optimale L¨ osung gleichzeitig der Nachweis f¨ ur die Konvergenz der Innere-Punkte-Verfahren einhergeht. Die u ¨ ber den BarriereAnsatz gezeigte Monotonie der primalen und der dualen Zielfunktion ist insbesondere Grundlage f¨ ur die zentralen Begriﬀe der schwachen und der starken Dualit¨at . Aus dem Beweis des letzten Satzes erhalten wir zudem indirekt eine interessante Folgerung f¨ ur die Dualit¨ atsl¨ ucke des Problems, die wir als Resultat sp¨ ater f¨ ur das zu implementierende Verfahren noch einmal aufgreifen werden. Es gilt der folgende Zusammenhang. Korollar 4.3 Es seien 0 ≤ μ ¯ < μ gegeben. Dann gilt f¨ ur die Zielfunktion fp (x(·)) des primalen Problems (QP) bzgl. μ die folgende Beziehung 0 ≤ fp (x(μ)) − fp (x(¯ μ)) ≤ m(μ − μ ¯).

(4.19)

Beweis: Mit Gleichung (4.14) und (4.15) aus dem Beweis von Satz 4.2 folgt ∂ f¨ ur beliebiges μ ˜ ≥ 0 schließlich die Beziehung 0 ≤ ∂μ fp (x(˜ μ)) ≤ m. Auf Grund der Monotonie der Zielfunktion fp (x(·)) bzgl. μ gilt mit Hilfe des Mittelwertsatzes f¨ ur μ ¯<μ ˜ < μ f¨ ur den Diﬀerenzenquotienten schließlich 0≤

fp (x(μ)) − fp (x(¯ μ)) ∂ μ)) ≤ m. = fp (x(˜ μ−μ ¯ ∂μ

Durch Multiplikation auf beiden Seiten mit μ − μ ¯ erh¨ alt man abschließend die Behauptung. F¨ ur primal und dual bzgl. μ zentrierte Punkte x(μ) bzw. (x(μ), λ(μ)) l¨ asst sich die Dualit¨ atsl¨ ucke u ¨ ber die Gleichung (4.7) als mμ bestimmen. In die-

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

80

sem Zusammenhang erhalten wir als Resultat von Korollar 4.3 und Glei¨ chung (4.19), dass sich die Dualit¨ atsl¨ ucke f¨ ur den Ubergang des BarriereParameters von μ auf μ ¯ mit μ ¯ < μ ebenfalls verringert und damit insgesamt gilt, dass m¯ μ ≤ mμ. Diese Aussage motiviert damit das Vorgehen der Innere-Punkte-Methoden – und dort speziell im Rahmen der ¨ außeren Iterationen3 –, den Barriere-Parameter f¨ ur eine Reduktion der Dualit¨ atsl¨ ucke sukzessive zu verringern, um auf diese Weise gegen die optimale L¨ osung des Ausgangsproblems zu konvergieren. Bemerkung 4.4: Die Eigenschaft der Monotonie in Satz 4.2 f¨ ur die primale und die duale Zielfunktion der Optimierungsprobleme (QP) bzw. (QD) wurde bewusst auf einen fallenden Barriere-Parameter μ bezogen. Die analoge Aussage, die primale Zielfunktion fp (x(μ)) sei monoton in μ steigend bzw. die duale Zielfunktion fd (x(μ), λ(μ)) sei monoton fallend, verdeutlicht in dieser Weise nicht anschaulich das typische Voranschreiten der Iterierten hin zum Optimum f¨ ur die Pfadverfolgungsverfahren, bei denen ausgehend von einem geeignet groß gew¨ ahlten Startwert μ0 > 0 die nachfolgenden μk sukzessive verkleinert werden.

4.2 Abstandsmaße zum zentralen Pfad Das Ziel der Erweiterung der Innere-Punkte-Verfahren um die Techniken zur Identiﬁkation und Elimination von u ussigen Nebenbedingungen ¨berﬂ¨ verlangt ein grundlegendes Verst¨ andnis des zentralen Pfades im Zusammenhang mit den Nebenbedingungen des Ausgangsproblems, insbesondere dann, wenn diese sukzessive entfernt werden. Als wesentliche Merkmale gelten dabei neben der Bestimmung der Richtung zum Auﬃnden von Punkten des zentralen Pfades bzgl. des Barriere-Parameters μ unter anderem der Abstand“ eines beliebigen Punktes zum zentralen Pfad. Aus ” diesem Grund f¨ uhren wir in diesem Unterkapitel Abstandsmaße“ f¨ ur den ” zentralen Pfad ein. Dabei werden die theoretischen Zusammenh¨ ange zwischen ebendiesen Abstandsmaßen und der Suchrichtung zur Bestimmung von Punkten des zentralen Pfades innerhalb der Pfadverfolgungsverfahren mit Hilfe der ¨ aquivalenten Darstellung u ¨ber die logarithmische BarriereFunktion deutlich. Dies f¨ uhrt uns sp¨ ater auf das Vorgehen zur Modiﬁkation der Richtungsbestimmung innerhalb eines Pr¨ adiktor-Korrektor-Verfahrens als unser Vorschlag f¨ ur ein modiﬁziertes Innere-Punkte-Verfahren f¨ ur die 3 Vergleiche

dazu die Ausf¨ uhrungen zu den inneren und ¨ außeren Iterationen bei InnerePunkte-Verfahren auf Seite 38.

Abstandsmaße zum zentralen Pfad

81

quadratische Optimierung mit der M¨ oglichkeit der Identiﬁkation und Eliminaton von nicht-aktiven Restriktionen. F¨ ur das um eine u ussige Ne¨berﬂ¨ benbedingung reduzierte Optimierungsproblem leiten wir zudem eine obere Schranke f¨ ur die Ver¨ anderung des Abstandes eines Punktes zum entstehenden neuen zentralen Pfad her. 4.2.1 Abstandsmaße f¨ ur die quadratische Optimierung F¨ ur die weitere Betrachtung und die Beobachtung der Auswirkung bei der Elimination von nicht-aktiven Restriktionen f¨ uhren wir ein Maß f¨ ur die N¨ahe eines Punktes zum zentralen Pfad ein, sozusagen ein Zentralit¨atsmaß . F¨ ur die lineare Optimierung schlugen Roos und Vial [98] ein solches Maß vor, das wir f¨ ur die quadratische Optimierung analog u onnen. ¨bertragen k¨ Es sei dazu ein Punkt x ∈ n gegeben. Dann wird f¨ ur diesen Punkt mit Hilfe von

Ê

δ(x, μ) := min { Sλ − μe | Qx − C T λ + c = 0} λ

= min { Λ(Cx + d) − μe | Qx − C T λ + c = 0}

(4.20)

λ

f¨ ur einen aktuell gegebenen Parameter μ ein Maß f¨ ur den Abstand“ des ak” tuellen Punktes x zum zentralen Pfad gegeben, d. h. ein Abstandsmaß f¨ ur x in einer bestimmten Metrik und dem dazugeh¨ origen analytischen Zentrum x(μ) als Punkt auf dem zentralen Pfad. Zur Veranschaulichung l¨ asst sich δ(x, μ) unter Voraussetzung der Zul¨ assigkeit des zentrierten Punktes x(μ) als ein Maß f¨ ur die Abweichung der Optimalit¨ atsbedingungen im aktuellen Punkt x interpretieren bzw. genauer gesagt, als ein Maß f¨ ur die Verletzung der Komplementarit¨ atsbedingungen. Das Minimierungsproblem (4.20) besitzt eine eindeutige L¨ osung4 , die mit λ(x, μ) bezeichnet werden soll. Durch Einsetzen von λ(x, μ) l¨ asst sich (4.20) dann als δ(x, μ) = Λ(x, μ)(Cx + d) − μe

(4.21)

schreiben, wobei hier Λ(x, μ) = diag (λ1 (x, μ), . . . , λm (x, μ)) die Diagonalmatrix mit der L¨ osung des Minimierungsproblems (4.20) als den Eintr¨ agen der Diagonale darstellt. 4 Die

ausf¨ uhrliche Herleitung des Ausdrucks zur direkten Berechnung des Abstandsbzw. Zentralit¨ atsmaßes f¨ uhren wir im Anhang A.3 auf Seite 198 durch.

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

82

Bemerkung 4.5: Beﬁndet sich der aktuelle Punkt x = x(μ) auf dem zentralen Pfad, mit den dazugeh¨ origen Schlupfvariablen s(μ), so folgt f¨ ur das Abstandsmaß direkt, dass ⎛ ⎞ μ ⎜ .. ⎟

Λ(x, μ)(Cx(μ) + d) − μe = Λ(x, μ)s(μ) − μe = ⎝ . ⎠ − μe = 0, μ also δ(x, μ) = 0. Derart zentrierte Punkte x = x(μ) haben den Vorteil, dass ausgehend davon ein langer Newton-Schritt bestimmt werden kann. F¨ ur Pr¨ adiktor-Korrektor-Verfahren, die dem zentralen Pfad hin zum Optimum folgen, l¨ asst sich so eine gr¨ oßtm¨ ogliche Reduktion der Dualit¨ atsl¨ ucke durch den Pr¨ adiktor-Schritt erreichen. Durch anschließendes Zentrieren im Korrektor-Schritt erreichen wir dann wieder einen Punkt auf dem zentralen Pfad.5 Mit Hilfe der in Kapitel 2.3 vorbereiteten Zusammenh¨ ange in Verbindung mit dem erweiterten KKT-System bzw. der Normalengleichung sind wir in der Lage eine Suchrichtung p(x, μ) f¨ ur die Minimierung der BarriereFunktion φB (x, μ) zu bestimmen. Wegen der Normalengleichung (2.14) gilt f¨ ur die Suchrichtung p(x, μ), dass (Q + C T S −1 ΛC)p(x, μ) = −rQ + C T S −1 Λ(−rd − s + μΛ−1 e). Durch Substitution von Λ = μS −1 und durch Einsetzen der restlichen Gr¨ oßen erh¨ alt man (Q + μC T S −1 S −1 C)p(x, μ) = − (Qx − C T λ + c) + μC T S −1 S −1 (−(Cx − s − d) − s + μμ−1 Se), das sich nach Zusammenfassen der Terme zu (Q + μC T S −2 C)p(x, μ) = − (Qx − C T λ + c) − μC T S −2 (Cx − s − d) 5 In

(4.22)

der Praxis wird ein wirklich zentrierter Punkt nicht direkt berechnet. Man begn¨ ugt sich hier mit einem gut zentrierten Punkt, d. h. mit einem Punkt in geeigneter N¨ ahe zum zentralen Pfad, der die gew¨ unschten Konvergenzvoraussetzungen f¨ ur das Newton-Verfahren erf¨ ullt.

Abstandsmaße zum zentralen Pfad

83

verk¨ urzt. Wir erkennen in der letzten Gleichung (4.22) die schon bekannte erste und zweite Ableitung der Barriere-Funktion wieder und schreiben mit g := g(x, μ) = ∇φB (x, μ) und H := H(x, μ) = ∇2 φB (x, μ) f¨ ur die Bestimmung der Suchrichtung p(x, μ) des Minimierungsproblems f¨ ur φB kurz Hp(x, μ) = −g − μC T S −2 (Cx − s − d).

(4.23)

Mit G¨ ultigkeit der Bedingung f¨ ur die primale Zul¨ assigkeit Cx − s − d = 0, folgt insgesamt f¨ ur die Suchrichtung p := p(x, μ) als L¨ osung der Normalengleichung (2.14) zur Minimierung der Barriere-Funktion, dass p = −H −1 g.

(4.24)

In [47] ﬁnden wir f¨ ur die Suchrichtung p eine weitere Darstellung u ¨ ber den ˆ der Nebenbedingungsmatrix Cˆ ∈ t×n der t aktiven NebenKern ker(C) bedingungen, die sog. null space form der Bestimmung der Suchrichtung p. Dazu sei Z ∈ n×(n−t) eine Matrix mit n − t unabh¨ angigen Spalten, so ˆ = 0 gilt. Die Spalten von Z bilden also eine Basis f¨ ˆ Da dass CZ ur ker(C). f¨ ur das Aufsuchen einer zul¨ assigen Suchrichtung f¨ ur alle aktiven Nebenbeˆ = 0 gelten muss, l¨ dingungen Cp asst sich jeder Suchrichtungsvektor p als Linearkombination der Spalten von Z schreiben und es gilt daher p = Zpz f¨ ur einen geeigneten Vektor pz ∈ n−t . Die Bestimmung einer Suchrichtung p gem¨ aß der Gleichung (4.24) l¨ asst sich daher mit Hilfe der Matrix Z und einem passenden Vektor pz ∈ n−t u osung von ¨ ber die L¨

Ê

Ê

Ê Ê

p = Zpz ,

g + HZpz = 0

realisieren. Indem Z T von links an die zweite Gleichung multipliziert wird, erhalten wir durch Umformen nach pz und Einsetzen in p = Zpz f¨ ur p die Darstellung p = −Z(Z T HZ)−1 Z T g.

(4.25)

Verschiedene Vorgehensweisen erlauben die Angabe der Matrix Z f¨ ur den Kern der Gleichheitsnebenbedingungen. F¨ ur eine Vertiefung verweisen wir an dieser Stelle auf Gill et al. [47, Kap. 5.1.3]. Bemerkung 4.6: In [23] ﬁnden wir f¨ ur dasselbe Problem zum Auﬃnden einer Suchrichtung p zur Minimierung der logarithmischen Barriere-

84

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

Funktion die Darstellung ¯ g + Hp = Cˆ T λ, wenn anstatt der Ungleichungsnebenbedingungen ausschließlich ein Gleiˆ = d vorliegt. Indem wir die Gleichung chungsnebenbedingungssystem Cx (4.23) zur Bestimmung einer Suchrichtung p(x, μ) in eine Darstellung ohne die Angabe der Schlupfvariablen s u uhren, erhalten wir schließlich ¨ berf¨ ˆ − d) = −g − μCˆ T S −2 s = −g − μCˆ T S −1 e Hp(x, μ) = −g − μCˆ T S −2 (Cx ¯ ¯ = −g + Cˆ T λ, = −g − Cˆ T Λe f¨ ur einen im Fall der Gleichungsnebenbedingungen nunmehr unbeschr¨ ank¯ ∈ m. ten Vektor von Dualvariablen λ

Ê

Neben der u uhrten Formulie¨ ber das Minimierungsproblem (4.20) eingef¨ rung des Abstandsmaßes eines Punktes zum zentralen Pfad lassen sich in Anlehnung an die Ausf¨ uhrungen von den Hertog et al. [27] zur linearen Optimierung auch f¨ ur die quadratische Optimierung weitere Abstandsmaße“ ” angeben. Dabei wird die enge Verbindung zwischen dem Abstandsmaß und der Suchrichtung der logarithmischen Barriere-Funktion deutlich. Mit Hilfe der Hessematrix H(x, μ) wird ein zus¨ atzliches Maß f¨ ur den Abstand zweier Punkte hinsichtlich der H-Norm eingef¨ uhrt, dass sich als ein Abstandsmaß eines Punktes zum zentralen Pfad verwenden l¨ asst. Wegen der positiven Deﬁnitheit der Hessematrix H(x, μ) ist mit · H(x,μ) eine Matrixnorm de¨ ﬁniert. Uber die H-Norm des Suchrichtungsvektors p(x, μ) erhalten wir daher mit

p(x, μ) H(x,μ) := p(x, μ)T H(x, μ)p(x, μ) ein weiteres Maß f¨ ur den Abstand“ des Punktes x zum zentralen Pfad ” bzw. genauer gesagt zum bzgl. μ festgelegten zentrierten Punkt x(μ) des ¨ zentralen Pfades. Uber die euklidische Norm ﬁnden wir außerdem mit √ −1 μS Cp(x, μ) ein drittes Maß f¨ ur den Abstand“ zum zentralen Pfad, wenn die Diagonal” matrix S hier die f¨ ur einen zul¨ assigen Punkt x korrespondierenden Eintr¨ age der Schlupfvariablen s auf der Diagonale enth¨ alt. Bemerkung 4.7: Wir betrachten f¨ ur das u uhrte ¨ ber die H-Norm eingef¨ Abstandsmaß einen bereits bzgl. μ zentrierten Punkt x = x(μ) des zen-

Abstandsmaße zum zentralen Pfad

85

¨ tralen Pfades. Zur Ubersichtlichkeit schreiben wir f¨ ur den Gradienten bzw. die Hessematrix hier kurz g := g(x(μ), μ) bzw. H := H(x(μ), μ). Mit der notwendigen Optimalit¨ atsbedingung ∇φB (x, μ) = 0 muss f¨ ur einen zentrierten Punkt x(μ) als Minimum der logarithmischen Barriere-Funktion bzgl. μ nach (4.5) schließlich Qx(μ) + c − C T λ = 0 mit λ = μS −1 e f¨ ur passende Dual- und Schlupfvariablen λ bzw. s gelten. Wir erhalten daher f¨ ur die H-Norm bzgl. der Suchrichtung p(x(μ), μ) schließlich 2

p(x(μ), μ) H = p(x(μ), μ)T Hp(x(μ), μ) = (−H −1 g)T H(−H −1 g) = g T H −1 HH −1 g = g T H −1 g = (Qx(μ) − C T λ + c)T H −1 (Qx(μ) − C T λ + c) und damit auf Grund der notwendigen Optimalit¨ atsbedingung zur Minimierung der Barriere-Funktion mit Qx(μ) − C T λ + c = 0 insgesamt, dass

p(x(μ), μ) H = 0 gilt. Im Sinne eines Abstandsmaßes liegt ein zentrierter Punkt x(μ) damit gemessen in der H-Norm ebenfalls auf dem zentralen Pfad. Im Gegensatz zur linearen Optimierung ergibt sich allein auf Grund der zus¨ atzlichen Kr¨ ummungsinformationen durch die Matrix Q der Zielfunkti¨ on leider keine Aquivalenz im Sinne der Gleichheit der drei angegebenen Maße f¨ ur den Abstand eines Punktes zum zentralen Pfad.6 Allerdings gelten die folgenden Zusammenh¨ ange, die wir ausgehend von den Hertog [23] auf die hier verwendete Notation u ¨bertragen. Lemma 4.8 F¨ ur einen gegebenen Punkt x ∈ μ > 0 gilt f¨ ur δ(x, μ) der Zusammenhang

Ên

und festen Parameter

2 δ(x, μ)2 ≥ p(x, μ) 2H(x,μ) ≥ μ S −1 Cp . Beweis: Der Beweis entstammt wesentlich den Hertog [23]. Mit Hilfe der Deﬁnition des Maßes · H und durch Einsetzen der Hessematrix wegen der 6 Vergleiche

dazu die Ausf¨ uhrungen der Bemerkung A.3 im mathematischen Anhang auf Seite 199.

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

86

positiven Deﬁnitheit der Matrix Q gilt

p 2H = pT Hp = pT (Q + μC T S −2 C)p = pT Qp + μpT C T S −2 Cp ≥ μpT C T S −2 Cp 2 = μ S −1 Cp , womit die rechte Ungleichung innerhalb der Behauptung gezeigt ist. F¨ ur die erste Ungleichung der Behauptung benutzen wir die Darstellung der Newton-Richtung p u ¨ber den Kern ker(C) der Nebenbedingungsmatrix in (4.25). Wir setzen zudem ohne Beschr¨ ankung der Allgemeinheit durch die √ spezielle Wahl von Z voraus, dass die Matrix μS −1 CZ orthonormal ist, d. h. es gilt √ √ ( μS −1 CZ)T ( μS −1 CZ) = μZ T C T S −2 CZ = I. Damit folgt nun 2

p H = pT Hp = pT (−g) = −g T (−Z(Z T HZ)−1 Z T g) = g T Z(Z T HZ)−1 Z T g = g T Z(Z T (Q + μC T S −2 C)Z)−1 Z T g = g T Z(Z T QZ + μZ T C T S −2 CZ)−1 Z T g = g T Z(Z T QZ + I)−1 Z T g 2 ≤ Z T g (Z T QZ + I)−1 2

≤ Z T g , wobei die letzte Absch¨ atzung auf Grund der Tatsache erfolgt, dass die Eigenwerte der Matrix (Z T QZ + I)−1 alle kleiner oder gleich Eins sind. Schließlich l¨ asst sich Z T g durch Einsetzen des Gradienten und unter For-

Abstandsmaße zum zentralen Pfad

87

derung der dualen Zul¨ assigkeit Qx + c − C T λ = 0 darstellen als Z T g = Z T (Qx + c − μC T S −1 e) = Z T (Qx + c) − Z T (C T λ) + Z T (C T λ) − μZ T C T S −1 e = Z T (Qx + c − C T λ) + Z T C T λ − μZ T C T S −1 e = Z T C T λ − μZ T C T S −1 e = (S −1 CZ)T (Sλ − μe). T Weiterhin ist (S −1 CZ)(S −1 CZ) auf den Kern ker(S) der −1eine Projektion Matrix S und es gilt daher (S CZ)T v ≤ v , womit schließlich folgt, dass

Z T g = (S −1 CZ)T (Sλ − μe)

≤ Sλ − μe , wodurch mit der Deﬁnition des Abstandsmaßes δ(x, μ) der zweite Teil der Behauptung bewiesen ist.

F¨ ur ein lineares Optimierungsproblem, ergibt sich statt der Ungleichheitsbeziehungen in Lemma 4.8 die Gleichheit und damit eine ¨ aquivalente Darstellung der drei verschiedenen Maße. Damit stehen f¨ ur lineare Optimierungsprobleme schließlich drei m¨ ogliche Darstellungen f¨ ur ein Abstandsmaß zum zentralen Pfad zur Verf¨ ugung. Korollar 4.9 Gegeben sei ein lineares Optimierungsproblem der Form minn cT x, u. d. N. Cx ≥ d

x∈

Ê

Ê

mit einem Vektor c ∈ n und einer Nebenbedingungsmatrix C ∈ F¨ ur die dazugeh¨orige logarithmische Barriere-Funktion φBl (x, μ) = cT x − μ

m

Êm×n.

ln(cTi x − di ),

i=1

bezeichne H(x, μ) := ∇2x φBl (x, μ) = μC T S −2 C die Hesse-Matrix. Dann lassen sich die eingef¨ uhrten Abstandsmaße ¨aquivalent f¨ ur das lineare Opti-

88

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

mierungsproblem ¨ ubertragen und es gilt δ(x, μ) = p(x, μ) H(x,μ) = μ S −1 Cp . Beweis: Durch Setzen der Matrix Q = 0 in (QP) erhalten wir das gegebene ¨ lineare Optimierungsproblem und analog die Ubertragung der korrespondierenden Gr¨ oßen wie den Gradienten g bzw. die Hesse-Matrix H auf den linearen Fall. F¨ ur den Nachweis des rechten Teils der Behauptung erhalten wir dann

p H = pT Hp = μ pT C T S −2 Cp = μ S −1 Cp . ¨ F¨ ur den Nachweis der linken Aquivalenz der Behauptung verweisen wir auf den Anhang A.3 auf Seite 199 und insbesondere auf die Bemerkung A.3. Von den drei verschiedenen Darstellungen f¨ ur ein Abstandsmaß f¨ ur die quadratische Optimierung werden wir im Weiteren im Wesentlichen nur δ(x, μ) verwenden. Als geeignete Absch¨ atzungen ﬁnden die beiden anderen Darstellungen f¨ ur den Nachweis der Konvergenz der Innere-PunkteVerfahren bzw. f¨ ur Komplexit¨ atsaussagen Verwendung, die an dieser Stelle jedoch nicht durchgef¨ uhrt werden sollen. 4.2.2 Ein Abstandsmaß f¨ ur das reduzierte System Dieser Abschnitt besch¨ aftigt sich mit den Auswirkungen des Entfernens von Nebenbedingungen auf den zentralen Pfad, d. h. insbesondere mit den Auswirkungen auf den Abstand eines Punktes zu dem zentralen Pfad. Das wesentliche Ergebnis dieses Abschnitts ist dabei die wichtige Aussage, dass sich der zentrale Pfad durch die Elimination von Nebenbedingungen ver¨ andern wird. Insbesondere wird damit deutlich, dass der zentrale Pfad eindeutig von der Repr¨ asentation des Ausgangsproblems durch dessen Gesamtheit an Nebenbedingungen abh¨ angt und damit kein universeller“ zen” traler Pfad existiert, was der Begriﬀ des zentralen Pfades zun¨ achst suggeriert. Wir orientieren uns dabei eng an den Ausf¨ uhrungen von den Hertog et al. [27] und zeigen, dass sich die Aussagen der linearen Optimierung fast analog auf die quadratische Formulierung u ¨bertragen lassen. Ohne Beschr¨ ankung der Allgemeinheit nehmen wir an, dass die j-te Nebenbedingung cTj x ≥ dj als nicht-aktiv f¨ ur das Optimum identiﬁziert wurde und damit aus dem Problem entfernt werden k¨ onnte. Wir sprechen von dem reduzierten System, wenn die so identiﬁzierte j-te Nebenbedingung

Abstandsmaße zum zentralen Pfad

89

im Weiteren nicht mehr betrachtet wird und meinen damit im jeweiligen Kontext sowohl das reduzierte primale und duale Problem, die reduzierten KKT-Bedingungen, als auch das reduzierte Newton-KKT-System. F¨ ur die weitere Notation sei N = {1, . . . , m} die Menge der Indizes der Nebenbedingungen des Ausgangsproblems (QP). Wir bezeichnen mit ¯ die Indexmenge der verbleibenden Restriktionen in dem um die j-te N ¯ := N \{j}. Analog zu dem im Nebenbedingung reduzierten System, d. h. N letzten Abschnitt eingef¨ uhrten Abstandsmaß δ(x, μ) bezeichne δ − (x, μ) das Abstandsmaß f¨ ur den aktuellen Punkt x zum zentralen Pfad im reduzierten System. Damit ergibt sich δ − (x, μ) als L¨ osung des Minimierungsproblems T δ − (x, μ) :=

SN¯ λN¯ − μe | Qx − CN min (4.26) ¯ +c= 0 . ¯ λN λ∈

Ê

¯) card(N

F¨ ur die weitere Betrachtung nehmen wir an, dass die Nebenbedingungsmatrix CN¯ des reduzierten Systems weiterhin vollen Rang besitzt, d. h. rg(CN¯ ) = n. Wir f¨ uhren hier analog zu [27] f¨ ur einen gegebenen zul¨ assigen Punkt x ∈ n und den dazugeh¨ origen Schlupfvariablen s ∈ m eine zus¨ atzliche, rein technische Gr¨ oße δj ∈ ein, die sozusagen den Abstand des Punktes zur jten Nebenbedingung mit Hilfe der in einer bestimmten Metrik normierten Schlupfvariablen sj angibt. Wir deﬁnieren dazu f¨ ur j = 1, . . . , m

Ê

Ê

Ê

cTj x − dj sj =! . δj := ! T T cj (C T S −2 C)−1 cj cj (C T S −2 C)−1 cj

(4.27)

Wegen der Positivit¨ at der Schlupfvariablen f¨ ur den aktuellen inneren Punkt x und der Voraussetzung, dass die Nebenbedingungsmatrix C vollen Rang besitzt, existiert der Nenner des Quotienten und ist immer positiv und es kann so insgesamt garantiert werden, dass δj > 0. Wegen der speziellen Norm im Nenner von δj , in den ebenfalls die Norm des Koeﬃzientenvektors cj der j-ten Nebenbedingung einﬂießt, gilt oﬀensichtlich auch δj ≥ 1. F¨ ur eine u ur ¨ bersichtlichere Darstellung schreiben wir im Folgenden f¨ die relevanten Gr¨ oßen (Schlupf- und Dualvariablen s bzw. λ, Nebenbedingungsmatrix C und den Vektor d der rechten Seite) des reduzierten ¯ := λN¯ , Λ ¯ = ΛN¯ , C¯ := CN¯ Systems auch k¨ urzer s¯ := sN¯ , S¯ := SN¯ bzw. λ n ¯ und d = dN¯ . F¨ ur einen beliebigen Vektor v ∈ deﬁnieren wir weiter (4.28)

v N := v T (C T S −2 C)−1 v

Ê

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

90

und benutzen zur Verk¨ urzung der Notation f¨ ur die eingef¨ uhrte Abstandsgr¨oße δj schließlich sj δj := .

cj N F¨ ur den Fall, dass die j-te Nebenbedingung entfernt werde, betrachten wir im Folgenden die Auswirkung auf die Gr¨ oße δj im reduzierten System. Lemma 4.10 Gegeben sei ein Optimierungsproblem der Form (QP). Weiterhin sei die j-te Nebenbedingung ¨ uberﬂ¨ ussig f¨ ur die Bestimmung des Optimalpunktes x∗ . Es sei δj := sj / cj N die mit (4.27) eingef¨ uhrte Abstandsgr¨oße f¨ ur einen gegebenen Schlupfvariablenvektor s ∈ m und es beschreibe + δj− := sj / cj N¯ diese Gr¨oße f¨ ur das reduzierte System. Dann gilt

Ê

δj− =

! δj2 − 1.

Beweis: Es sei ci die i-te Zeile der Nebenbedingungsmatrix C geschrieben m c cT als Spaltenvektor. Wegen C T S −2 C = i=1 is2i gilt nach Entfernen der i j-ten Nebenbedingung schließlich (C T S −2 C)N¯ = C T S −2 C −

cj cTj . s2j

Mit Hilfe der Sherman-Morrison-Woodbury-Formel (siehe z. B. [51, S. 51]) erh¨ alt man im reduzierten System f¨ ur die Inverse von (C T S −2 C)N¯ schließlich (C T S −2 C)−1 ¯ N =

T

C S

−2

cj cTj C− 2 sj

= (C T S −2 C)−1 + (C T S −2 C)−1 T

= (C S

−2

−1

C)

+

cj sj

−1

−1 T cTj cj T −2 −1 cj I1 − (C T S −2 C)−1 (C S C) sj sj sj

1 (C T S −2 C)−1 cj cTj (C T S −2 C)−1 s2j

1−

1 T c (C T S −2 C)−1 cj s2j j

.

Abstandsmaße zum zentralen Pfad

91

Durch Multiplizieren von links und von rechts mit cTj bzw. cj ergibt sich cTj (C T S −2 C)−1 ¯ cj N

1 T c (C T S −2 C)−1 cj cTj (C T S −2 C)−1 cj s2j j

= cTj (C T S −2 C)−1 cj +

1 T c (C T S −2 C)−1 cj s2j j

1−

,

das sich wegen der Deﬁnition der Norm ci N = cTi (C T S −2 C)−1 ci zu 2

4

T

T

cj (C S

−2

C)−1 ¯ cj N

=

cj 2N¯

=

cj N 1 + 2· sj 1 − 12 cj 2N s

cj 2N

j

verk¨ urzt. F¨ ur die eingef¨ uhrte Abstandsgr¨ oße δj− der j-ten Nebenbedingung gilt damit f¨ ur die Situation im reduzierten System, dass (δj− )2 =

s2j

cj 2N¯

=

s2j 2

cj N +

1 s2j

·

=

cj 4N cj 2N 1− s2j

s2j 2

cj N +

2

=

2

s2j (s2j − cj N )

cj 2N (s2j − cj 2N ) + cj 4N s2j (s2j − cj N )

cj 2N s2j

=

s2j (s2j − cj N )

cj 2N s2j − cj 4N + cj 4N

2

2

=

=

s2j − cj N

cj 2N

cj 4N s2j −cj 2N

=

s2j

cj 2N

−1

= δj2 − 1. Wegen δj ≥ 1 folgt schließlich insgesamt δj− =

√

δj2 − 1.

Das Resultat des letzten Hilfssatzes beschreibt damit die Ver¨ anderung der Abstandsgr¨ oße δj f¨ ur das reduzierte System. Der Wechsel auf die ver¨ anderte Metrik des reduzierten Systems hat demnach zur Folge, dass sich der derart normierte“ Schlupf bzgl. der j-ten Nebenbedingung verk¨ urzt und sich ” damit sozusagen der Abstand“ eines Punktes zur j-ten Nebenbedingung ” auf diese Weise verkleinert. Der folgende Satz liefert eine Aussage u anderung des durch ¨ ber die Ver¨ (4.20) eingef¨ uhrten Abstandsmaßes δ(x, μ) f¨ ur die quadratische Optimierung f¨ ur den Punkt x bzgl. des Barriere-Parameters μ, wenn eine Nebenbedingung aus dem bestehenden Nebenbedingungssystem entfernt wird. Wir

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

92

u ur die lineare Optimierung auf die ¨ bertragen dabei die Aussage aus [27] f¨ quadratische Optimierung. Satz 4.11 Gegeben sei ein Optimierungsproblem der Form (QP). Weiterhin sei die j-te Nebenbedingung nicht-aktiv im Optimalpunkt x∗ . Dann gilt f¨ ur das Abstandsmaß des reduzierten Systems δ − (x, μ) ≤ δ(x, μ) +

μ + δ(x, μ) . δj−

Beweis: Mit der Deﬁnition des Abstandsmaßes δ(x, μ) in (4.20) gilt f¨ ur die Situation nach Eliminieren der j-ten Nebenbedingung " # ˜ ˜ = −c δ − (x, μ) := min S¯λ − μe | Qx − C¯ T λ ˜ λ

Ê

¯ ˜∈ m f¨ ur λ mit m ¯ := card (N ) − 1 als Dualvariable des nun um eine Dimension verkleinerten Dualraumes. Es sei λ(x, μ) der L¨ osungspunkt des Minimierungsproblems (4.20) f¨ ur δ(x, μ) im Ausgangssystem und ohne Beschr¨ ankung der Allgemeinheit sei

¯1 , . . . , λ ¯j−1 , ξ, λ ¯ j+1 , . . . , λ ¯m )T , λ(x, μ) = (λ d. h. ξ entspricht gerade der j-ten Komponente von λ(x, μ), die durch ¨ das Eliminieren verschwinden w¨ urde. Durch den Ubergang auf das reduzierte System erhalten wir daher aus λ(x, μ) den um eine Komponen¯ = (λ ¯1 , . . . , λ ¯ j−1 , λ ¯j+1 , . . . , λ ¯m )T te in der Dimension reduzierten Punkt λ ¯= bzw. durch anschließende Neunumerierung ab der j-ten Komponente λ T ¯1 , . . . , λ ¯m (λ ) . Dann gilt wie in (4.21) dargestellt ¯ 2 ¯ − μe 2 + (ξsj − μ)2 . δ(x, μ)2 = Sλ(x, μ) − μe = S¯λ Somit gelten f¨ ur δ(x, μ) die folgenden beiden Absch¨ atzungen ¯ − μe δ(x, μ) ≥ S¯λ

(4.29)

und wegen δ(x, μ)2 ≥ (ξsj − μ)2 weiterhin, dass δ(x, μ) ≥ |ξsj − μ| ⇐⇒

δ(x, μ) + μ ≥ |ξsj − μ| + μ ≥ |ξsj − μ + μ| = |ξsj |

Abstandsmaße zum zentralen Pfad

93

und damit insgesamt wegen sj > 0 δ(x, μ) + μ ≥ |ξ| . sj

(4.30)

Es sei cj die j-te Spalte der transponierten Nebenbedingungsmatrix C T , d. h. die j-te Zeile von C dargestellt als Spaltenvektor. Wir bezeichnen mit ¯ μ) − λ ¯ zwischen dem aktuellen Δλ den dualen Abstandsvektor Δλ := λ(x, ¯ um die j-te Komponente gestrichenen Punkt λ und dem zentrierten dua¯ μ) f¨ len Punkt λ(x, ur den neuen zentralen Pfad des reduzierten Systems. ¯ ¯ Eingesetzt in die duale Nebenbedingung des Dann gilt λ(x, μ) = Δλ + λ. reduzierten Systems ergibt sich damit ¯ μ) Qx + c = C¯ T λ(x, ¯ = C¯ T (Δλ + λ) T ¯ = C¯ Δλ + C¯ T λ T T = C¯ Δλ + C λ(x, μ) − ξ · cj und auf Grund der dualen Zul¨ assigkeit wegen Qx + c = C T λ(x, μ) des Ausgangsproblems insgesamt C¯ T Δλ = ξ · cj .

(4.31)

F¨ ur die Abstandsgr¨ oße δ − (x, μ) in dem reduzierten System gilt dann " # ˜ ˜ = −c − μe | Qx − C¯ T λ δ − (x, μ) = min S¯λ ¯ ˜ Êm λ∈ # " ¯ ˜ ¯¯ ˜ = ξ · cj λ + S λ − μe | C¯ T Δλ = min SΔ ˜ Δλ " # ¯ ˜ ¯ − μe | C¯ T Δλ ˜ = ξ · cj λ + S¯λ ≤ min SΔ ˜ Δλ " # ¯ ˜ ˜ = ξ · cj ≤ min SΔ λ + δ(x, μ) | C¯ T Δλ ˜ Δλ " # ¯ ˜ ¯T ˜ ≤ δ(x, μ) + min SΔ λ | C Δλ = ξ · cj , ˜ Δλ

wobei sich die vorletzte Ungleichung auf Grund der Absch¨ atzung in (4.29) ergibt. Wir bezeichnen mit Δλ∗ die L¨ osung des sich in der letzten Unglei-

94

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

chung ergebenden Minimierungsproblems, d. h. " # ¯ ˜ ¯ T ˜ λ | C Δλ = ξ · cj . Δλ∗ = arg min SΔ

(4.32)

˜ Δλ

Mit Hilfe von Lagrange-Multiplikatoren u ∈ Funktion

Ên bilden wir die Lagrange-

L(Δλ, u) = 12 ΔλT S¯2 Δλ − uT (C¯ T Δλ − ξ · cj ). Durch Diﬀerenzieren nach Δλ bzw. nach u und durch Nullsetzen der jeweiligen Ableitung erhalten wir f¨ ur die Ableitung nach Δλ ¯ Δλ∗ = S¯−2 Cu

(4.33)

und f¨ ur die nullgesetzte Ableitung der Lagrange-Funktion nach u mit Einsetzen von (4.33) in die Gleichung (4.31) ¯ = −ξ · cj , −C¯ T Δλ∗ = −C¯ T (S¯−2 Cu) und damit durch Auﬂ¨ osen nach u ¯ −1 cj , u = ξ(C¯ T S¯−2 C) was nach Einsetzen in (4.33) als optimale L¨ osung von (4.32) schließlich ¯ C¯ T S¯−2 C) ¯ −1 cj Δλ∗ = ξ S¯−2 C(

(4.34)

ergibt. Wir erhalten damit f¨ ur δ − (x, μ) die Darstellung " # ¯ ˜ ¯T ˜ δ − (x, μ) ≤ δ(x, μ) + min SΔ λ | C Δλ = ξ · cj ˜ Δλ ¯ ∗ = δ(x, μ) + SΔλ ¯ C¯ T S¯−2 C) ¯ −1 cj = δ(x, μ) + ξ S¯S¯−2 C( ¯ C¯ T S¯−2 C) ¯ −1 cj = δ(x, μ) + ξ S¯−1 C( ! ¯ −1 C¯ T S¯−2 C( ¯ C¯ T S¯−2 C) ¯ −1 cj = δ(x, μ) + ξ 2 cTj (C¯ T S¯−2 C) ! ¯ −1 cj = δ(x, μ) + ξ cTj (C¯ T S¯−2 C)

Abstandsmaße zum zentralen Pfad

95

und damit δ(x, μ) + μ ! T ¯ T ¯−2 ¯ −1 cj (C S C) cj sj δ(x, μ) + μ = δ(x, μ) +

cj N¯ , sj

δ − (x, μ) ≤ δ(x, μ) +

wobei die letzte Ungleichung auf Grund von (4.30) gilt. Insgesamt erhalten wir mit Hilfe von Lemma 4.10 und der Deﬁnition von δj− mit δ := δ(x, μ) schließlich δ − (x, μ) ≤ δ +

δ+μ δ+μ δ+μ

cj N¯ = δ + − = δ + ! , sj δj δj2 − 1

womit die Behauptung des Satzes bewiesen ist.

Das Ergebnis des letzten Satzes verdeutlicht sehr anschaulich, welche Auswirkungen sich in Bezug auf den aktuellen Punkt und den zentralen Pfad f¨ ur das reduzierte System ergeben k¨ onnen. Mit Hilfe des Satzes kann eine obere Schranke f¨ ur die Ver¨ anderung des Abstandes“ eines Punktes bzgl. ” dem zentralen Pfad des Ausgangsproblems und des reduzierten Problems angegeben werden. Der Abstand eines Punktes x kann sich demnach √ durch Eliminieren der j-ten Nebenbedingung um maximal (δ(x, μ) + μ)/ δj2 − 1 zum neuen zentralen Pfad des reduzierten Systems in Bezug auf den aktuellen Barriere-Parameter μ verschlechtern, genauer gesagt zu dem nun neu zentrierten Punkt x− (μ), der sich als analytisches Zentrum f¨ ur die logarithmische Barriere-Funktion des reduzierten Systems als T 1 T x− (μ) := arg min φ− B (x, μ) = arg min 2 x Qx + c x − μ

x∈

Ê

n

x∈

Ê

n

m ¯

ln(cTi x − di ).

i=1

ergibt. Neben der Aussage des sich ¨ andernden Abstandes des aktuellen Punktes zum zentralen Pfad auf Grund der Elimination der j-ten Nebenbedingung, gewinnen wir allerdings eine viel bedeutsamere indirekte Aussage. Da mit δ(x, μ) der Abstand“ des Punktes x zum zentralen Pfad in Bezug ” auf den Referenzpunkt x(μ) angegeben wird, impliziert daher die Aussage − f¨ ur δ (x, μ) von Satz 4.11 schließlich, dass sich der zentrale Pfad durch Elimination der j-ten Nebenbedingungen in seiner Gestalt ver¨ andert hat.

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

96

1.2

1

0.8

x(μ)

y

0.6

C

0.4

x− (μ)

0.2

C−

0

j

−0.2 −0.2

0

0.2

0.4

0.6

0.8

1

1.2

1.4

x

Abbildung 4.1: Betrachtung des Abstandes zu dem entstehenden neuen zentralen Pfad C − durch Elimination der (gestrichelten) Nebenbedingung Durch die Elimination von Nebenbedingungen ver¨anert sich die Gestalt des zentralen Pfades f¨ ur das reduzierte System jeweils im Vergleich zu der Situation vor Elimination. Bemerkung 4.12: Da die Innere-Punkte-Verfahren dem zentralen Pfad in Richtung zum Optimum folgen, wirkt sich die Elimination von Nebenbedingungen in diesem Sinne m¨oglicherweise nachteilig f¨ ur den L¨osungsprozess aus. Ein modiﬁziertes Innere-Punkte-Verfahren unter Einsatz der Identiﬁkationskriterien und der Elimination von Nebenbedingungen muss ¨ in dieser Weise den jeweiligen Anderungen des zentralen Pfades entsprechend Rechnung tragen. Unter der Annahme der aktuelle Iterationspunkt sei zentriert, d. h. xk = x(μ) als Punkt des zentralen Pfades bzgl. des Barriere-Parameters μ, verdeutlicht die Abbildung 4.1 die Situation vor (rot) und nach dem Eliminieren (blau) der gestrichelten j-ten Nebenbedingung im unteren rechten Bereich der Abbildung. F¨ ur den gegenw¨artig vorgegebenen Wert des BarriereParameters μ wird der zun¨achst zentrierte Punkt x(μ) als Punkt auf dem zentralen Pfad C des Ausgangsproblems dargestellt. Durch Elimination der

Abstandsmaße zum zentralen Pfad

97

gestrichelten Nebenbedingung erhalten wir den zentralen Pfad C − des reduzierten Systems, so wie er jetzt durch die blaue Linie dargestellt ist. Der nunmehr bzgl. μ zentrierte Punkt x− (μ) des neuen zentralen Pfades ist ebenfalls blau dargestellt. Die Abbildung verdeutlicht, dass wir uns primal im Sinne des Abstandes zum zentralen Pfad verschlechtern. Der zuvor zentrierte Punkt x(μ) ist in der Situation nach dem Eliminieren f¨ ur das reduzierte System nun nicht mehr zentriert. Trotz der m¨ oglichen Verschlechterung hinsichtlich der Zentralit¨ at“ des ” betrachteten Punktes sind f¨ ur dieses Beispiel selbst zwei positive Eﬀekte zu bemerken. Zum einen ist im direkten Vergleich der beiden zentralen Pfade C und C − eine Ausdehnung des neuen Pfades C − zu beobachten – ein Eﬀekt, der innerhalb der Innere-Punkte-Verfahren von Bedeutung ist, k¨ onnen doch auf diese Weise l¨ angere Schritte bestimmt werden, ohne eine bestimmte qualiﬁzierte Umgebung des Pfades zu verlassen. Auf der anderen Seite kann (zumindest f¨ ur das Beispiel der Abb. 4.1) eine Verbesserung des neuen zentrierten Punktes x− (μ) in Bezug auf das Niveau der quadratischen Zielfunktion festgestellt werden, deren Niveaulinien als die elliptischen (hellblauen) Linien in der Abbildung dargestellt sind. Ein weiteres Beispiel stellt die Abbildung 4.2 auf der n¨ achsten Seite dar, in dem der zul¨ assige Bereich durch das Entfernen einer Nebenbedingung (wiederum der gestrichelten) in einer Richtung unbeschr¨ ankt wird. Der primale zentrale Pfad C − (blau) des reduzierten Systems dehnt sich daher weit in diesen Bereich hinein aus. Man erkennt an den analytischen Zentren x(μ) und x− (μ) des zentralen Pfades C des Ausgangssystems bzw. C − des reduzierten Systems eine primale Verschlechterung hinsichtlich der eingezeichneten Zielfunktionsniveaus. F¨ ur die Anwendung der Kriterien zur Identiﬁkation u berﬂ¨ u ssiger Nebenbedingungen ist dieses Verhalten von Nachteil, ¨ da zur Identiﬁkation weiterer nicht-aktiver Nebenbedingungen jeweils bessere Zielfunktionsniveaus αk > αk+1 als obere Schranken an den optimalen Zielfunktionswert f˜(x∗ ) notwendig sind. Diesen Aspekt untersuchen wir eingehend noch in Kapitel 4.3. Zudem macht dieses Beispiel ein weiteres charakteristisches Merkmal des zentrales Pfades des reduzierten Systems deutlich. Die Streckung“ des ” zentralen Pfades erweist sich f¨ ur das Prinzip der Innere-Punkte-Verfahren als sinnvoll, da der verh¨ altnism¨ aßig gradlinige Verlauf f¨ ur gut zentrierte Punkte lange Newton-Schritte erlaubt. Dieses Verhalten l¨ asst sich im Verst¨ andnis der Pfadverfolgungsverfahren u ¨ ber die sukzessive Reduktion des Barriere-Parameters μk μk+1 durch die Minimierung der logarithmischen Barriere-Funktion φB (x, μk ) veranschaulichen, f¨ ur die das n¨ achste

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

98

3

j

2.5

2

y

1.5

1

x(μ)

0.5

C−

C x− (μ)

0 −0.5

0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

x

Abbildung 4.2: Durch Elimination vergr¨oßerter zul¨assiger Bereich mit der Folge eines langgedehnten zentralen Pfades analytischen Zentrum x(μk+1 ) ausgehend von x(μk ) mit Hilfe des NewtonVerfahrens als x(μk+1 ) = arg min φB (x, μk+1 ) mit x

μk+1 := (1 − θ)μk

ur u ¨ ber einen konstanten Reduktionsfaktor 0 < θ < 1 bestimmt wird.7 F¨ den primalen zentralen Pfad C − hat die Reduktion von μk – wie in der Abbildung 4.2 zu sehen – eine jeweils deutlich gr¨oßere primale Verbesserung“ ” zur Folge als f¨ ur den zentralen Pfad C des Ausgangsproblems. Verst¨arkt wird diese Eigenschaft durch die Tatsache, dass ein Pfadverfolgungsverfahren f¨ ur den zentralen Pfad des reduzierten Systems mit einem geringeren Startparameter μ0 gestartet werden kann (zum Vergleich f¨ ur das Beispiel aus Abbildung 4.2: μ0 = 7,0436 und μ− = 3,6895), da der logarithmischen 0 Barriere-Funktion auf Grund der eliminierten j-ten Nebenbedingung gera7 Zu

erkennen ist der primale Fortschritt in Bezug auf die Reduktion des BarriereParameters μk in Abbildung 4.2 auf dieser Seite durch die feinen Punkte auf dem zentralen Pfad. Der Barriere-Parameter μk wird von Iteration zu Iteration um den festen Faktor 1 − θ mit θ = 0,1 verringert und das dazugeh¨ orige μ-Zentrum als ein solcher Punkt auf dem zentralen Pfad jeweils dargestellt.

Abstandsmaße zum zentralen Pfad

99

de ein zu bestrafender“ Summand ln(cTj x − dj ) fehlt. In diesem Sinne wird ” der Barriere-Parameter μ− f¨ ur das reduzierte System kleiner gew¨ ahlt. Der abgebildete scheinbar deutlich l¨ angere“ primale zentrale Pfad C − stellt ” damit im Kontext der Minimierung der logarithmischen Barriere-Funktion im Vergleich zu C einen wesentlich k¨ urzeren“ Pfad dar und ist daher von ” Vorteil f¨ ur die Pfadverfolgungsverfahren. Als direkte Folgerung von Satz 4.11 wird weiterhin deutlich, dass die Verbesserung bzw. Verschlechterung des Abstandsmaßes δ − (x, μ) in Bezug auf die Situation vor Eliminierung der j-ten Nebenbedingung umso geringer ausf¨ allt, desto n¨ aher die Iterierten x(μk ) dem Optimum x∗ sind, d. h. je kleiner μk gew¨ ahlt wird. F¨ ur kleine Werte des Barriere-Parameters μk unterliegt der zentrale Pfad damit nur noch marginalen Ver¨ anderungen im Falle des Entfernens von u ussigen Nebenbedingungen. In dieser Kon¨ berﬂ¨ sequenz sollte es das Ziel eines Pfadverfolgungsverfahrens sein, u ussige ¨ berﬂ¨ Restriktionen m¨ oglichst schon zu Beginn des Verfahrens zu erkennen und zu eliminieren, w¨ ahrend die Eliminierung u ussiger Restriktionen in der ¨ berﬂ¨ N¨ahe des Optimums im Verh¨ altnis von Aufwand und Nutzen zumindest in Frage zu stellen ist.8 Das folgende Lemma gibt eine analoge Aussage zu Lemma 4.10 in Bezug auf die Schlupfvariablen. In [27] ﬁndet sich die analoge Aussage f¨ ur die lineare Optimierung, die sich hier wiederum auf den quadratischen Fall u asst. Dazu bezeichne s− ¨ bertragen l¨ j (μ) den Wert der j-ten Schlupfvariaur das reduzierte System und blen bzgl. des analytischen Zentrums x− (μ) f¨ damit sozusagen den Abstand“ von x− (μ) zu der ﬁktiv wieder eingef¨ ugten ” j-ten Nebenbedingung, d. h. T − s− j (μ) := cj x (μ) − dj .

Das Lemma besagt dann, dass die Schlupfvariable s− j (μ) des reduzierten Systems kleiner ist als sj (μ) in der Situation vor dem Entfernen der j-ten Nebenbedingung. Lemma 4.13 Gegeben sei ein Optimierungsproblem der Form (QP). Weiterhin sei die j-te Nebenbedingung cTj x ≥ dj ¨ uberﬂ¨ ussig f¨ ur die Bestimmung des Optimalpunktes x∗ . Dann gilt s− j (μ) ≤ sj (μ). 8 Vergleiche

hierzu auch das Zitat auf Seite 59, das in diesem Sinne best¨ atigt wird.

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

100

Beweis: Es sei x(μ) das analytische Zentrum des Ausgangsproblems bzgl. μ. F¨ ur die dazugeh¨ orige Schlupfvariable gilt in dieser Situation sj (μ) > 0. Nach Entfernen der j-ten Nebenbedingung ist x(μ) auf Grund der Vergr¨oßerung des zul¨ assigen Bereiches ein zul¨ assiger Punkt f¨ ur das reduzierte Problem. M¨ oglicherweise gilt f¨ ur die zugeh¨ orige Schlupfvariable im redu− zierten System s− j (μ) ≤ 0. Damit gilt sj (μ) ≤ 0 < sj (μ) und die Behaup− tung ist erf¨ ullt. Es sei daher sj (μ) > 0 angenommen. Die Barriere-Funktion hat f¨ ur das Ausgangsproblem und f¨ ur das reduzierte Problem nach dem Streichen der j-ten Nebenbedingung die Gestalt φB (x, μ) = 21 xT Qx + cT x − μ

m

ln si

i=1

bzw. T 1 T φ− B (x, μ) = 2 x Qx + c x − μ

ln si

i=1,...,m i=j

und es gilt damit φB (x, μ) = φ− B (x, μ) − μ ln sj .

(4.35)

Da x(μ) bzw. x− (μ) jeweils analytische Zentren und damit Punkte des zentralen Pfades des Ausgangsproblems bzw. des reduzierten Problems sind, gelten die beiden Absch¨ atzungen φB (x(μ), μ) ≤ φB (x− (μ), μ)

und

− − φ− B (x (μ), μ) ≤ φB (x(μ), μ). (4.36)

Mit Hilfe von (4.35) und unter Benutzung der Beziehungen in (4.36) erhalten wir − − − μ ln s− j (μ) = φB (x (μ), μ) − φB (x (μ), μ) − ≤ φ− B (x (μ), μ) − φB (x(μ), μ)

≤ φ− B (x(μ), μ) − φB (x(μ), μ) = μ ln sj (μ).

Abstandsmaße zum zentralen Pfad

101

Mit Division durch μ > 0 und auf Grund der Monotonie des Logarithmus folgt schließlich s− j (μ) ≤ sj (μ) und damit die Behauptung. Die Auswirkung auf den Wert der j-ten Schlupfvariablen l¨ asst sich wieder mit Hilfe der Abbildung 4.1 anschaulich darstellen. Das neue analytische Zentrum x− (μ) f¨ ur den zentralen Pfad des reduzierten Systems r¨ uckt“ auf ” Grund der Eliminierung der j-ten (gestrichelten) Nebenbedingung n¨ aher an genau diese Nebenbedingung, wenn sie ﬁktiv dem System wieder hinzugef¨ ugt w¨ urde, d. h. es gilt dann cTj x− (μ) ≤ cTj x(μ). Da durch Entfernen der j-ten Nebenbedingung zugleich der entsprechende Strafterm μ ln sj aus der logarithmischen Barriere-Funktion eliminiert wird, verl¨ auft in Folge dessen der sich ergebende (primale) zentrale Pfad C − des reduzierten Systems somit n¨ aher“ an der j-ten Nebenbedingung. ” Wir benutzen das Resultat von Lemma 4.13, um nochmals den (negativen) Eﬀekt der Innere-Punkte-Verfahren im Zusammenhang mit der Elimination einer Nebenbedingung herauszustellen. F¨ uhrt das Entfernen der Nebenbedingung wie in Abbildung 4.2 zu einer deutlichen Streckung“ des ” zentralen Pfades auf Grund einer derartigen Vergr¨ oßerung des zul¨ assigen Bereiches, so folgt mit Lemma 4.13 f¨ ur den zentrierten Punkt x− (μ) des reduzierten Systems, dass auch der Zielfunktionswert f (x− (μ)) anw¨ achst, d. h. es gilt in diesem Fall f (x− (μ)) ≥ f (x(μ)). Der in einem L¨ osungsverfahren bis zu der aktuellen Iterierten xk im Sinne des Zielfunktionsniveaus αk = fˆ(xk ) erreichte primale Fortschritt“ w¨ urde damit verloren gehen, ” wenn kein Einﬂuss auf die restlichen Steuergr¨ oßen des Verfahrens genommen wird. Ein L¨ osungsverfahren ist daher f¨ ur die Ber¨ ucksichtigung der Elimination von Nebenbedingungen zwingend anzupassen. Vorschl¨ age dazu geben wir auf Basis dieser Ergebnisse und Beobachtungen weiter unten in Abschnitt 4.3. In der Abbildung 4.3 auf der n¨ achsten Seite ist der Verlauf der Zielfunktionswerte f (xk ) je Iteration k f¨ ur das herk¨ ommliche Mehrotra-Verfahren mit (MPC/E) und ohne Elimination (MPC) von Nebenbedingungen dargestellt. Die Anwendung der entwickelten Kriterien zur Identiﬁkation von u ussigen Nebenbedingungen, deren Erfolg wesentlich von einer klei¨ berﬂ¨ nen oberen Schranke an den optimalen Zielfunktionswert des Problems abh¨ angt, bringt im Fall einer solchen primalen Verschlechterung keinen ¨ Nutzen. F¨ ur ein primal-duales Innere-Punkte-Verfahren sind daher Uberlegungen anzustellen, wie entweder der Barriere-Parameter μk oder die dua-

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

102

f (x)

MPC/E

6

10

MPC 0

1

2

3

4

5

6

7

k

8

9

10

11

12

13

14

15

Abbildung 4.3: Darstellung der Zielfunktionswerte je Iteration bei Elimination nicht-aktiver Nebenbedingungen len Variablen λk modiﬁziert werden k¨onnen, so dass der erreichte primale Zielfunktionswert αk der aktuellen (primalen) Iterierten xk auf Grund der Elimination der Nebenbedingung f¨ ur die n¨achste Iteration konserviert“ ” bleibt. Andernfalls br¨auchten die Kriterien zur Identiﬁkation erst wieder ab derjenigen Iterierten xk+j gepr¨ uft werden, f¨ ur die der aktuellen Zielfunktionswert f˜(xk+j ) kleiner der letzten verwendeten oberen Schranke αk ist. Bemerkung 4.14: Eine analytische Charakterisierung f¨ ur Nebenbedingungen, die eine solche Streckung“ des zentralen Pfades zur Folge haben, ” konnten wir bisher nicht ﬁnden. Daher kann hier – bis auf die an Hand des Beispiels geschilderten Beobachtungen – keine allgemeing¨ ultige Aussage u ¨ ber den Zielfunktionszuwachs bzw. u ¨ ber den Zuwachs des Zielfunktionswertes der logarithmischen Barriere-Funktion in Form eines Satzes gegeben werden.

4.3 Vorschl¨ age fu ¨ r ein Verfahren zur Elimination nicht-aktiver Restriktionen Die Ergebnisse und Beobachtungen der vorhergehenden Abschnitte lassen deutlich werden, dass die Eliminierung u ussiger Nebenbedingungen ¨ berﬂ¨

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

103

1.6 1.4 1.2 1 0.8 y

C

0.6

C−

0.4 0.2 0 −0.2 0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

x

Abbildung 4.4: Darstellung der Auswirkung redundanter Nebenbedingungen auf den zentralen Pfad

nachhaltigen Einﬂuss auf die Form des zentralen Pfades aus¨ uben. Herk¨ommliche Innere-Punke-Verfahren folgen dem zentralen Pfad und w¨aren auf Grund des sich bei jeder Eliminierung ¨andernden zentralen Pfades auf diese Weise benachteiligt. Mehrotra [85, Kapitel 5, S. 585] bemerkt in diesem Zusammenhang: On the other hand, it is not clear if the central path ” [. . . ] is the best path to follow, particularly since it is aﬀected by the presence of redundant constraints“. Die Form des zentralen Pfades und damit die Folge der innerhalb der L¨osungsverfahren zu bestimmenden Iterationspunkte wird ganz wesentlich von der Gesamtheit der gegebenen Nebenbedingungen des zu Grunde liegenden Optimierungsproblems gepr¨agt. Zur Veranschaulichung zeigt die Abbildung 4.4 den Einﬂuss von redundanten Nebenbedingungen9 auf den zentralen Pfad. F¨ ur die Eliminierung u ussiger Nebenbedingungen innerhalb eines Innere-Punkte-Verfahrens ¨ berﬂ¨ sind daher Anpassungen f¨ ur den algorithmischen Ablauf erforderlich, die ¨ den Ubergang von dem zentralen Pfad C des Ausgangsproblems auf den zentralen Pfad C − des reduzierten Systems ber¨ ucksichtigen.

9 Die

in der Abbildung 4.4 fettgedruckten Nebenbedingungen werden aus dem Ausgangsproblem entfernt, was auf den neuen zentralen Pfad C − f¨ uhrt.

104

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

Betont wird in diesem Abschnitt daher die Notwendigkeit der Zen” trierung“ nach der Elimination, eine geeignete Anpassung des BarriereParameters μ und die Bestimmung einer angepassten Zentierungsrichtung f¨ ur den Einﬂuss auf die Ver¨ anderungen im Raum der dualen Variablen λ. Aufbauend darauf wird im Anschluss ein Vorschlag f¨ ur ein modiﬁziertes Innere-Punkte-Verfahren unter Ber¨ ucksichtung der Elimination von nichtaktiven Nebenbedingungen abgeleitet. Die sp¨ atere Implementierung wird diesem Schema folgen. 4.3.1 Notwendigkeit der Zentrierung Wir erinnern uns, dass im Rahmen der primal-dualen Pr¨ adiktor-KorrektorVerfahren sowohl ein Pr¨ adiktor-Schritt in aﬃn-skalierter Richtung berechnet und mit Hilfe eines Korrektor-Schrittes schließlich eine Zentrierungsrichtung auf den sog. Referenzpunkt x(μk ) des zentralen Pfades bzgl. des Barriere-Parameters μk bestimmt wird. Ausgehend vom zentrierten Punkt x(μk ) entspricht die aﬃn-skalierte Richtung hierbei der Richtung eines tangentialen Vektors in diesem Punkt an den zentralen Pfad. F¨ ur nicht zentrierte Punkte xk = x(μk ) f¨ uhrt der resultierende Newton-Schritt zu einer um so gr¨ oßeren Reduktion des Dualit¨ atsmaßes μk+1 , je besser der Punkt xk zentriert ist, d. h. je kleiner der Wert von δ(xk , μk ) ist. Mit Hilfe des Abstandsmaßes δ(x, μ) f¨ uhren wir einen Umgebungsbegriﬀ f¨ ur x(μ) ein. F¨ ur ε > 0 sei daher Uε (x(μ)) := {x ∈

Ên | δ(x, μ) ≤ ε}

die ε-Umgebung des zentrierten Punktes x(μ). Unter der Ber¨ ucksichtigung der Elimination von Nebenbedingungen ergibt sich die folgende Situation: Sei x ∈ Uε (x(μ)), also ein Punkt aus der ε-Umgebung des zentralen Pfades C bzgl. μ. Es sei weiter paﬀ (x, μ) die ausgehend von x u osung von (2.17) bestimmte aﬃn-skalierte Rich¨ber die L¨ tung. Nach dem Entfernen der j-ten Nebenbedingung liegt x ∈ Uε+ (x− (μ)) mit ε+ > ε in einer viel gr¨ oßeren Umgebung des neuen zentralen Pfades C − im reduzierten System und ist in diesem Sinne m¨ oglicherweise schlechter zentriert. Dies folgt allein aus Satz 4.11, da f¨ ur die Umgebung im reduzierten System mit dem korrespondierenden Abstandsmaß δ − schließlich δ − (x, μ) ≤ δ(x, μ) +

ε+μ δ(x, μ) + μ ≤ ε + − =: ε+ δj− δj

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

0.6

C

0.5

p− aﬀ (x, μ) x(μ)

0.4

C−

paﬀ (x, μ) y

105

0.3

x− (μ)

0.2

− p− aﬀ (x , μ)

0.1

j 0 0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

x

Abbildung 4.5: Einﬂuss des Streichens auf die aﬃn-skalierte Richtung vor (rot) und nach dem Streichen (blau)

gilt. Es bezeichne x− ∈ Uε (x− (μ)) einen gut zentrierten Punkt des reduzierten Systems bzgl. μ. Ein aﬃn-skalierter Schritt in Richtung p− aﬀ (x, μ) ausgehend von x bez¨ uglich des reduzierten Systems wird daher qualita− − tiv m¨oglicherweise schlechter sein als p− bzw. aﬀ (x , μ) ausgehend von x paﬀ (x, μ) ausgehend von x f¨ ur das Ausgangssystem. Das heißt im Zusammenhang mit den herk¨ommlichen Innere-Punkte-Verfahren, dass der aﬃnskalierte Schritt nach Elimination der j-ten Nebenbedingung regelm¨aßig zu einer geringeren Reduktion des Barriere-Parameters μ f¨ uhren wird. F¨ ur die Pr¨adiktor-Korrektor-Verfahren sollte daher unmittelbar nach dem Eliminieren einer Nebenbedingung nicht wie gewohnt – ausgehend von der aktuellen Iterierten xk – zun¨achst ein Pr¨adiktor-Schritt in aﬃnskalierter Richtung bestimmt werden, sondern vielmehr ein ausreichend gut zentrierter Punkt x− ur den zentralen Pfad C − des reduzierten Systems k f¨ berechnet werden. Ein daran anschließender Pr¨ adiktor-Schritt wird in seiner Qualit¨at dann von der so erreichten besser zentrierten Ausgangslage mit x− achsten Iteration proﬁtieren. k in der n¨

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

106

Die Abbildung 4.5 auf der vorherigen Seite verdeutlicht die Notwendigkeit, nach der Eliminierung von Nebenbedingungen zun¨ achst zu zentrieren, um dann den n¨ achsten Pr¨ adiktor- und Korrektor-Schritt anschließen zu lassen. Der Schritt in aﬃn-skalierter Richtung paﬀ (x, μ) ausgehend von dem Punkt x = x(μ) f¨ uhrt zu einer deutlich schlechteren Ausgangslage f¨ ur den − Korrektor-Schritt als der aﬃn-skalierte Schritt p− aﬀ (x , μ) ausgehend von x− = x− (μ) f¨ ur das reduzierte System. 4.3.2 Einﬂuss auf das Dualit¨ atsmaß Die bisherigen Betrachtungen richteten sich haupts¨ achlich auf das primale Verhalten des Verfahrens, duale Argumente wurden weitestgehend ignoriert. Man macht sich allerdings klar, dass die Eliminierung von Nebenbedingungen aus dem gegebenen Problem einen wesentlichen Einﬂuss auf die Dimension des dualen Problems hat. W¨ ahrend sich innerhalb der Betrachtung der primalen Problemformulierung (QP) zwar die Menge der zul¨ assigen L¨ osungen S ver¨ andern kann – zumindest vergr¨ oßert das Entfernen von wesentlichen10 aber nicht-aktiven Nebenbedingungen den zul¨ assigen Bereich –, suchen wir nach wie vor nach zul¨ assigen L¨ osungen x ∈ S ⊆ n . Die Dimension n des Vektorraums der zul¨ assigen L¨ osungen ¨ andert sich daher durch die Eliminierung von Nebenbedingungen nicht. Anders verh¨ alt es sich f¨ ur die duale Problemformulierung (QD). Wir erinnern uns, dass jede duale Variable λi als Lagrange-Multiplikator mit genau einer Nebenbedingung i ∈ {1, . . . , m} des primalen Problems korrespondiert. Das Eliminieren einer Nebenbedingung hat daher zur Folge, dass sich durch das Entfernen der dazugeh¨ origen dualen Variablen mit jeder eliminierten Restriktion der Raum der dualen Variablen um eine Dimension verkleinert. Die Elimination der j-ten Nebenbedingung impliziert demnach eine Projektion PjD : m → m−1 des dualen Problems in eine Hyperebene des aktuellen dualen Raumes, d. h. f¨ ur einen gegebenen Vektor x ∈ n gilt f¨ ur eine Dualvariable λ ∈ m , dass

Ê

Ê

Ê Ê

Ê

PjD

¯ := (λ1 , . . . , λj−1 , λj+1 , . . . , λm )T . λ −→ λ

Bemerkung 4.15: Auf eine Besonderheit der Elimination bzw. der Projektion PjD im Rahmen der primal-dualen Innere-Punkte-Verfahren m¨ och10 Zur

Erinnerung siehe Deﬁnition 3.1 zu wesentlichen Nebenbedingungen auf Seite 55.

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

107

ten wir an dieser Stelle hinweisen. Gegeben sei ein dual strikt zul¨ assiger assigkeit mit Vektor λ ∈ m , d. h. es sei die Bedingung der dualen Zul¨ Qx + c − C T λ = 0 f¨ ur λ > 0 erf¨ ullt. Dann impliziert die Elimination der j-ten Nebenbedingung den sofortigen Verlust der dualen Zul¨ assigkeit f¨ ur ¯ := P D (λ) ∈ m−1 des reduzierten Problems, d. h. es gilt die den Vektor λ j Ungleichung

Ê

Ê

¯ = 0. Qx + c − C¯ T λ ¨ Die duale Zul¨ assigkeit bleibt beim Ubergang von λ durch die Projektion PjD ¯ dann und nur dann erhalten, wenn die j-te Komponente von λ nichtauf λ positiv ist, d. h. es gilt λj = 0. Im Optimum x∗ entspricht das einer nichtbindenden j-ten Nebenbedingung. Das Wesen der Innere-Punkte-Verfahren verlangt dagegen f¨ ur den Iterationsablauf, dass immer λj > 0 gilt. F¨ ur Details dazu verweisen wir auf Lemma 4.17 auf Seite 112 in Abschnitt 4.3.3.

Erinnern wir uns an das Dualit¨ atsmaß μ, das zum Einen innerhalb der Barriere-Verfahren den entscheidenden Steuerparameter f¨ ur die Reduktion der logarithmischen Barriere-Funktion und damit f¨ ur den Fortschritt des Verfahrens darstellt und auf der anderen Seite im Kontext der Pfadverfolgungsverfahren als eine ebensolche Gr¨ oße wesentlich f¨ ur die Verringerung der Komplementarit¨ at und die Zentrierung der aktuellen Iterierten verantwortlich ist. Damit stellt das Dualit¨ atsmaß μ gem¨ aß der Gleichung (2.15) mit 1 λT s λi si = m i=1 m m

μ :=

die zentrale Steuergr¨ oße der Innere-Punkte-Verfahren als gewichtete Du” alit¨ atsl¨ ucke“ dar. Als Gewicht“ spielt dabei die Anzahl der Nebenbedin” gungen m eine entscheidende Rolle. Demnach u ¨ bt die Eliminierung von Nebenbedingungen damit u ¨ber μ einen indirekten Einﬂuss auf den Ab” lauf“ der L¨ osungverfahren aus. Leicht einzusehen ist, dass die Eliminierung der j-ten Nebenbedingung die direkte Verkleinerung der Dualit¨ atsl¨ ucke λT s zur Folge hat. Auf Grund des Wegfalls der j-ten Dual- und Schlupfvariable λj bzw. sj ergibt sich als

108

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

neue Dualit¨ atsl¨ ucke des so reduzierten Systems damit schließlich ¯ T s¯ = λT s − λj sj , λ wodurch der direkte Einﬂuss der Elimination von Nebenbedingungen auf die Komplement¨ ar-Schlupf-Bedingung des reduzierten Systems verdeutlicht wird. In diesem Sinne erscheint der aktuelle Wert von μ, der sich als Quotient der Dualit¨ atsl¨ ucke λT s und der Anzahl m von Nebenbedingungen des Ausgangsproblems ergab, in der Situation nach dem Entfernen als ein Maß“ f¨ ur den Fortschritt des Verfahrens nun zu pessimistisch. ” Die Elimination von Nebenbedingungen sollte daher in einem modiﬁzierten Innere-Punkte-Verfahren ebenfalls eine geeignete Reduktion des BarriereParameters μ erzwingen. Was stellt in diesem Zusammenhang eine geeignete Reduktion f¨ ur μ dar? Unser Vorschlag sieht vor, die Reduktion des Barriere-Parameters μ in dem gleichen Verh¨ altnis der durch die Elimination resultierenden Reduktion der Dualit¨ atsl¨ ucke durchzuf¨ uhren. F¨ ur den Barriere-Parameter μ ¯ des reduzierten Systems nach Eliminierung der j-ten Nebenbedingung soll demnach gelten: ¯T ¯ T s¯ ¯ T s¯ λT s λ s¯ λ λ λT s − λj sj μ ¯= · μ = · = = λT s λT s m m m T λ s λj sj λj sj μ (4.37) = − =μ− = μ− m m m m 1 m−1 =μ , =μ 1− m m wobei hier λj sj = μ gelten soll. Eine solche Reduktion von μ erfolgt f¨ ur die Eliminierung einer Nebenbedingung demzufolge im Verh¨ altnis der Anzahl der verbleibenden Nebenbedingungen des reduzierten Systems zu der Anzahl der Nebenbedingungen vor der Eliminierung. Bemerkung 4.16: Die in Gleichung (4.37) vorgeschlagene Reduktion von μ f¨ ur die Festlegung des Barriere-Parameters μ ¯ des reduzierten Systems ergibt sich analog f¨ ur den Fall, dass mehrere Nebenbedingungen eliminiert werden k¨ onnen. Dazu bezeichne N = {1, . . . , m} die Indexmenge der Ne¯ die Menge der Indizes der verbenbedingungen des Ausgangsproblems, N ¯ bleibenden Nebenbedingungen des reduzierten Systems undm ¯ := card N ¯ . Man ersetze λj sj in (4.37) durch die Kardinalit¨ at von N λ s ¯ r r = r∈N \N

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

109

C

0.45

x(μ) 0.4

y

0.35

C−

0.3

x− (μ)

0.25

0.2 0.2

0.25

0.3

0.35

0.4

x

0.45

0.5

Abbildung 4.6: Vorschlag f¨ ur m¨ogliche Suchrichtungen innerhalb des Korrektorschritts zur Zentrierung hin zum zentralen Pfad des reduzierten Systems (m − m)μ ¯ und es folgt sofort μ ¯=

m ¯ m

μ

(4.38)

und damit f¨ ur den Wert von μ ¯ ebenfalls eine Reduktion von μ im Verh¨altnis der Anzahl der verbleibenden Nebenbedingungen m ¯ zu der Anzahl m der Nebenbedingungen vor Elimination. Wir u ¨ bertragen die durch die Eliminierung von Nebenbedingungen erreichte Reduktion des Dualraumes auf diese Weise gem¨aß der Reduktion der Dualit¨atsl¨ ucke in unserem Sinne geeignet“ auf den Barriere-Parameter μ ” und nehmen somit direkten Einﬂuss auf den Fortschritt“ des Verfahrens. ” Wir greifen zus¨ atzlich das heuristische Vorgehen von Mehrotra f¨ ur die Festlegung des Zentrierungsparameters σ in Abh¨angigkeit von dem durch den aﬃn-skalierten Schritt erreichten Fortschritt als σ = (μaﬀ /μ)ν auf.11 Die Reduktion des Barriere-Parameters verst¨arken wir in ¨ahnlicher Weise u ¯ des reduzierten Systems u ¨ ber einen Exponenten η und bestimmen μ ¨ber m ¯ η μ μ ¯ := m 11 Vergleiche

hierzu Abschnitt 2.4.1 und insbesondere Gleichung (2.18).

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

110

C

0.6

0.5

y

0.4

C−

0.3

0.2

0.1

0

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

x

Abbildung 4.7: Vorschlag f¨ ur die Anpassung des Barriere-Parameters und daraus resultierende Suchrichtungen innerhalb des Korrektorschritts zur Zentrierung f¨ ur ein η ∈ {2, 3, 4}. Auf diese Weise legen wir gegen¨ uber der Wahl von η = 1 in (4.38) einen besseren Referenzpunkt des zentralen Pfades im reduzierten System fest. In der Abbildung 4.6 auf der vorherigen Seite sind die resultierenden verschiedenen Richtungen f¨ ur den Zentrierungsschritt mit den dazugeh¨origen Referenzpunkten x(¯ μη ) des zentralen Pfades f¨ ur die Wahl von η = 1, . . . , 4 dargestellt. Schließlich zeigt die Abbildung 4.7 f¨ ur verschiedene Werte von μ die entstehenden N¨aherungen an den jeweiligen Referenzpunkt x− (μη ) des neuen zentralen Pfades, wenn anstatt des zentrierten Punktes x− (μη ) jeweils nur ein Newton-Schritt in Richtung des zentralen Pfades des reduzierten Systems ausgehend von den analytischen Zentren x(μ) des Ausgangssystems bestimmt wird. 4.3.3 Einﬂuss auf den Dualraum und duale Zentrierung Die Herleitung des Abstandsmaßes δ − (x, μ) f¨ ur das reduzierte System und die Beobachtungen aus dem Abschnitt 4.3.1 machen in der primalen Betrachtung deutlich, dass ein zuvor (primal) zentrierter Punkt nach der Elimination von Nebenbedingungen in Bezug auf den primalen zentralen Pfad

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

111

C − des reduzierten Systems nicht mehr (primal) zentriert ist. Im vorhergehenden Abschnitt 4.3.2 wurde zudem der Einﬂuss der Elimination von Nebenbedingungen auch auf den dualen Raum beschrieben, was zu dem Vorschlag der Anpassung des Barriere-Parameters μ ¯ f¨ uhrte. Insbesondere wurde in der Bemerkung 4.15 die St¨ orung der Zul¨ assigkeitsbedingung f¨ ur das duale Problem (QD) durch die Elimination von Nebenbedingungen gezeigt. Damit wird deutlich, dass das Entfernen von Nebenbedingungen ebenfalls Einﬂuss auf die duale Variable λ aus¨ ubt. Ein zuvor dual zentrierter Punkt λ(μ) ist somit nach der Elimination im reduzierten System als ¯ bzgl. des dualen zentralen Pfades nicht mehr zentriert. Diesen Aspekt λ werden wir im Folgenden n¨ aher untersuchen, um anschließend einen weiteren Vorschlag f¨ ur ein modiﬁziertes Innere-Punkte-Verfahren angeben zu k¨onnen. Auswirkungen f¨ ur die duale Unzul¨ assigkeit

Ê

Es sei (x, λ, s)T ∈ n×m×m ein primal-dual zentrierter Punkt des Ausgangsproblems bzgl. des Barriere-Parameters μ. Die Anwendung der Kriterien zu Identiﬁkation f¨ uhre zur Eliminierung der j-ten Restriktion des Problems. Analog zu der Projektion PjD der dualen Variablen auf Seite 106 ur die Schlupfvariablen f¨ uhren wir eine Projektion PjS : m → m−1 f¨ s∈ m u ¨ ber

Ê

Ê

Ê

PjS

s −→ s¯ := (s1 , . . . , sj−1 , sj+1 , . . . , sm )T ¨ ein. Obwohl die Elimination der j-ten Nebenbedingung zu keiner Anderung des primalen Punktes x ∈ n f¨ uhrt, bedeutet sie f¨ ur die dualen Variablen λ ∈ m und die Schlupfvariablen s ∈ m eine Projektion mit PjD (λ) bzw. PjS (s) in den jeweiligen Hyperraum. In Bezug auf das reduzierte System ¯ m ¯ ¯ s¯) ∈ n×m× ¯ = λ ¯ = P D (λ) ¯ und λ ist der Punkt (x, λ, mit m ¯ = card N N j S bzw. s¯ = sN¯ = Pj (s) dann (primal-dual) nicht mehr zentriert. Da primal-duale Innere-Punkte-Verfahren dem primal-dualen zentralen Pfad hin zum Optimum folgen, ist in diesem Sinne zun¨ achst ein Zentrierungsschritt in Richtung zum zentralen Pfad C − des reduzierten Systems ¯ s¯)T erweist sich ein herk¨ notwendig. Ausgehend von (x, λ, ommlicher Zentrierungsschritt als L¨ osung des Newton-KKT-Systems (2.11) bzgl. μ in diesem Zusammenhang ohne weitere Maßnahmen allerdings als ung¨ unstig. Der Grund daf¨ ur liegt in der Verletzung der dualen Zul¨ assigkeit r¯Q allein durch

Ê

Ê

Ê

Ê

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

112

die Elimination der Nebenbedingung. Mit den folgenden Ausf¨ uhrungen vertiefen wir diesen Sachverhalt. Es sei λ(x, μ) die zentrierte Dualvariable in der Situation vor Entfernen der j-ten Nebenbedingung aus dem Problem bei einem gegebenem primalen Punkt x. Ohne Beschr¨ ankung der Allgemeinheit sei ¯1 , λ ¯2, . . . , λ ¯ j−1 , ξ, λ ¯ j+1 , . . . , λ ¯m T , λ(x, μ) := λ

Ê

wobei ξ ∈ + gerade der j-ten Komponente der Dualvariablen entspricht, die durch die Elimination verschwinden w¨ urde. Wir erhalten so den neuen dualen Variablenvektor ¯ := P D (λ(x, μ)) = (λ ¯1 , . . . , λ ¯ j−1 , λ ¯ j+1 , . . . , λ ¯ m )T ∈ λ j

Êm−1 +

des reduzierten Systems. Wurde vor der Elimination f¨ ur die Bestimmung der Suchrichtung (Δx, Δλ, Δs)T die L¨ osung des Newton-KKT-Systems ⎛ ⎞⎛ ⎞ ⎛ ⎞ −rQ Q −C T Δx 0 ⎝C ⎠ 0 −Im ⎠ ⎝Δλ⎠ = ⎝ −rd (4.39) Δs 0 S Λ −ΛSe + μe mit dem dualen Residuenvektor rQ = Qx + c − C T λ und dem primalen Residuenvektor rd = Cx − s − d gesucht, so ist in der Situation nach der Elimination das in der Dimension reduzierte System ⎛ ⎞⎛ ⎞ ⎛ ⎞ −¯ rQ Q −C¯ T Δx 0 ¯ ⎝C¯ ⎠ −¯ rd 0 −Im (4.40) ¯ ⎠ ⎝Δλ⎠ = ⎝ ¯ ¯ ¯ ¯ Δ¯ s 0 S Λ −ΛS¯ e + μ¯ e zu l¨ osen. W¨ ahrend der f¨ ur die primale Zul¨ assigkeit entscheidende Residu¯ − s¯ − d¯ in dem Sinne verk¨ urzt“ wurde, dass aus rd envektor r¯d = Cx ” die j-te Komponente entfernt wurde, hat die Elimination auf den dualen Residuenvektor r¯Q keine K¨ urzung im Sinne der Anzahl der Komponenten sondern vielmehr eine Ver¨ anderung der Werte der einzelnen Komponenten zur Folge. Im Detail f¨ uhrt die Eliminierung der j-ten Nebenbedingung zu einer Ver¨ anderung der dualen Unzul¨ assigkeit, die wir u ¨ber die Norm mit

rQ bzw. ¯ rQ messen. Es gilt daher: Lemma 4.17 Gegeben sei ein Optimierungsproblem der Form (QP). Wei¯1 , . . . , λ ¯ j−1 , ξ, terhin sei ein primal-dualer Punkt (x, λ) ∈ n×m mit λ := (λ ¯ j+1 , λ ¯m ) gegeben. Es sei λ ¯ := P D (λ) der duale Vektor des durch Elimiλ

Ê

j

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

113

nation der j-ten Nebenbedingung cTj x ≥ dj reduzierten Systems. Dann gilt f¨ ur die duale Unzul¨assigkeit des reduzierten Systems r¯Q = rQ + ξ · cj . Beweis: ¯ r¯Q = Qx + c − C¯ T λ ⎛ ⎞ ⎛ ¯ ⎞ c ·λ i=j i,1 ¯ i i ci,1 · λi − ξ · cj,1 ⎜ ⎜ i=j ci,2 · λi ⎟ ⎟ ⎜ i ci,2 · λi − ξ · cj,2 ⎟ ⎟ ⎜ = Qx + c − ⎜ ⎟ = Qx + c − ⎜ ⎟ .. .. ⎝ ⎠ ⎝ ⎠ . . ¯i ci,n · λi − ξ · cj,n ci,n · λ i

i=j

= Qx + c − C T λ + ξ · cj = rQ + ξ · cj . Allein die Elimination der j-ten Nebenbedingung f¨ uhrt daher zu einer Verletzung der Bedingung f¨ ur die duale Zul¨ assigkeit durch den Vektor ξ · cj . Korollar 4.18 Gegeben sei ein Optimierungsproblem der Form (QP) und ein primal-dualer Punkt (x, λ) ∈ n×m mit λ ≥ 0. Es bezeichne ξ := λj die j-te Komponente der dualen Variablen λ. Dann gilt nach Elimination der j-ten Nebenbedingung f¨ ur die duale Zul¨assigkeit des reduzierten Systems

Ê

¯ rQ ≤ rQ + ξ cj . Beweis: Die Behauptung folgt sofort aus Lemma 4.17 auf Grund der Dreiecksungleichung und der Nicht-Negativit¨ at von λ. Wir erhalten mit Korollar 4.18, dass sich auf Grund der Elimination der j-ten Nebenbedingung die duale Unzul¨ assigkeit im Vergleich zu rQ um h¨ochstens ξ cj verschlechtern kann. Bemerkung 4.19: Auf der anderen Seite schließt das Resultat aus Korollar 4.18 nicht aus, dass sich die duale Unzul¨ assigkeit r¯Q durch Elimination einer Nebenbedingung auch verbessern kann, d. h. ¯ rQ < rQ . Ein solches Verhalten ist f¨ ur ein primal-duales Innere-Punkte-Verfahren f¨ ur eine beschleunigte Bestimmung der optimalen L¨ osung dann von Vorteil.

114

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

Eine Verschlechterung der dualen Unzul¨ assigkeit, d. h. ¯ rQ > rQ , hat f¨ ur ein Innere-Punkte-Verfahren allerdings negative Konsequenzen. Mit einem vorgegebenen Barriere-Parameter μ erh¨ alt man u osung des ¨ber die L¨ Newton-KKT-Systems eine Suchrichtung (Δx, Δλ, Δs)T , die gleichzeitig versucht, sowohl die primale und die duale Unzul¨ assigkeit u ¨ber rd bzw. rQ zu reduzieren, als auch eine Wahl von Dual- und Schlupfvariablen λ bzw. s zu ﬁnden, die den Komplementarit¨ atsbedingungen λi si = μ gen¨ ugt. In diesem Fall gilt dann ¯ > rQ .

¯ rQ = Qx + c − C¯ T λ ¯ F¨ ur eine gew¨ unschte Reduktion von ¯ rQ m¨ ussten folglich Eintr¨ age von λ geeignet ver¨ andert werden. Vorschlag einer modiﬁzierten Zentrierungsrichtung als Korrektor-Schritt Der m¨ ogliche Anstieg der dualen Unzul¨ assigkeit in Folge der Elimination von Nebenbedingungen beeinﬂusst wesentlich die Wahl der Suchrichtung (Δx, Δλ, Δs)T . So wird u ¨ ber die sich direkt an die Elimination anschließenden Pr¨ adiktor-Korrektor-Schritte im herk¨ ommlichen Verfahren haupts¨ achlich zun¨ achst die duale Unzul¨ assigkeit r¯Q reduziert, was sich indirekt auf die simultane Reduktion der Komplementarit¨ atsprodukte auf den Wert μ auswirkt.12 In der Folge wird sich eine geringere Reduktion des Dualit¨ atsmaßes bzw. der Dualit¨ atsl¨ ucke einstellen als im Vergleich zu der Situation vor Elimination der Nebenbedingungen. F¨ ur den Fall der Verschlechterung der dualen Unzul¨ assigkeit ¯ rQ ≥

rQ nach jeder Elimination schließt sich daher die Frage an: Kann ausge¯ s¯)T des reduzierten Systems eine duale Korrekhend von dem Punkt (x, λ, ¯ gefunden werden, so dass der entstehende Punkt (x, λ, ˜ s¯)T turrichtung Δλ ˜ := λ ¯ + Δλ ¯ den folgenden Eigenschaften gen¨ mit λ ugt:

Ê

¯ ˜ ∈ m a) der entstehende Punkt λ sei ein m¨ oglichst dual zentrierter ˜ ¯ Punkt, d. h. λ ≈ λ(x, μ) und erf¨ ulle die Bedingung der dualen Zul¨ assigkeit r¯Q = 0 des reduzierten Systems, 12 Zur

Erinnerung: Innerhalb der Innere-Punkte-Verfahren wird durch die L¨ osung des Newton-KKT-Systems eine L¨ osung (Δx, Δλ, Δs)T f¨ ur die Suchrichtung gesucht, so dass die einzelnen Komplementarit¨ atsprodukte der Gleichung (λi +Δλi )·(si +Δsi ) = μ f¨ ur i = 1, . . . , m gen¨ ugen.

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

115

˜i s¯i = (λ ¯ i +Δλ ¯ i )· s¯i f¨ b) die Komplementarit¨ atsprodukte λ ur i = 1, . . . , m ¯ gen¨ ugen m¨ oglichst der Komplementarit¨ atsbedingung zum Wert μ und c) der innerhalb des L¨ osungsverfahrens primal erreichte Fortschritt wird konserviert, d. h. x und s¯ bleiben m¨ oglichst unver¨ andert. Idealerweise suchen wir daher im Anschluss an die Eliminierung von Neben¯ Δ¯ bedingungen nach einem geeigneten Zentrierungsschritt (Δx, Δλ, s)T mit ¯ einem dualen Korrekturvektor Δλ, mit dessen Hilfe die duale Zul¨ assigkeit f¨ ur das reduzierte System wiederhergestellt wird, also ¯ + Δλ ¯ =0 Qx + c − C¯ T λ erf¨ ullt ist und gleichzeitig die Abweichung der Komplementarit¨ atsprodukte ¯ + Δλ) ¯ i · s¯i von dem aktuell vorgegebenen Wert μ f¨ (λ ur alle verbleibenden ¯ i = 1, . . . , m ¯ minimal bleibt bzw. wird. Die Bestimmung eines solchen Δλ f¨ uhrt damit auf die L¨ osung des Optimierungsproblems ¯ + Δλ) ¯ − μ¯ ¯ + Δλ) ¯ = −c . ¯λ min S( e | Qx − C¯ T (λ (4.41) ¯ Δλ

Bemerkung 4.20: In dem Optimierungsproblem (4.41) erkennen wir das analoge Problem zur Berechnung des Abstandsmaßes δ − (x, μ) aus dem Beweis von Lemma 4.11 wieder, f¨ ur das hier allerdings statt der minimalen ¯ ∗ zu bestimmen ist. Norm als Zielfunktionswert das Argument Δλ ¯ ∗ l¨ asst sich mit der Forderung der Der gesuchte optimale duale Schritt Δλ dualen Zul¨ assigkeit f¨ ur λ und der schon auf Seite 93 genutzten Beziehung ¯ = ξ · cj aus (4.31) damit eindeutig u C¯ T Δλ ¨ ber ¯ ∗ = arg min S( ¯ + Δλ) ¯ − μ¯ ¯ + Δλ) ¯ = −c ¯λ Δλ e | Qx − C¯ T (λ ¯ Δλ ¯ − μ¯ ¯ | Qx − C¯ T (λ ¯ + Δλ) ¯ = −c ¯ λ e + SΔ = arg min S¯λ ¯ Δλ ¯ | C¯ T Δλ ¯ = ξ · cj ¯ λ = arg min SΔ ¯ Δλ

bestimmen. Wir erhalten analog dem Ergebnis in der Gleichung (4.34) schließlich ¯ ∗ = ξ S¯−2 C( ¯ C¯ T S¯−2 C) ¯ −1 cj . Δλ

(4.42)

116

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

¯ u ¯ ∗ erreichte Der ausgehend von λ ¨ ber die so berechnete Richtung Δλ ¯ + Δλ ¯∗ und f¨ ur das reduzierte System dual nun gut zentrierte Punkt λ gew¨ ahrleistet (zumindest dual) ideale Ausgangsbedingungen f¨ ur die n¨ achste Iteration des primal-dualen L¨ osungsverfahrens, w¨ ahrend wir uns mit x primal zumindest nicht verschlechterten. F¨ ur die praktische Umsetzung in¯∗ u nerhalb eines L¨ osungsverfahrens ist die direkte Berechnung von Δλ ¨ ber die Gleichung (4.42) zur Modiﬁkation der Dualvariablen auf Grund des hohen zus¨ atzlichen rechentechnischen Aufwandes allerdings zu vermeiden. Es ¯ ∗ auch u stellt sich die Frage, ob Δλ ¨ ber die gewohnte Vorgehensweise im Rahmen der L¨ osung eines (m¨ oglicherweise anzupassenden) Newton-KKTSystems als Suchrichtung bestimmt werden kann? Aufschluss dar¨ uber gibt der folgende Satz. Satz 4.21 Gegeben sei ein Optimierungsproblem der Form (QP) und ein ¯ := primal-dual zentrierter Punkt (x(μ), λ(μ), s(μ))T ∈ n×m×m . Es gehe λ D Pj (λ(μ)) des um die j-te Nebenbedingung reduzierten Systems durch Projektion aus λ(μ) hervor. Dann l¨asst sich ¨ uber die L¨osung des reduzierten Newton-KKT-Systems ⎛ ⎞ ⎞⎛ ⎞ ⎛ −¯ rQ Q −C¯ T Δx 0 ¯⎠ = ⎝ ⎝C¯ ⎠ 0 (4.43) 0 −Im ¯ ⎠ ⎝Δλ ¯ Se ¯ + μe ¯ ¯ Δ¯ s −Λ 0 S Λ

Ê

¯ die duale Suchrichtung Δλ ¯ ¨ mit r¯Q = Qx(μ) + c − C¯ T λ uber ¯ = ξ · S¯−2 C¯ μ−1 Q + C¯ T S¯−2 C¯ −1 cj Δλ bestimmen.

(4.44)

Ê

Beweis: Der Punkt (x(μ), λ(μ), s(μ))T ∈ n×m×m gen¨ ugt der Bedingung f¨ ur die duale Zul¨ assigkeitskeit Qx(μ) + c − C T λ(μ) = 0 und den Komplementarit¨ atsbedingungen λi (μ)si (μ) = μ f¨ ur alle i ∈ 1, . . . , m. Es bezeichne ¯1 , . . . , λ ¯j−1 , ξ, λ ¯ j+1 , . . . , λ ¯m λ(μ) := λ die duale Komponente des aktuellen, zentrierten Punktes f¨ ur das nicht˜ den gesuchten dualen Referenzpunkt f¨ reduzierte System. Es bezeichne λ ur ¯ eine duale Suchrichtung, so dass gilt λ ˜ = das reduzierte System und Δλ ¯ + Δλ. ¯ Zur Vereinfachung der Schreibweise verzichten wir im Folgenden λ f¨ ur die primale Variable x(μ) und die primale Schlupfvariable s(μ) auf die Angabe des Bezuges μ und schreiben kurz x bzw. s.

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

117

Mit der Voraussetzung λ(μ)i ·si = μ f¨ ur alle i = 1, . . . , m gilt insbesondere ¯ i s¯i = μ f¨ ¯ . Aus dem Block der ur alle i ∈ N auch f¨ ur das reduzierte System λ Komplementarit¨ atsbedingungen des Gleichungssystems (4.43) erhalten wir dann ¯ + ΛΔ¯ ¯ = S¯−1 −Λ ¯ λ ¯ s = −Λ ¯ Se ¯ + μe ⇐⇒ Δλ ¯ Se ¯ + μe − ΛΔ¯ ¯ s SΔ ¯ Se ¯ +S¯−1 μe − S¯−1 ΛΔ¯ ¯ s = −S¯−1 Λ μe

¯ s. = −S¯−1 ΛΔ¯ ¯ Mit CΔx = Δ¯ s aus dem zweiten Block von Gleichungssystem (4.43) folgt ¯ = −S¯−1 Λ ¯ CΔx. ¯ Δλ

(4.45)

Aus dem Block zur dualen Zul¨ assigkeit von Gleichungssystem (4.43) erh¨ alt man ¯ = −¯ QΔx − C¯ T Δλ rQ ¯ = −Qx − c + C¯ T λ = −Qx − c + C T λ(μ) − ξ · cj ¯ − ξ · cj . Nach und damit nach Umstellen Qx + c − C T λ(μ) + QΔx = C¯ T Δλ T Voraussetzung sei f¨ ur das unreduzierte System Qx+ c− C λ(μ) = 0 erf¨ ullt, d. h. es gilt ¯ − ξ · cj . QΔx = C¯ T Δλ (4.46) ¯ C¯ Δx = −ξ · cj Durch Einsetzen von (4.45) in (4.46) folgt Q + C¯ T S¯−1 Λ ¯ = μS¯−1 e schließlich Q + μC¯ T S¯−2 C¯ Δx = −ξ · cj und daraus wegen Λe bzw. ¨ aquivalent μ μ−1 Q + C¯ T S¯−2 C¯ Δx = −ξ·cj . Wir erhalten als primale Suchrichtung damit −1 Δx = −μ−1 μ−1 Q + C¯ T S¯−2 C¯ ξ · cj . ¯ Wegen CΔx = Δ¯ s ergibt sich f¨ ur Δ¯ s schließlich −1 Δ¯ s = −μ−1 C¯ μ−1 Q + C¯ T S¯−2 C¯ ξ · cj ,

118

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

¯ von links und wegen S¯−1 e = μ−1 Λe ¯ woraus sich durch Multiplikation mit Λ schließlich ¯ s = −μ−1 Λ ¯ C¯ μ−1 Q + C¯ T S¯−2 C¯ −1 ξ · cj ΛΔ¯ −1 = −S¯−1 C¯ μ−1 Q + C¯ T S¯−2 C¯ ξ · cj ¯ i s¯i = μ f¨ ¯ + ΛΔ¯ ¯ gilt mit SΔ ¯ λ ¯ s = −Λ ¯ Se ¯ + μe ergibt. Wegen λ ur alle i ∈ N dann ¯ = −ΛΔ¯ ¯ λ ¯ s SΔ −1 = S¯−1 C¯ μ−1 Q + C¯ T S¯−2 C¯ ξ · cj und damit abschließend die Behauptung f¨ ur die sich ergebende duale Suchrichtung ¯ = ξ · S¯−2 C¯ μ−1 Q + C¯ T S¯−2 C¯ −1 cj Δλ zum (dual) zentrierten Pfad des reduzierten Systems.

Die sich als Resultat dieses Satzes durch L¨ osung des Gleichungssystems ¯ ¨ (4.43) ergebende duale Suchrichtung Δλ ahnelt der gew¨ unschten dualen ¯ ∗ nach Gleichung (4.42). Die Ermittlung der beiden RichSuchrichtung Δλ tungen unterscheidet sich lediglich durch den Term μ−1 Q. ¨ F¨ ur die quadratische Optimierung wird die Ahnlichkeit der beiden Vektoren entscheidend von der Gr¨ oße QΔx bestimmt, wie das folgende Korollar zeigt. Korollar 4.22 Unter den Voraussetzungen von Satz 4.21 ermittelt sich die ¯ als duale Komponente der L¨osung (Δ¯ ¯ Δ¯ Richtung Δλ x, Δλ, s)T des Systems (4.43) ¨ uber ¯ = Δλ ¯ ∗ + S¯−2 C¯ C¯ T S¯−2 C¯ −1 QΔx. Δλ Beweis: Es gilt wegen Gleichung (4.46) im Beweis von Satz 4.21 ¯ − ξ · cj QΔx = C¯ T Δλ

(4.47)

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

119

¯ = ξ · cj + QΔx. Mit Δλ ¯ = −S¯−1 Λ ¯ CΔx ¯ und damit C¯ T Δλ eingesetzt, erh¨ alt man ¯ = −C¯ T S¯−1 Λ ¯ CΔx ¯ C¯ T Δλ = ξ · cj + QΔx und daraus durch Auﬂ¨ osen nach Δx schließlich T −1 ¯ C¯ −1 ξ · cj − C¯ T S¯−1 Λ ¯ C¯ −1 QΔx. Δx = − C¯ S¯ Λ ¯ Wegen CΔx = Δ¯ s folgt daraus ¯ C¯ −1 ξ · cj − C¯ C¯ T S¯−1 Λ ¯ C¯ −1 QΔx Δ¯ s = −C¯ C¯ T S¯−1 Λ ¯ von links insgesamt und daraus durch Multiplikation mit Λ ¯ s = −Λ ¯ C¯ C¯ T S¯−1 Λ ¯ C¯ C¯ T S¯−1 Λ ¯ C¯ −1 ξ · cj − Λ ¯ C¯ −1 QΔx. ΛΔ¯ ¯ = −ΛΔ¯ ¯ λ ¯ s erh¨ Wegen SΔ alt man ¯ = S¯−1 Λ ¯ C¯ C¯ T S¯−1 Λ ¯ C¯ −1 ξ · cj + S¯−1 Λ ¯ C¯ C¯ T S¯−1 Λ ¯ C¯ −1 QΔx Δλ ¯ C¯ −1 ξ · cj + μS¯−2 C¯ C¯ T S¯−1 Λ ¯ C¯ −1 QΔx = μS¯−2 C¯ C¯ T S¯−1 Λ −1 −1 ξ · cj + S¯−2 C¯ C¯ T S¯−2 C¯ QΔx = S¯−2 C¯ C¯ T S¯−2 C¯ ¯∗ Δλ

und daraus schließlich die Behauptung.

Das Resultat von Korollar 4.22 verdeutlicht, dass die dualen Suchrichtun¯ gem¨ ¯ ∗ aus Gleichung (4.42) und Δλ aß Satz 4.21 u gen Δλ ¨ber den Term QΔx von einander abh¨ angen. Bemerkung 4.23: Das Gleichungssystem (4.43) in Satz 4.21 unterscheidet sich von dem im herk¨ ommlichen Innere-Punkte-Verfahren zu l¨ osenden Gleichungssystem (4.40) dahingehend, dass die zweite Komponente der rechten Seite anstatt −¯ rd nun 0 gesetzt wird. In diesem Sinne wird von dem ¯ + Δλ, ¯ s¯ + Δ¯ Punkt (x + Δx, λ s)T die Einhaltung der primalen Zul¨ assigkeit nicht gefordert. Unter Nichtber¨ ucksichtigung der Abh¨ angigkeiten in den Komplementarit¨ atsbedingungen w¨ urde das Newton-Verfahren hier Δx = 0 und Δs = 0 als L¨osung liefern. Durch das Entfernen der j-ten Nebenbedingung ver¨ andert sich allerdings im Gleichungssystem (4.43) die Bedingung f¨ ur die duale Zul¨ assigkeit, so

120

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

¯ = 0 die Gleichung QΔx− C¯ T Δλ+ξ·c ¯ dass nun anstatt von QΔx− C¯ T Δλ j = 13 0 gel¨ ost werden muss. Die Wahl von Δλ erfolgt daher in Abh¨ angigkeit der ¯ + ΛΔ¯ ¯ λ ¯ s = −Λ ¯ Se ¯ + μe im GleichungssysKomplementarit¨ atsbedingung SΔ tem (4.43). Auf Grund der komplement¨ aren Beziehung der Dualvariablen ¯ i und der Schlupfvariablen s¯i werden große Werte von Δλ ¯ i jeweils nur im λ Zusammenhang mit kleinen Schlupfvariablen s¯i auftreten. Insgesamt wird ¯ daher die Reduktion der dualen Unzul¨ assigkeit durch die Wahl von Δλ ¯ geringe Auswirkungen auf Δ¯ s und mit CΔx = Δ¯ s in Folge dessen auf die primale Suchrichtung Δx haben. Dieses Verhalten motiviert anschaulich insbesondere die Gleichung (4.45) auf Seite 117. Die Anwendung des Satzes 4.21 und damit die Bestimmung der dualen ¯ nach dem Gleichungssystem (4.43) ist im Vergleich zur Suchrichtung Δλ L¨osung u ur den aktuellen Punkt ¨ ber (4.40) immer dann sinnvoll, wenn f¨ ¯ s¯)T die primale Zul¨ (x, λ, assigkeit verletzt ist, d. h. ¯ rd > 0, wie im Folgenden gezeigt wird. Lemma 4.24 Es gelten die gleichen Voraussetzungen wie in Satz 4.21 und ˘ die L¨osung f¨ es bezeichne hier Δλ ur die duale Suchrichtung gem¨aß dem herk¨ommlichen um die j-te Nebenbedingung reduzierten Gleichungssystem (4.40) ⎛ ⎞⎛ ⎞ ⎛ ⎞ Δx Q −C¯ T 0 −¯ rQ ⎝C¯ ˘⎠ = ⎝ ⎠. −¯ rd 0 −Im ¯ ⎠ ⎝Δλ ¯ ¯ S¯ ¯e + μ¯ 0 S¯ Λ −Λ e Δ¯ s ¯ und dem primalen mit dem dualen Residuenvektor r¯Q = Qx + c − C¯ T λ ¯ die modiﬁzierte ¯ Residuenvektor r¯d = Cx − s¯ − d. Weiterhin bezeichne Δλ ˘ duale Suchrichtung gem¨aß (4.43) nach Satz 4.21. Dann ermittelt sich Δλ uber ¨ ˘ = Δλ ¯ − μS¯−2 Im ¯ r¯d . ¯ ¯ T ¯−2 C¯ −1 C¯ T S¯−1 Λ Δλ (4.48) ¯ − C Q + μC S ¯ i s¯i = μ f¨ ¯ . Aus den Kompleur alle i ∈ N Beweis: Nach Voraussetzung gilt λ −1 ¯ ˘ ¯ ¯ mentarit¨ atsbedingungen ergibt sich dann Δλ = −S ΛΔ¯ s. Wegen CΔx − ¯ Δ¯ s = −¯ rd ist Δ¯ s = CΔx + r¯d . Damit ergibt sich durch Einsetzen ˘ = −S¯−1 Λ ¯ CΔx ¯ Δλ + r¯d . 13 Siehe

dazu Gleichung (4.46) im Beweis von Satz 4.21.

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

121

˘− Analog zu Gleichung (4.46) im Beweis von Satz 4.21 gilt QΔx = C¯ T Δλ ξ · cj . Damit ergibt sich wiederum durch Einsetzen ¯ CΔx ¯ QΔx = −C¯ T S¯−1 Λ + r¯d − ξ · cj ¯ CΔx ¯ ¯ · r¯d − ξ · cj = −C¯ T S¯−1 Λ − C¯ T S¯−1 Λ und damit durch Auﬂ¨ osen nach Δx schließlich ¯ C¯ −1 C¯ T S¯−1 Λ ¯ · r¯d − Q + C¯ T S¯−1 Λ ¯ C¯ −1 ξ · cj . Δx = − Q + C¯ T S¯−1 Λ ¯ Wegen CΔx − Δ¯ s = −¯ rd folgt dann ¯ C¯ −1 C¯ T S¯−1 Λ ¯ · r¯d Δ¯ s = r¯d − C¯ Q + C¯ T S¯−1 Λ ¯ C¯ −1 ξ · cj . − C¯ Q + C¯ T S¯−1 Λ ¯ liefert Multiplikation von links mit Λ ¯ s = Λ¯ ¯ rd − Λ ¯ C¯ −1 C¯ T S¯−1 Λ ¯ · r¯d ¯ C¯ Q + C¯ T S¯−1 Λ ΛΔ¯ ¯ C¯ Q + C¯ T S¯−1 Λ ¯ C¯ −1 ξ · cj −Λ ˘ = −ΛΔ¯ ¯ λ ¯ s und Λ ¯ S¯ ¯e = μ¯ und u e erh¨ alt man ¨ ber den Zusammenhang SΔ ˘ = −S¯−1 Λ¯ ¯ rd + S¯−1 Λ ¯ C¯ Q + C¯ T S¯−1 Λ ¯ C¯ −1 C¯ T S¯−1 Λ ¯ · r¯d Δλ −1 ¯ C¯ Q + C¯ T S¯−1 Λ ¯ C¯ + S¯−1 Λ ξ · cj −1 T −1 −2 −2 T −2 ¯ · r¯d = −μS¯ r¯d + μS¯ C¯ Q + μC¯ S¯ C¯ C¯ S¯ Λ −1 ¯ C¯ Q + μC¯ T S¯−2 C¯ + S¯−1 Λ ξ · cj ¯ Δλ

und damit schließlich die Behauptung ˘ = Δλ ¯ − μS¯−2 Im ¯ ¯ T ¯−2 C¯ −1 C¯ T S¯−1 Λ ¯ · r¯d . Δλ ¯ + C Q + μC S Wir erhalten unmittelbar das folgende Resultat f¨ ur den Zusammenhang ˘ und Δλ. ¯ der beiden betrachteten dualen Suchrichtungen Δλ

122

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

˘ und Δλ ¯ Korollar 4.25 F¨ ur r¯d = 0 gilt f¨ ur die dualen Suchrichtungen Δλ als L¨osungen der Gleichungssysteme (4.40) bzw. (4.43) die Gleichheit ˘ = Δλ. ¯ Δλ Beweis: Die Behauptung folgt sofort aus Lemma 4.24, indem der Vektor f¨ ur die primale Zul¨ assigkeit r¯d = 0 gesetzt wird. Die bis hierhin erarbeiteten Resultate beschreiben die Situation f¨ ur ein ¨ primal-duales L¨ osungsverfahren im Falle des Ubergangs auf das um die als nicht-aktiv identiﬁzierten Restriktionen reduzierte System. Ausgehend von dem aktuell zentrierten Punkt (x(μ), λ(μ), s(μ))T des nicht-reduzierten ¯ versucht, einen dualen Punkt Systems wird durch den dualen Schritt Δλ ˜ λ(μ) mit den oben beschriebenen, gew¨ unschten Eigenschaften zu erreichen. Da der bisherige primale Fortschritt“ m¨ oglichst konserviert werden soll, ” ¨ ¯ als L¨ w¨are Δx ≈ 0 w¨ unschenswert. Uber Δλ osung des Gleichungssystems ˜ s˜ (4.43) erreicht man dann den Punkt (˜ x, λ, ¯)T als gut zentrierten Punkt f¨ ur ˜i s˜ das reduzierte System, f¨ ur den die Komplementarit¨ atsprodukte λ ¯i = μ m¨oglichst eingehalten werden. Dabei unterscheidet sich der Punkt x ˜ in Abh¨ angigkeit von QΔx nur geringf¨ ugig von dem vorherigen primalen Punkt x. Bemerkung 4.26: Das Resultat des Satzes 4.21 mit der Ermittlung von ¯ kann auch im Sinne eines dualen Warmstarts interpretiert werden. AusΔλ ¯ s¯)T des reduzierten Systems wird ein gehend von dem aktuellen Punkt (x, λ, ¯ geeignetes Update Δλ der Dualvariablen bestimmt, so dass die Wahl des ˜ die duale Zul¨ dadurch entstehenden dualen Punktes λ assigkeit innerhalb des reduzierten Systems wiederherstellt. Bemerkung 4.27: Der Satz 4.21 zeigt mit der so ermittelten modiﬁzier¯ weiter, dass eine derartige duale Zentrierung ten dualen Suchrichtung Δλ im Anschluss an die Elimination von Nebenbedingungen besser ist, je gr¨ oßer der Barriere-Parameter μ ist. Die Bestimmung der modiﬁzierten Suchrichtung gem¨ aß Satz 4.21 zeigt daher in fr¨ uhen Iterationen eines Innere-PunkteVerfahrens einen gr¨ oßeren Eﬀekt. Wie sich abschließend zeigen l¨ asst, ergibt sich f¨ ur ein lineares Optimierungsproblem die direkte Folgerung:

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen 10

10

10

10

10

5

10

5

10

5

10

0

10

0

0

Q

Q

||rQ||

10

||r ||

10

||r ||

10

−5

−5

10

−10

10

−15

0

10

−10

10

10

−5

10

−10

10

−15

5

k

10

10

15

123

0

−15

5

k

10

15

10

0

2

4

6

k

8

10

12

Abbildung 4.8: Vergleich der dualen Unzul¨assigkeiten rQ je Iteration k f¨ ur ein mit dem herk¨ommlichen Mehrotra-Pr¨adiktorKorrektor-Verfahren gel¨ostes Beispielproblem ohne Elimination (MPC), mit Elimination (MPC/E) und mit Elimination im modiﬁzierten Verfahren (MPCE) Korollar 4.28 Gegeben seien ein lineares Optimierungsproblem der Form minn cT x, u. d. N. Cx ≥ d

x∈

Ê

Ê

Ê

mit einem Vektor c ∈ n und einer Nebenbedingungsmatrix C ∈ m×n sowie ein primal-dual zentrierter Punkt (x(μ), λ(μ), s(μ))T ∈ n×m×m . ¯ nach Satz 4.21 die Gleichheit Dann gilt f¨ ur die duale Suchrichtung Δλ

Ê

¯ = Δλ ¯∗ Δλ ¯ ∗ gem¨aß Gleichung (4.42). mit Δλ Beweis: Durch Setzen der Matrix Q = 0 in Satz 4.21 l¨asst sich der betrachtete quadratische Fall analog auf die lineare Optimierung u ¨bertragen. ¯ = ξ · S¯−2 C¯ C¯ T S¯−2 C¯ −1 cj = Δλ ¯ ∗ und damit die Damit folgt sofort Δλ Behauptung. F¨ ur ein lineares Optimierungsproblem erh¨alt man direkt die gew¨ unschte ¯ ∗ durch L¨osen des Gleichungssystems (4.43) als die sich Suchrichtung Δλ ¯ ergebende Suchrichtung Δλ. Die Abbildung 4.8 auf dieser Seite zeigt im Vergleich die charakteristische Entwicklung der dualen Unzul¨assigkeiten rQ f¨ ur ein mit dem herk¨ommlichen Mehrotra-Pr¨adiktor-Korrektor-Verfahren gel¨ostes Beispielproblem ohne die Elimination nicht-aktiver Restriktionen (MPC), mit der Elimination nicht-aktiver Restriktionen (MPC/E) und schließlich auf Grundlage des

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

124

f (x)

MPC/E

6

10

MPCE 0

1

2

3

4

5

6

7

k

8

9

10

11

12

13

14

15

Abbildung 4.9: Darstellung der Zielfunktionswerte je Iteration bei Elimination nicht-aktiver Nebenbedingungen mit modiﬁzierter Zentrierungsrichtung

Vorschlags der dualen Zentrierungsrichtung f¨ ur das modiﬁzierte Verfahren (MPCE). Zu beachten ist die logarithmische Skalierung in der Darstellung f¨ ur rQ . W¨ ahrend die duale Unzul¨ assigkeit im herk¨ ommlichen Verfahren fast identische Werte um 10−10 annimmt, sind markante Spr¨ unge bis auf Werte von 107 in den Verfahren mit Elimination nicht-aktiver Nebenbedingungen zu erkennen. Die signiﬁkanten Anstiege der Werte der Unzul¨ assigkeit treten dabei jeweils nach der Elimination von Nebenbedingungen auf. Beim herk¨ ommlichen Verfahren mit Elimination wird die dadurch vergr¨ oßerte duale Unzul¨ assigkeit in den jeweils folgenden Iterationen langsam sukzessiv abgebaut. Im modiﬁzierten Verfahren ist dagegen der Einﬂuss der neuen dualen Zentrierungsrichtung unverkennbar. Die Konstruktion der vorgeschlagenen modiﬁzierten Zentrierungsrichtung u osung des Minimierungspro¨ ber die L¨ blems (4.41) erzwingt die Wiederherstellung der dualen Zul¨ assigkeit f¨ ur ¯ + Δλ ¯ ∗ . Die sofortige erfolgreiche Reduktion f¨ λ ur rQ direkt nach der Elimination ist f¨ ur das modiﬁzierte Verfahren in der rechten Darstellung von Abbildung 4.8 neben einer deutlichen Reduktion der Iterationszahl gut ersichtlich. In der jeweils folgenden Iteration kann so auf Grund der reduzierten dualen Unzul¨ assigkeit ein st¨ arkerer primaler Fortschritt erreicht werden.

Vorschl¨ age f¨ ur ein Verfahren zur Elimination nicht-aktiver Restriktionen

125

Mit dem Vorschlag der so modiﬁzierten Zentrierungsrichtung wird die primale Verschlechterung“ nach der Elimination von Nebenbedingungen ” – wie auf Seite 114 beschrieben – verhindert. Die Abbildung 4.9 auf der vorherigen Seite verdeutlicht das neue Verhalten innerhalb des Verfahrens anhand der Funktionswerte der quadratischen Zielfunktion f¨ ur ein Beispielproblem. Die untere blaue Kurve l¨ asst im Gegensatz zur oberen Kurve des Mehrotra-Verfahrens erkennen, dass keine signiﬁkanten Spr¨ unge im Verlauf der Zielfunktionswerte je Iteration k zu erkennen sind, wenn die modiﬁzierte Zentrierungsrichtung innerhalb des Verfahrens nach Elimination verwendet wird.

4.3.4 Eine Kollektor-Heuristik Mit den erarbeiteten Ergebnissen des bisherigen Kapitels wurde deutlich, dass f¨ ur ein modiﬁziertes primal-duales Innere-Punkte-Verfahren eine Reihe von Besonderheiten im Zusammenhang mit der Elimination von Nebenbedingungen zu ber¨ ucksichtigen sind. Auf Grund der Reduktion des Dualit¨ atsmaßes wurde eine Reduktion f¨ ur den Barriere-Parameter μ vorgeschlagen. Die gew¨ ohnliche Zentrierungsrichtung bzgl. μ ersetzen wir mit ¯ wie im letzten Abschnitt Hilfe der rein dualen Zentrierungsrichtung Δλ 4.3.3 beschrieben, um der Verschlechterung der dualen Unzul¨ assigkeit im reduzierten System und der damit einhergehenden Verschlechterung“ f¨ ur ” den primalen Fortschritt eines Verfahrens entgegenzuwirken. Ein solcher rein dualer Zentrierungsschritt hat auf Grund der gew¨ ahlten Konstruktion keinen Einﬂuss auf den primalen Iterationspunkt innerhalb eines Innere-Punkte-Verfahrens. Der Zentrierungsschritt dient in diesem Sinne lediglich zur Anpassung des dualen Problems an die neuen Gegebenheiten f¨ ur das reduzierte Problem. Innerhalb eines so modiﬁzierten primaldualen Verfahrens reagiert man in dieser Weise auf den sich ¨ andernden zentralen Pfad C − und stellt somit eine vergleichbare Ausgangssituation f¨ ur den Fortgang des Verfahrens im reduzierten Systems im Vergleich zur Situation vor der Elimination der Nebenbedingungen her. Bemerkung 4.29: Die Notwendigkeit eines reinen dualen Zentrierungsschritts gem¨ aß Gleichung (4.42) ist nur dann gegeben, wenn die Elimination von Nebenbedingungen zu einer Verschlechterung der dualen Unzul¨ assigkeit f¨ uhrt, d. h. wenn ¯ rQ > rQ gilt. Andernfalls ist die Anwendung eines herk¨ ommlichen Zentrierungsschrittes sinnvoll.

126

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

Auf Grund des primalen Stillstands“ f¨ ur das Verfahren durch den dua” len Zentrierungsschritt nach Elimination einer Nebenbedingung erscheint es sinnvoll, die Elimination erst ab einer geeigneten Anzahl |J(col) | identiﬁzierter Nebenbedingungen durchzuf¨ uhren, wobei J(col) die Indexmenge der identiﬁzierten aber nicht eliminierten Nebenbedingungen bezeichne. Dabei sollte die Kardinalit¨ at |J(col) | der auf diese Weise gesammelten“ Nebenbe” dingungen so groß gew¨ ahlt werden, dass der Stillstand des Verfahrens durch die rechentechnischen Ersparnisse in Form einer signiﬁkanten Verk¨ urzung der L¨ osungszeit und der Reduktion der Iterationszahl kompensiert wird. Mit der Aussage von Lemma 4.17 wurde gezeigt, dass die Ver¨ anderung f¨ ur die duale Unzul¨ assigkeit ¯ rQ bei der Elimination der j-ten Nebenbedingung vom Wert der j-ten Dualvariablen λj =: ξ und dem Koeﬃzientenvektor cj der j-ten Nebenbedingung abh¨ angt. Eine geringf¨ ugige Abweichung der dualen Unzul¨ assigkeit ¯ rQ im reduzierten System von rQ

des Ausgangssystems bedeutet daher immer auch eine geringe Ver¨ anderung der Zentralit¨ at. Aus diesem Grund f¨ uhren wir einen modiﬁzierten dualen Zentrierungsschritt immer nur dann aus, wenn die relative Ver¨ anderung der dualen Unzul¨ assigkeit bezogen auf die Datennorm einen vorgegebenen Schwellenwert u ¨ berschreitet, d. h.

¯ rQ ∞ − rQ ∞ ≥ 10−3 Q, A, C, b, c, d ∞ .

(4.49)

Ist diese Bedingung nicht erf¨ ullt, die Ver¨ anderung der dualen Unzul¨ assigkeit demnach gering, dann f¨ uhren wir einen herk¨ ommlichen Zentrierungsschritt nach Mehrotra aus. Ein Schwellenwert von 10−3 hat sich auf Grund der heuristischen Beobachtungen dabei als geeignet herausgestellt.

4.4 Algorithmus fu ¨ r ein modiﬁziertes primal-duales Innere-Punkte-Verfahren (MPCE) Mit den Vor¨ uberlegungen der vorangegangenen beiden Unterkapitel sind wir nun in der Lage, ein algorithmisches Vorgehen f¨ ur ein modiﬁziertes Pr¨adiktor-Korrektor-Verfahren (MPCE) zur Elimination nicht-aktiver Nebenbedingungen anzugeben, das wir einbetten in das vorgestellte primalduale Ger¨ ust der Innere-Punkte-Verfahren nach Mehrotra. Algorithmus 4.30 (MPCE): Require: (x0 , λ0 , s0 )T ∈ F 0 Setze k := 0

Algorithmus f¨ ur ein modiﬁziertes primal-duales Innere-Punkte-Verfahren

127

repeat {Pr¨ ufe und eliminiere nicht-aktive Nebenbedingungen} if Nebenbedingungen wurden eliminiert then ¯ I := I¯ = Im ¯ ¯ d := d, Setze C := C, ¯k ¯ , λk := λk , sk := s T¯ ¯ Bestimme r¯Q := Qxk + c − C λk und ¯ rQ ∞ Setze m ¯ η λTk sk μk := m m Setze m := m ¯ else Bestimme rQ ∞ , Setze ¯ rQ ∞ := rQ ∞ Setze μk := (λTk sk )/m end if {Pr¨ adiktor-Schritt} aﬀ aﬀ T Berechne (Δxaﬀ osen von k , Δλk , Δsk ) durch L¨ ⎛ ⎞ ⎞ ⎛ ⎞ ⎛ Q −C T 0 Δxaﬀ −rQ k ⎝C ⎠ = ⎝ −rd ⎠ , 0 −I ⎠ ⎝Δλaﬀ k 0 Sk Λk −Λk Sk e Δsaﬀ k wobei rQ := Qxk − C T λk + c und rd := Cxk − sk − d Setze μaﬀ k :=

aﬀ T aﬀ aﬀ T (λk + αaﬀ k Δλk ) (sk + αk Δsk ) m

aﬀ aﬀ aﬀ aﬀ f¨ ur geeignetes αaﬀ k so dass (λk + αk Δλk , sk + αk Δsk ) > 0 Setze ν σk := (μaﬀ k /μk )

{Korrektor-Schritt} if ¯ rQ ∞ − rQ ∞ ≥ 10−3 Q, A, C, b, c, d ∞ then {modiﬁzierter Zentrierungsschritt notwendig}

128

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

Berechne (Δxmod , Δλmod , Δsmod )T durch L¨ osen von k k k ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ Q −C T 0 Δxmod −rQ k ⎝C ⎠=⎝ ⎠, 0 −I ⎠ ⎝Δλmod 0 k aﬀ aﬀ 0 Sk −Λ Λk S e + μ e − ΔΛ ΔS Δsmod k k k k k k wobei rQ := Qxk − C T λk + c und rd := Cxk − sk − d Setzte (Δxk , Δλk , Δsk )T := (Δxmod , Δλmod , Δsmod )T k k k else {Herk¨ ommlicher Zentrierungsschritt nach Mehrotra} Berechne (Δxk , Δλk , Δsk )T durch L¨ osen von ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ −rQ Q −C T Δxk 0 ⎝C ⎠, 0 −I ⎠ ⎝Δλk ⎠ = ⎝ −rd aﬀ 0 Sk Λk Δsk −Λk Sk e + σk μk e − ΔΛaﬀ ΔS k k wobei rQ := Qxk − C T λk + c und rd := Cxk − sk − d end if Setze (xk+1 , λk+1 , sk+1 )T := (xk , λk , sk )T + αk (Δxk , Δλk , Δsk )T f¨ ur geeignetes αk , so dass (λk+1 , sk+1 ) > 0 Setze k := k + 1 until Abbruchbedingung ist erf¨ ullt.

Das herk¨ ommliche Pr¨ adiktor-Korrektor-Verfahren nach Mehrotra (MPC) wird nach dem hier pr¨ asentierten Vorschlag f¨ ur ein modiﬁziertes Verfahren (MPCE) im Wesentlichen um zwei zus¨ atzliche Programmteile erweitert: die Pr¨ ufung und Elimination von Nebenbedingungen samt Anpassung aller davon betroﬀenen Gr¨ oßen und des Dualit¨ atsmaßes auf der einen Seite und die neue modiﬁzierte Zentrierungsrichtung auf der anderen Seite. Dabei wird die Bestimmung einer modiﬁzierten Zentrierungsrichtung auf Basis der Bedingung (4.49) immer nur dann durchgef¨ uhrt, wenn die duale Unzul¨ assigkeit signiﬁkant angestiegen ist.

4.5 Ein simultanes Build-Down-Schema zur Redundanzerkennung F¨ ur die Identiﬁkation nicht-aktiver Restriktionen ist die Berechnung der Matrix CQ−1 C T zur Bestimmung der qij f¨ ur die Kriterien in Kapitel 3.2 notwendig. F¨ ur großskalierte Optimierungsprobleme ist das direkte Be-

Ein simultanes Build-Down-Schema zur Redundanzerkennung

129

rechnen dieser Matrix auf Grund der Inversion von Q und der Dimension von C mit hohem Rechenaufwand verbunden. Daher w¨ are es beispielsweise w¨ unschenswert, wenn die strukturellen Informationen aus der Matrix CQ−1 C T neben der Identiﬁkation nicht-aktiver Restriktionen auch f¨ ur das L¨osungsverfahren selbst genutzt werden k¨ onnen. Losgel¨ ost von den bisherigen Resultaten motivieren wir an dieser Stelle eine m¨ ogliche, alternative Idee f¨ ur ein L¨ osungsverfahren unter Einbeziehung der Identiﬁkation und Elimination von nicht-aktiven Nebenbedingungen. Betrachten wir daher das duale Problem (QD) x∈

max n

Ê

,λ∈

Ê

m

− 12 xT Qx + λT d

u. d. N. Qx − C T λ + c = 0 λ ≥ 0,

das durch Substitution der Variable x ∈ in der Zielfunktion u ¨ ber

Ên mit Hilfe von x = Q−1(C

T

λ−c)

− 21 xT Qx + λT d = − 21 (Q−1 (C T λ − c))T Q(Q−1 (C T λ − c)) + λT d = − 21 (Q−1 C T λ − Q−1 c)T Q(Q−1 C T λ − Q−1 c) + λT d = − 21 (Q−1 C T λ − Q−1 c)T (C T λ − c) + λT d = − 21 λT (CQ−1 C T )λ + 12 cT Q−1 C T λ + 12 λT CQ−1 c − 12 cT Q−1 c + λT d = − 21 λT (CQ−1 C T )λ + λT CQ−1 c + λT d − 12 cT Q−1 c = − 21 λT (CQ−1 C T )λ + λT (d + CQ−1 c) − 21 cT Q−1 c in eine f¨ ur unsere Belange zur Identiﬁkation nicht-aktiver Nebenbedingungen geeignet erscheinende Form maxm

λ∈

Ê

u. d. N.

− 12 λT (CQ−1 C T )λ + λT (d + CQ−1 c) − 12 cT Q−1 c λ≥0

(4.50)

umgeformt werden kann. Das resultierende Optimierungsproblem stellt ein restringiertes quadratisches Maximierungsproblem in den Dualvariablen λ ∈ m dar. Der zul¨ assige Bereich λ ≥ 0 besitzt dabei eine einfache Struktur. Die direkte Berechnung der Inversion der Matrix Q des primalen Ausgangsproblems sollte vermieden werden. Stattdessen bietet sich hier eine Faktorisierung von Q und daraus die indirekte Berechnung von

Ê

130

¨ Uber die Elimination u ¨berﬂ¨ ussiger Nebenbedingungen

CQ−1 C T an. Als L¨ osungsverfahren f¨ ur (4.50) eignet sich beispielsweise ein Konjugierte-Gradienten-Verfahren (CG-Verfahren), wie in Carpenter und Shanno [19] vorgeschlagen. Die Gestalt des so umformulierten dualen Problems hat in diesem Fall den Vorteil, dass die Kriterien zur Identiﬁkation nicht-aktiver Restriktionen des primalen Ausgangsproblems (QP) direkten Einﬂuss auf die duale Problemstellung (4.50) haben. Ein L¨ osungsverfahren f¨ ur (4.50) liefert u ¨ ber den Zusammenhang x = Q−1 (C T λ − c)

(4.51)

zwischen den primalen Variablen x und den dualen Variablen λ auf diese Weise obere Schranken f¨ ur den optimalen Zielfunktionswert des primalen Problems, sodass die Kriterien zur Identiﬁkation nicht-aktiver Nebenbedingungen f¨ ur das primale Problem (QP) u osungsbestim¨ ber die sukzessive L¨ mung im dualen Problem (4.50) angewendet werden k¨ onnen. Die einfache Gestalt der dualen Nebenbedingungen λ ≥ 0 l¨ asst sich in diesem Fall ebenfalls ausnutzen. W¨ ahrend f¨ ur die Identiﬁkationskritierien (P ) des primalen Problems die strukturellen Gr¨ oßen qij := qij = cTi Q−1 cj f¨ ur i, j = 1, . . . , m durch Berechnung der Matrix CQ−1 C T bestimmen lassen, ben¨ otigen wir f¨ ur die duale Problemstellung (4.50) zur Anwendung der Identiﬁkationskriterien auf den dualen Fall hier die strukturellen −1 (D) Gr¨ oßen qij := eTi CQ−1 C T ej f¨ ur i, j = 1, . . . , m, sofern die Inverse −1 T −1 bestimmt werden kann. Hierbei sei ei der i-te Einheitsvektor, CQ C der sich wegen der Darstellung der dualen Nebenbedingungen von (4.50) als Im λ ≥ 0 als jeweiliger Koeﬃzientenvektor der i-ten Zeile der Einheitsmatrix Im ergibt. In diesem Sinne wird f¨ ur die Anwendung der Identiﬁkationskriterien auf den dualen Fall die identische Matrix CQ−1 C T wie im primalen Fall zur Bestimmung der strukturellen Grundgr¨ oßen der Kriterien ben¨ otigt. Die Identiﬁkationskriterien lassen sich damit m¨ oglicherweise simultan sowohl auf die primale als auch auf die duale Problemformulierung anwenden. Jede primal als u ussig identiﬁzierte Restriktion f¨ uhrt zur Elimination ¨ berﬂ¨ der Nebenbedingung cTi x ≥ di des primalen Nebenbedingungssystems und damit zur Elimination der korrespondierenden Dualvariable λi des dualen Problems (4.50). Jede als nicht-aktiv identiﬁzierte Nebenbedingung λi ≥ 0 der dualen Problemstellung hat zur Folge, dass λi > 0 gilt. Die mit der Dualvariablen λi korrespondierende i-te Nebenbedingung cTi x ≥ di des pri-

Ein simultanes Build-Down-Schema zur Redundanzerkennung

131

malen Problems (QP) ist damit bindend und darf somit nicht aus dem Problem entfernt werden. Zudem vereinfacht sich mit jeder eliminierten primalen Nebenbedingung cTi x ≥ di die Zielfunktion in der dualen Darstellung (4.50). Da die korrespondierende Dualvariable λi auf diese Weise f¨ ur das duale Problem wegf¨ allt, reduziert sich die Dimension der Zielfunktion mit jeder eliminierten Nebenbedingung. Eine solche duale Umformulierung des Ausgangsproblem wird insbesondere bei Optimierungsproblemen vorteilhaft sein, deren primales Nebenbedingungssystem ausschließlich aus den Variablenbeschr¨ ankungen xl ≤ x ≤ xu mit den unteren und oberen Schranken xl bzw. xu an die Variable x ∈ n besteht. Die Einfachheit der Nebenbedingungsmatrix In hat in diesem Fall eine eng verwandte primale und duale Problemformulierung zur Folge. Eine theoretische und praktische Umsetzung dieses Vorschlages wird im Rahmen zuk¨ unftiger Untersuchungen noch zu pr¨ ufen sein und hat f¨ ur den im Rahmen dieser Arbeit pr¨ asentierten Vorschlag eines modiﬁzierten primal-dualen Innere-Punkte-Verfahrens zun¨ achst keine Bedeutung.

Ê

5 Implementierung eines modiﬁzierten Innere-Punkte-Verfahrens

Mit den Vorbereitungen der vorhergehenden Kapitel sind wir nun in der Lage, die Implementierung eines modiﬁzierten Innere-Punkte-Verfahrens unter Ber¨ ucksichtigung der Identiﬁkation und der Eliminierung von nichtaktiven Nebenbedingungen umzusetzen. Die bisher verwendete primale und duale Problemformulierung (QP) bzw. (QD) u ¨bertragen wir in diesem Kapitel zun¨ achst in eine f¨ ur die praktische Verwendung ﬂexiblere Darstellung. Detailliert entwickeln wir das Newton-KKT-System f¨ ur diese Darstellungsform und beschreiben sowohl die Erweiterung nach Mehrotra als auch nach Gondzio. Die f¨ ur die Implementierung verwendeten Bezeichnungen orientieren sich dabei an dieser Darstellung.

Der zweite und dritte Teil dieses Kapitels beschreiben Implementierungsdetails und die zu ber¨ ucksichtigenden Besonderheiten im Rahmen der Elimination nicht-aktiver Nebenbedingungen. Mit Hilfe eines Programmbeispiels zeigt der abschließende vierte Teil des Kapitels die ﬁnale Implementierung des L¨ osungsverfahrens in Aktion.

Ideengeber und Motivation f¨ ur die praktische Implementierung des hier vorgestellten modiﬁzierten primal-dualen Innere-Punkte-Verfahrens stellt das von Gertz und Wright [46] vorgeschlagene Programmpaket Ooqp dar – ein auf C++ basierendes objekt-orientiertes Programmpaket f¨ ur die L¨osung konvex-quadratischer Optimierungsprobleme, das f¨ ur die Umsetzung als anf¨ angliche Ausgangsbasis diente.

134

Implementierung des modiﬁzierten Verfahrens

5.1 Quadratische Problemformulierung fu ¨ r die Implementierung F¨ ur die Implementierung verwenden wir im Weiteren die folgende Formulierung f¨ ur ein quadratisches Optimierungsproblem minn

x∈

Ê

u. d. N.

1 T 2 x Qx

+ cT x + d $ (QP)

Ax = b cl ≤ Cx ≤ cu xl ≤ x ≤ xu ,

das sowohl einen Block von my Gleichheitsnebenbedingungen, einen Block von mz Ungleichheitsnebenbedingungen als auch einen Block spezieller Ungleichungsnebenbedingungen f¨ ur die Beschr¨ ankung der einzelnen Variablen x = (x1 , . . . , xn )T des Problems besitzt. Die Zielfunktion sei durch den quadratischen Term xT Qx mit einer symmetrischen und positiv-deﬁniten Matrix Q ∈ n×n und durch den linearen Term cT x mit einem Vektor c ∈ n gegeben. Zur Beschreibung des durch die Ungleichheitsrestriktionen begrenzten Polyeders dient die Matrix C ∈ mz ×n und die dazugeh¨ origen Vektoren f¨ ur die unteren bzw. oberen Schranken cl ∈ mz und cu ∈ mz . Analog dazu seinen f¨ ur die Variablen x = (x1 , . . . , xn )T durch die Vekton ren xl ∈ bzw. xu ∈ n untere und obere Schranken gegeben. Die f¨ ur einen zul¨ assigen Punkt einzuhaltenden my Gleichheitsnebenbedingungen seien durch die Matrix A ∈ my ×n und einem korrespondierendem Vektor b ∈ my f¨ ur die rechte Seite gegeben. Diese kompakte“ Darstellung der Ungleichheitsrestriktionen und der ” Variablenbeschr¨ ankung durch die unteren und oberen Schranken cl , cu , xl und xu w¨ ahlen wir im Wesentlichen aus implementierungsabh¨ angigen Gr¨ unden. Sie erlaubt eine eﬃzientere Speicherausnutzung f¨ ur den Fall, dass eine Beschr¨ ankung nach unten und nach oben vorliegt, so dass die entsprechenden Restriktionen lediglich als eine Zeile in der Matrix C abgelegt werden k¨ onnen und die Problemgr¨ oße insgesamt klein gehalten werden kann. ¨ Uber spezielle bin¨ are Indexvektoren ixl , ixu ∈ {0, 1}n bzw. icl , icu ∈ mz {0, 1} l¨ asst sich f¨ ur die Implementierung steuern, welche der Ungleichungsnebenbedingungen f¨ ur das Problem schließlich ber¨ ucksichtigt werden sollen. Durch Setzen beispielsweise der k-ten Komponente von icl auf Null, kann gezielt die entsprechende Nebenbedingung cTk x ≥ clk elimi” niert“ werden. Sie wird aus diesem Grund vom L¨ osungsverfahren nicht

Ê

Ê

Ê

Ê

Ê

Ê

Ê

Ê

Ê

Quadratische Problemformulierung f¨ ur die Implementierung

135

weiter ber¨ ucksichtigt. Sind sowohl die untere als auch die obere Schranke auf diese Weise deaktiviert, wird die entsprechende Nebenbedingung – und damit die gesamte Zeile der Nebenbedingungsmatrix – f¨ ur das Problem nicht weiter betrachtet. F¨ ur uns bietet sich hierdurch die vorteilhafte M¨oglichkeit, nach Anwendung der Identiﬁkationskriterien f¨ ur nicht-aktive Restriktionen, bestimmte Nebenbedingungen gezielt ‘auszuschalten’ und damit zu eliminieren ohne die Ausgangsdaten des gebenen Optimierungsproblems ver¨ andern zu m¨ ussen. Analog wird u ¨ ber ixl und ixu mit den Variablenbeschr¨ ankungen verfahren.

5.1.1 Das dualisierte Problem und Optimalit¨ atsbedingungen Die allgemeine Darstellung des Wolfe-dualen Problems aus Abschnitt 2.1.2 wenden wir nun auf das hier betrachtete konvex-quadratische Optimie$ an. Dazu schreiben wir (QP) $ durch Aufspalten der rungsproblem (QP) Gleichheitsrestriktionen Ax = b in der Form min 12 xT Qx + cT x u. d. N.

Ax ≤ b −Ax ≤ −b −Cx ≤ −cl Cx ≤ cu

(5.1)

−Ix ≤ −xl Ix ≤ xu ,

Ê

Ê

wobei hier I ∈ n×n jeweils die Einheitsmatrix im n bezeichnet. Die dazugeh¨ orige Lagrange-Funktion L ergibt sich daher nach Einf¨ uhren der Lagrange-Multiplikatoren λ ∈ mz und π ∈ mz f¨ ur die nach unten bzw. nach oben beschr¨ ankten Ungleichungsrestriktionen, γ ∈ n und ϕ ∈ n f¨ ur die Nebenbedingungen zur Beschr¨ ankung der Variablen x ∈ n nach unten bzw. nach oben und mit den Lagrange-Multiplikatoren y1 , y2 ∈ my f¨ ur den aufgespaltenen Block der Gleichheitsrestriktionen als

Ê

Ê

Ê

Ê

Ê Ê

L(x, y1 , y2 , λ, π, γ, ϕ) = 21 xT Qx + cT x + y1T (Ax − b) + y2T (b − Ax) + λT (cl − Cx) + π T (Cx − cu ) + γ T (xl − x) + ϕT (x − xu ).

(5.2)

136

Implementierung des modiﬁzierten Verfahrens

Als deren Ableitung bzgl. der primalen Variablen x ∈ damit

Ên

erhalten wir

∇x L(x, y1 , y2 , λ, π, γ, ϕ) = Qx + c + AT y1 − AT y2 − C T λ + C T π − γ + ϕ. (5.3) Mit (5.2) und (5.3) ergibt sich das Wolfe-duale Problem gem¨ aß der Deﬁnition 2.1 in Abschnitt 2.1.2 als sup x,y1 ,y2 ,λ,π,γ,ϕ

{L(x, y1 , y2 , λ, π, γ, ϕ)}

u. d. N. ∇x L(x, y1 , y2 , λ, π, γ, ϕ) = 0, y1 , y2 , λ, π, γ, ϕ ≥ 0, und auf Grund der Linearit¨ at der Ableitung der Lagrange-Funktion in der Darstellung des Supremums als Maximum zu 1 T max x Qx x,y1 ,y2 ,λ,π,γ,ϕ 2

+ cT x + y1T (Ax − b) + y2T (b − Ax)

+ λT (cl − Cx) + π T (Cx − cu ) + γ T (xl − x) + ϕT (x − xu )

u. d. N.

Qx + c + AT y1 − AT y2 − C T λ + C T π − γ + ϕ = 0 y1 , y2 , λ, π, γ, ϕ ≥ 0.

(5.4) asst sich das Problem Wegen Qx + AT y1 − AT y2 − C T λ + C T π − γ + ϕ = −c l¨ (5.4) schreiben als 1 T max x Qx x,y1 ,y2 ,λ,π,γ,ϕ 2

+ (−Qx − AT y1 + AT y2 + C T λ − C T π + γ − ϕ)T x

+ y1T (Ax − b) + y2T (b − Ax) + λT (cl − Cx) + π T (Cx − cu ) + γ T (xl − x) + ϕT (x − xu ) u. d. N.

Qx + c + AT y1 − AT y2 − C T λ + C T π − γ + ϕ = 0 y1 , y2 , λ, π, γ, ϕ ≥ 0,

Quadratische Problemformulierung f¨ ur die Implementierung

137

was sich nach Ausmultiplizieren innerhalb der Zielfunktion vereinfacht zu max

x,y1 ,y2 ,λ,π,γ,ϕ

u. d. N.

− 21 xT Qx − y1T b + y2T b + λT cl − π T cu + γ T xl − ϕT xu

Qx + c + AT y1 − AT y2 − C T λ + C T π − γ + ϕ = 0 y1 , y2 , λ, π, γ, ϕ ≥ 0,

und schließlich durch die Substitution von y := y2 − y1 als max

x,y,λ,π,γ,ϕ

− 12 xT Qx + y T b + λT cl − π T cu + γ T xl − ϕT xu

u. d. N.

Qx + c − AT y − C T λ + C T π − γ + ϕ = 0 λ, π, γ, ϕ ≥ 0

ergibt. Schließlich fassen wir noch die Lagrange-Multiplikatoren λ und π der Ungleichungsrestriktionen zur Vereinfachung der dualen Nebenbedingung zu z := λ − π zusammen und erhalten abschließend das duale Programm $ als zu (QP) max

x,y,λ,π,γ,φ

− 12 xT Qx + y T b + λT cl − π T cu + γ T xl − φT xu

u. d. N.

Qx + c − AT y − C T z − γ + ϕ = 0, z = λ − π,

$ (QD)

λ, π, γ, ϕ ≥ 0. Auf Grund der Konvexit¨ at der Zielfunktion und des zul¨ assigen Bereiches erhalten wir die KKT-Bedingungen Qx − AT y − C T z − γ + ϕ + c = 0, Ax = b, cl ≤ Cx, xl ≤ x, (Cx − cl )i · λi = 0, (x − xl )j · γj = 0,

Cx ≤ cu , x ≤ xu ,

z = λ − π, (cu − Cx)i · πi = 0, (xu − x)j · ϕj = 0, λ, π, γ, ϕ ≥ 0

(5.5) i = 1, . . . , mz , j = 1, . . . , n,

138

Implementierung des modiﬁzierten Verfahrens

mit Hilfe des primalen und des dualen Optimierungsproblems als notwendige und hinreichende Optimalit¨ atskriterien erster Ordnung f¨ ur die L¨ osung $ Durch Einf¨ des konvex-quadratischen Optimierungsproblems (QP). uhren von primalen Schlupfvariablen t, u ∈ mz und v, w ∈ n f¨ ur die Ungleichungsnebenbedingungen bzw. die Variablenbeschr¨ ankungen k¨ onnen wir das System (5.5) der KKT-Bedingungen umschreiben zu

Ê

Ê

Qx − AT y − C T z − γ + ϕ + c = 0, Ax − b = 0, Cx − t − cl = 0, x − v − xl = 0, T

λ t = 0,

Cx + u − cu = 0, x + w − xu = 0,

z − λ + π = 0, π u = 0, γ T v = 0, T

(5.6)

ϕT w = 0,

t, u, v, w, λ, π, γ, ϕ ≥ 0. Dieses resultierende (nicht-lineare) Gleichungssystem l¨ asst sich als eine Abbildung Ψ : n × my × mz × 2mz × 2n × 2mz × 2n −→ n+my +2mz +2n+mz +2mz +2n darstellen, deren Nullstelle zu bestimmen ist. Wir sind daher daran interessiert, eine L¨ osung des Gleichungssystems ⎞ ⎛ Qx − AT y − C T z − γ + ϕ + c ⎟ ⎜ Ax − b ⎟ ⎜ ⎟ ⎜ Cx − t − c l ⎟ ⎜ ⎟ ⎜ Cx + u − c u ⎟ ⎜ ⎟ ⎜ x − v − x l ⎟ ⎜ ⎟ = 0, x + w − x Ψ(x, y, z, t, u, v, w, λ, π, γ, ϕ) = ⎜ u ⎟ ⎜ ⎟ ⎜ z − λ + π ⎟ ⎜ ⎟ ⎜ T Λe ⎟ ⎜ ⎟ ⎜ U Πe ⎟ ⎜ ⎠ ⎝ V Γe W Φe (5.7) zu ﬁnden, wobei hier f¨ ur die eingef¨ uhrten Schlupfvariablen und ebenso f¨ ur die Dualvariablen zus¨ atzlich weiterhin die Nicht-Negativit¨ at verlangt werden muss, d. h.

Ê

Ê

Ê

t, u, v, w ≥ 0

Ê

Ê

und

Ê

Ê

λ, π, γ, φ ≥ 0.

Ê

(5.8)

Quadratische Problemformulierung f¨ ur die Implementierung

139

Die Objekte Λ = diag (λ1 , λ2 , . . . , λm ) und Π = diag (π1 , π2 , . . . , πm ) bzw. Γ = diag (γ1 , γ2 , . . . , γn ) und Φ = diag (ϕ1 , ϕ2 , . . . , ϕn ) stellen die Diagonalmatrizen mit den jeweiligen Dualvariablen als Eintr¨ agen der Diagonale dar. Mit e = (1, 1, . . . , 1)T werde wie u ¨ blich der Eins-Vektor passender Dimension bezeichnet. Die Bestimmung einer L¨ osung des konvex-quadratischen Ausgangspro$ ist nunmehr unter Ber¨ blems (QP) ucksichtigung der Nicht-Negativit¨ at ¨ aquivalent zum L¨ osen dieses Systems von Gleichungen. Eine L¨ osung bestimmen wir iterativ durch Anwendung des Newton-Verfahrens. Dazu beschreibe ∇Ψ die Jacobi-Matrix der Abbildung Ψ. Mit Hilfe des Newton-Verfahrens wird eine Suchrichtung p = (Δx, Δy, Δz, Δ˜ z , Δ˜ s)T durch Linearisierung T der Abbildung Ψ im aktuellen Punkt (x, y, z, z˜, s˜) als L¨ osung der NewtonGleichung ∇Ψ(x, y, z, z˜, s˜) · p = −Ψ(x, y, z, z˜, s˜),

(5.9)

ermittelt, wobei wir zur Verk¨ urzung der Schreibweise und zur u ¨ bersichtlicheren Darstellung hier und im Folgenden alle Dualvariablen im Vektor z˜ = (λ, π, γ, ϕ)T ∈ 2mz +2n und alle Schlupfvariablen im Vektor s˜ = (t, u, v, w)T ∈ 2mz +2n zusammenfassen. ¨ Uber die St¨ orung τ > 0 in den Komplementarit¨ atsbedingungen ermitteln wir wie im Kapitel 2.3 ausf¨ uhrlich motiviert die Suchrichtung p f¨ ur die Newton-Gleichung (5.9). Die Komplementarit¨ atsprodukte erf¨ ullen dabei jeweils z˜i s˜i = τ f¨ ur alle i = 1, . . . , 2mz + 2n. Zur Bestimmung der Suchrichtung erhalten wir f¨ ur unsere Implementation das folgende Gleichungssystem

Ê

Ê

0 Q BA B BC B BC B BI B BI B B B B B B B @

−AT

−C T

−I −I

I

−I

I

I

Λ Π Γ Φ

−I T

I

I U

V

W

1 0 1 −rQ Δx C B Δy C B−rA C C B CB C C B Δz C B −rt C C B CB C C B Δt C B −ru C C B CB C C B Δu C B −rv C C B CB C C B Δv C = B−rw C . C B CB C C BΔwC B −rz C C B CB C C B Δλ C B −rλ C C B CB C C B Δπ C B −rπ C C B CB C A @ Δγ A @ −rγ A 10

Δϕ

−rϕ (5.10)

140

Implementierung des modiﬁzierten Verfahrens

Die Residuen der rechten Seite des Gleichungssystems sind dabei u ¨ ber rQ = Qx − AT y − C T z − γ + ϕ + c, rA = Ax − b, rt = Cx − t − cl ,

rz = z − λ + π, rλ = T Λe − τ e,

ru = Cx + u − cu , rv = x − v − xl ,

rπ = U Πe − τ e, rγ = V Γe − τ e,

rw = x + w − xu ,

rϕ = W Φe − τ e

(5.11)

gegeben. F¨ ur τ 0 konvergiert dieses System gegen das KKT-System (5.5). Die L¨ osung des gest¨ orten Systems (5.10) mit den Residuen (5.11) $ der rechten Seite konvergiert damit gegen die optimale L¨ osung von (QP). ocke der Durch Setzen von s := Cx = cl + t = cu − u lassen sich die Bl¨ urspr¨ unglichen Ungleichungsbedingungen in (5.10) weiter zu einem Block zuammenfassen und man erh¨ alt mit rC := Cx − s das kompaktere und um mz Zeilen reduzierte Gleichungssystem der Form ⎞ ⎞⎛ ⎛ Δx Q −AT −C T −I I ⎟ ⎜ Δy ⎟ ⎜A ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δz ⎟ ⎜C −I ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δs ⎟ ⎜ I −I ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δt ⎟ ⎜ I I ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δu ⎟ ⎜I −I ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ Δv ⎟ ⎜I I ⎟ ⎟⎜ ⎜ ⎟ ⎜Δw ⎟ ⎜ I −I I ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δλ ⎟ ⎜ Λ T ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δπ ⎟ ⎜ Π U ⎟ ⎟⎜ ⎜ ⎠ ⎝ Δγ ⎠ ⎝ Γ V Δϕ Φ W = (−rQ , −rA , −rC , −rt , −ru , −rv , −rw , −rz , −rλ , −rπ , −rγ , −rϕ )T (5.12) Das bis hierhin entwickelte KKT-System (5.12) l¨ asst sich in kompakterer Form darstellen, indem die Gleichungen der urspr¨ unglichen Ungleichungsrestriktionen und die Komplementarit¨ atsbedingungen umgeformt und zusammengefasst werden. Die notwendigen Umformulierungen werden auf Grund ihres Umfangs im Anhang A.1 auf Seite 189 ausf¨ uhrlich dargestellt. F¨ ur

Quadratische Problemformulierung f¨ ur die Implementierung

141

die spezielle Form des gegebenen konvex-quadratischen Ausgangsproblems $ erhalten wir somit als Newton-KKT-System (QP) ⎛ Q+D ⎝ A C ⎛

−AT 0 0

⎞⎛ ⎞ Δx −C T 0 ⎠ ⎝Δy ⎠ Δz −Ω

⎞ −rQ − V −1 Γrv − V −1 rγ − W −1 Φrw + W −1 rϕ ⎠ −rA =⎝ . (5.13) −1 −1 −1 −1 −rC + Ω rz + T Λrt + T rλ + U Πru − U rπ

Zur Verk¨ urzung der Schreibweise f¨ uhren wir in (5.13) zwei Diagonalmatrizen −1 D := V −1 Γ + W −1 Φ und Ω := T −1 Λ − U −1 Π (5.14)

Ê

Ê

mit D ∈ n×n und Ω ∈ m×m ein, die ausschließlich Informationen in Form von Quotienten der Dual- und der Schlupfvariablen f¨ ur die Variablenbeschr¨ ankungen und die urspr¨ unglichen Ungleichungsrestriktionen enthalten. Das resultierende Gleichungssystem (5.13) hat im Rahmen des zu entwicklenden primal-dualen Pr¨ adiktor-Korrektor-Verfahrens eine zentrale Bedeutung. Neben der kompakten Form der KKT-Systemmatrix ergeben sich zwei wesentliche Vorteile: Zum Einen ist die KKT-Matrix quadratisch und quasi-symmetrisch“, d. h. unter der Nicht-Ber¨ ucksichtigung der negativen ” Vorzeichen der oberen Dreiecksmatrix w¨ urde sich eine symmetrische Matrix ⎛ ⎞ Q + D AT C T M =⎝ A 0 0 ⎠ (5.15) C 0 Ω ergeben. Die symmetrische Struktur l¨ asst sich daher nicht nur allein bei der Speicherung der Eintr¨ age der Matrix M ausnutzen, f¨ ur die lediglich die Elemente der unteren Dreiecksmatrix verwaltet werden m¨ ussen. Zur L¨ osung des Systems (5.13) empﬁehlt sich zudem ein Gleichungssysteml¨ oser, der die symmetrische Struktur ber¨ ucksichtigt und auf Basis von d¨ unnbesetzten Matrizen arbeitet. Die nicht ber¨ ucksichtigten negativen Vorzeichen der oberen Dreiecksmatrix von M k¨ onnen dann nach L¨ osung des Systems innerhalb der L¨ osung (Δx, Δλ, Δs)T korrigiert werden.

142

Implementierung des modiﬁzierten Verfahrens

Auf der anderen Seite kann f¨ ur eine Implementierung zus¨ atzlich ausgenutzt werden, dass sich im Verlauf des Verfahrens von Iteration zu Iteration lediglich die Werte auf der Diagonalen der Matrix M ¨ andern. Nur die Eintr¨ age der Matrizen D und Ω h¨ angen vom aktuellen Fortschritt des Verfahrens ab, da hier Informationen der Schlupf- und der Dualvariablen verarbeitet werden. Ein Update der Matrix M nach jeder Iteration l¨ asst sich daher mit nur geringem rechentechnischen Aufwand realisieren, da h¨ochstens n + mz Eintr¨ age von M aktualisiert werden m¨ ussen. Auch die Gestalt der rechten Seite des Systems (5.13) erweist sich als vorteilhaft, da zur Berechnung der Eintr¨ age in der Regel nur Skalarprodukte zweier Vektoren und in wenigen F¨ allen Matrix-Vektor-Operationen durchgef¨ uhrt werden m¨ ussen. Innerhalb der Implementierung des vorgeschlagenen modiﬁzierten primal-dualen Innere-Punkte-Verfahrens bestimmen wir u osung des ¨ ber die L¨ Gleichungssystems (5.13) die entsprechenden Suchrichtungen f¨ ur das Verfahren. F¨ ur die Elimination von Nebenbedingungen sind zur Bestimmung der Korrektur“ der dualen Suchrichtung gem¨ aß den Ausf¨ uhrungen in den ” ¨ Abschnitten 4.3 und 4.4 dabei lediglich Anderungen auf der rechten Seite vorzunehmen, wie weiter unten im Abschnitt 5.1.3 noch dargestellt wird. Die Umsetzung des zu Grunde liegenden Pr¨ adiktor-Korrektor-Verfahrens erfolgt gem¨ aß der Vorschl¨ age von Mehrotra angewendet auf quadratische Optimierungsprobleme, wie im allgemeinen Fall im Kapitel 2.4 auf Seite 43 eingef¨ uhrt. Zus¨ atzlich werden auch die mehrfachen Zentralit¨ atskorrekturen nach Gondzio ber¨ ucksichtigt, die sich u ¨ ber einen Schalter aktivieren bzw. deaktivieren lassen. 5.1.2 Algorithmisches Vorgehen gem¨ aß Mehrotra In die Implementierung unseres primal-dualen Verfahrens lassen wir die Vorschl¨ age von Mehrotra [85] einﬂießen. Auf der einen Seite wird damit der Zentrierungsparameter σ adaptiv auf Grundlage der aus dem jeweiligen aﬃn-skalierten Schritt gewonnenen Informationen u oglichen ¨ ber den m¨ Fortschritt des Verfahrens angepasst. Auf der anderen Seite kompensieren wir durch den Korrektur-Term h¨ oherer Ordnung den durch die Linearisierung entstehenden Fehler innerhalb der Berechnung der Dualit¨ atsl¨ ucke. Es bezeichne (x, y, λ, π, γ, ϕ, t, u, v, w)T einen aktuellen Punkt. F¨ ur die Dual- und die Schlupfvariablen gelte die strikte Positivit¨ at (λ, π, γ, ϕ)T > 0 und (t, u, v, w)T > 0. Zur adaptiven Festlegung des Zentrierungsparameters σ wird zun¨ achst eine aﬃn-skalierte Suchrichtung u osung des fol¨ber die L¨

Quadratische Problemformulierung f¨ ur die Implementierung

143

genden aus (5.13) abgeleiteten Gleichungssystems ⎞ ⎛ aﬀ ⎞ ⎛ Δx Q + D −AT −C T ⎝ A 0 0 ⎠ ⎝Δy aﬀ ⎠ C 0 −Ω Δz aﬀ ⎛ ⎞ aﬀ −rQ − V −1 Γrv − V −1 rγaﬀ − W −1 Φrw + W −1 rϕ ⎠ −rA =⎝ , (5.16) −1 −1 aﬀ −1 −1 aﬀ −rC + Ω rz + T Λrt + T rλ + U Πru − U rπ bestimmt. Hierbei sei z = λ − π und f¨ ur die Werte der rechten Seite von (5.16) setzen wir die Residuen der Komplementari¨ atsbedingungen des Systems (5.7) hier u ¨ber rλaﬀ = T Λe,

rπaﬀ = U Πe,

rγaﬀ = V Γe,

aﬀ rϕ = W Φe,

die in diesem Fall ohne St¨ orung um den Parameter τ vorgegeben werden. Alle restlichen Residuen der rechten Seite des Systems (5.16) und die Matrizen D und Ω sind wie in den Gleichungen (5.11) bzw. (5.14) deﬁniert.

Durch L¨ osen von System (5.11) erhalten wir zun¨ achst direkt die Gr¨ oßen Δxaﬀ , Δy aﬀ und Δz aﬀ . Die restlichen Gr¨ oßen der aﬃn-skalierten Suchrichtung Δsaﬀ , Δtaﬀ , Δuaﬀ , Δv aﬀ , Δwaﬀ , Δλaﬀ , Δπ aﬀ , Δγ aﬀ und Δϕaﬀ erhalten wir sukzessive mit Hilfe der Gleichungen zur Herleitung des erweiterten KKT-Systems (f¨ ur eine detaillierte Beschreibung siehe dazu im Anhang A.1 auf Seite 189) u ¨ ber Δsaﬀ = CΔxaﬀ + rc , und f¨ ur die Dual- und die Schlupfvariablen u ¨ ber Δtaﬀ = Δsaﬀ + rt ,

Δλaﬀ = −T −1ΛΔtaﬀ − T −1 rλaﬀ ,

Δuaﬀ = −Δsaﬀ − ru ,

Δπ aﬀ = −U −1 ΠΔuaﬀ − U −1 rπaﬀ ,

Δv aﬀ = Δxaﬀ + rv ,

Δγ aﬀ = −V −1 ΓΔv aﬀ − V −1 rγaﬀ ,

Δwaﬀ = −Δxaﬀ − rw ,

aﬀ Δϕaﬀ = −W −1 ΦΔwaﬀ − W −1 rϕ .

144

Implementierung des modiﬁzierten Verfahrens

¨ Uber eine Liniensuche bestimmen wir f¨ ur die aﬃn-skalierte Richtung eine Schrittweite αaﬀ ∈ ]0, 1], so dass αaﬀ := max{α ∈ ]0, 1] | (˜ z , s˜)T + α(Δ˜ z aﬀ , Δ˜ saﬀ )T > 0} gilt. Es sei an dieser Stelle erinnert, dass im Rahmen dieses Pr¨ adiktorSchrittes ein Schritt in aﬃn-skalierter Richtung nicht bestimmt wird. Stattdessen berechnen wir lediglich das Dualit¨ atsmaß μaﬀ f¨ ur den durch den aﬃn-skalierten Schritt erreichbaren hypothetischen Referenzpunkt u ¨ber μaﬀ :=

(˜ z + αaﬀ Δ˜ z )T (˜ s + αaﬀ Δ˜ s) . m ˜

In Abh¨ angigkeit von der durch den aﬃn-skalierten Schritt erreichbaren hypothetischen Reduktion des Dualit¨ atsmaßes wird der Zentrierungsparameter σ gem¨ aß der Heuristik von Mehrotra u ¨ber ν μaﬀ σ= μ mit dem Parameter ν > 0 festgelegt, wobei μ das Dualit¨ atsmaß f¨ ur den aktuellen Punkt (x, y, z˜, s˜)T sei. Analog zu [46] w¨ ahlen wir f¨ ur unsere Implementierung den Parameter ν = 3. F¨ ur den Korrektor-Schritt unseres Verfahrens zur Bestimmung der abschließenden modiﬁzierten Newton-Richtung erg¨ anzen wir das NewtonKKT-System (5.13) um den Korrektur-Term ΔZ˜ aﬀ ΔS˜aﬀ zweiter Ordnung, der sich auf Grundlage des durch die Linearisierung erhaltenen Fehlers bei der Berechnung der Dualit¨ atsl¨ ucke ergibt und nehmen mit Hilfe des ermittelten Zentrierungsparameter σ Einﬂuss auf den Grad der Zentrierung hin zum zentralen Pfad. Es ergibt sich der Newton-Schritt zur Bestimmung der neuen Iterierten als L¨ osung des Gleichungssystems ⎛ ⎞ ⎛ meh ⎞ Δx Q + D −AT −C T ⎝ A 0 0 ⎠ ⎝Δy meh ⎠ C 0 −Ω Δz meh ⎛ ⎞ meh −rQ − V −1 Γrv − V −1 rγmeh − W −1 Φrw + W −1 rϕ ⎠ −rA =⎝ , (5.17) −rC + Ω rz + T −1 Λrt + T −1 rλmeh + U −1 Πru − U −1 rπmeh

Quadratische Problemformulierung f¨ ur die Implementierung

145

wobei die Komplementarit¨ atsprodukte f¨ ur die rechte Seite von (5.17) nun u ¨ ber die speziellen Residuen rλmeh = T Λe − σμe + ΔT aﬀ ΔΛaﬀ e, rπmeh = U Πe − σμe + ΔU aﬀ ΔΠaﬀ e, rγmeh = V Γe − σμe + ΔV aﬀ ΔΓaﬀ e, meh rϕ = W Φe − σμe + ΔW aﬀ ΔΦaﬀ e.

mit Hilfe des Zentrierungsparameters σ und dem Dualit¨ atsmaß μ ermittelt werden. Wir erhalten die restlichen Komponenten des Newton-Schritts wiederum u ¨ber die folgenden Gleichungen Δsmeh = CΔxmeh + rc , und f¨ ur die Dual- und die Schlupfvariablen u ¨ ber Δtmeh = Δsmeh + rt ,

Δλmeh = −T −1 ΛΔtmeh − T −1 rλmeh ,

Δumeh = −Δsmeh − ru ,

Δπ meh = −U −1 ΠΔumeh − U −1 rπmeh ,

Δv meh = Δxmeh + rv ,

Δγ meh = −V −1 ΓΔv meh − V −1 rγmeh ,

Δwmeh = −Δxmeh − rw ,

meh Δϕmeh = −W −1 ΦΔwmeh − W −1 rϕ .

z meh, Δ˜ smeh )T beF¨ ur die so bestimmte Suchrichtung (Δxmeh , Δy meh , Δ˜ stimmen wir mit αmax ∈ ]0, 1] wiederum u ¨ ber eine Liniensuche eine geeignete maximale Schrittweite als αmax := max{α ∈ ]0, 1] | (˜ z , s˜)T + α(Δ˜ z meh , Δ˜ smeh )T ≥ 0} mit dem Ziel, den nicht-negativen Orthanten des Komplement¨ arraums nicht zu verlassen und w¨ ahlen abschließend α als Schrittl¨ ange gem¨ aß der Schrittweitenheuristik von Mehrotra [85, siehe Abschnitt 6]. Die neue Iterierte des Verfahrens bestimmen wir u ¨ber (xmeh , y meh, z˜meh, s˜meh )T = (x, y, z˜, s˜)T +α(Δxmeh , Δy meh , Δ˜ z meh, Δ˜ smeh )T (5.18) und beginnen eine neue Iteration.

146

Implementierung des modiﬁzierten Verfahrens

5.1.3 Modiﬁzierter Zentrierungsschritt nach dem Eliminieren Nach den Ergebnissen aus Kapitel 4.3.3 bestimmen wir eine modiﬁzierte Zentrierungsrichtung, falls Nebenbedingungen eliminiert wurden und sich auf Grund dessen die duale Unzul¨ assigkeit verschlechtert, d. h. ¯ rQ >

rQ . Wir erhalten die modiﬁzierte Zentrierungsrichtung (Δxmod , Δy mod , Δz mod )T als L¨ osung des Gleichungssystems ⎛ Q+D ⎝ A C

−AT 0 0

⎞ ⎛ mod ⎞ Δx −C T 0 ⎠ ⎝Δy mod ⎠ −Ω Δz mod ⎛ ⎞ meh −rQ − V −1 rγmeh + W −1 rϕ ⎠ −rA =⎝ , (5.19) −1 meh −1 meh −rC + Ω rz + T rλ − U rπ

wobei die Komplementarit¨ atsprodukte f¨ ur die rechte Seite von (5.19) entsprechend den Residuen f¨ ur die Zentrierungsrichtung nach Mehrotra rλmeh = T Λe − σμe + ΔT aﬀ ΔΛaﬀ e, rπmeh = U Πe − σμe + ΔU aﬀ ΔΠaﬀ e, rγmeh = V Γe − σμe + ΔV aﬀ ΔΓaﬀ e, meh rϕ = W Φe − σμe + ΔW aﬀ ΔΦaﬀ e

gew¨ ahlt werden.

Bemerkung 5.1: Das KKT-System (5.19) unterscheidet sich von (5.17) lediglich in der Wahl der Residuen f¨ ur die Schlupfvariablen rt , ru , rv und rw , die hier f¨ ur die modiﬁzierte Zentrierungsrichtung gem¨ aß Satz 4.21 und dem Gleichungssystem (4.43) Null zu setzen sind, d. h. rt = 0, ru = 0, rv = 0 und rw = 0.

Die Bestimmung der modiﬁzierten Zentrierungsrichtung nach dem Eliminieren von Nebenbedingungen f¨ ugt sich daher mit Hilfe von Satz 4.21 ohne zus¨ atzlichen Aufwand in das bisherige Ger¨ ust des primal-dualen Pr¨ adiktorKorrektor-Verfahrens und ist auf diese Weise einfach zu implementieren.

Quadratische Problemformulierung f¨ ur die Implementierung

147

5.1.4 Zentralit¨ atskorrekturen nach Gondzio Dem Vorschlag von Gondzio [52] folgend werden wir das bis hierher entwickelte primal-duale Ger¨ ust um die Zentralit¨ atskorrekturen erweitern, so wie sie im Kapitel 2.4.2 ausf¨ uhrlich eingef¨ uhrt und motiviert wurden. Die bisherige nach dem Vorschlag von Mehrotra modiﬁzierte Suchrichtung (Δxmeh , Δy meh , Δ˜ z meh, Δ˜ smeh )T des vorangegangenen Abschnitts wird daher mit einem weiteren Korrekturterm (Δxg , Δy g , Δ˜ z g , Δ˜ sg )T kombiniert. Als Folge dessen erhalten wir einen neuen Referenzpunkt, dessen verbesserte N¨ ahe zum zentralen Pfad in der n¨ achsten Iteration l¨ angere Newton-Schritte erm¨oglicht. Zur Berechnung des Korrekturtermes konstruieren wir u ¨ ber die aktuellen ˜ ˜ ∈ m Werte der Komplementarit¨ atsprodukte einen Hilfspunkt vˆ = (Z˜ Se) . m ˜ ¨ → H bilden wir vˆ Uber die in Kapitel 2.4.2 eingef¨ uhrte Projektion PH : und damit die aktuellen Komplementarit¨ atsprodukte auf den Hyperw¨ urfel H durch vt := PH (ˆ v)

Ê

Ê

andig in dem vorgegebenen Hyab. Der Punkt vt ∈ H liegt damit vollst¨ perw¨ urfel, da alle Ausreißer innerhalb der Komplementarit¨ atsprodukte auf ¨ diese Weise abgeschnitten wurden. Uber vˆ − vt wird letztendlich der Referenzpunkt im Komplement¨ arraum vorgegeben, indem dar¨ uber nur diejenigen Komplementarit¨ atsprodukte f¨ ur den Newton-Schritt verarbeitet werden, die außerhalb des Hyperw¨ urfels H liegen. F¨ ur die Suchrichtung innerhalb des L¨ osungsverfahrens wird daher mit Hilfe des Newton-Verfahrens ein Korrekturterm (Δxg , Δy g , Δ˜ z g , Δ˜ sg ) als L¨osung des folgenden KKT-Systems ⎛ ⎞ ⎛ g⎞ ⎛ ⎞ g −V −1 rγg + W −1 rϕ Q + D −AT −C T Δx ⎝ A ⎠ (5.20) 0 0 ⎠ ⎝Δy g ⎠ = ⎝ 0 C 0 −Ω Δz g Ω rzg + T −1 rλg − U −1 rπg bestimmt, wobei der Block der Komplementarit¨atsprodukte hier den Wert vˆ − vt annehmen soll. Wir setzen daher die entsprechenden Residuen als rλg = PH (T Λe) − T Λe, rγg = PH (V Γe) − V Γe,

rπg = PH (U Πe) − U Πe, g rϕ = PH (W Φe) − W Φe.

Zu beachten ist hier, dass alle restlichen Residuen der rechten Seite des Newton-KKT-Systems gem¨ aß der Gleichungen in (5.11) hier null gesetzt

148

Implementierung des modiﬁzierten Verfahrens

werden, da es ausschließlich um eine Korrektur der Komplementarit¨ aten zur Verbesserung der Zentralit¨ at geht, w¨ ahrend die Erf¨ ullung der primalen und dualen Zul¨ assigkeit schon im u ¨ berlicherweise vorangehenen Korrektorschritt (nach Mehrotra) ber¨ ucksichtigt wurde. Die Matrizen D und Ω sind analog wie in (5.14) deﬁniert. Die restlichen Komponenten Δ˜ zg = g g g g T g g g g g T (Δλ , Δπ , Δγ , Δϕ ) bzw. Δ˜ s = (Δt , Δu , Δv , Δw ) des Korrekturterms erhalten wir wie schon f¨ ur den aﬃn-skalierten Schritt in (5.16) beschrieben u ¨ber die Gleichungen Δsg = CΔxg + rc ,

Δtg = Δsg + rt ,

Δλg = −T −1ΛΔtg − T −1 rλg ,

Δug = −Δsg − ru ,

Δπ g = −U −1 ΠΔug − U −1 rπg ,

Δv g = Δxg + rv ,

Δγ g = −V −1 ΓΔv g − V −1 rγg ,

Δwg = −Δxg − rw ,

g Δϕg = −W −1 ΦΔwg − W −1 rϕ .

Der aus der L¨ osung resultierende Newton-Schritt bearbeitet damit nur Komplementarit¨ atsprodukte, die groß sind und nicht in das durch den Hyperw¨ urfel H vorgegebene Intervall ]βmin μ, βmax μ[ fallen. Die somit bestimmte Korrektur-Richtung (Δxg , Δy g , Δ˜ z g , Δ˜ sg )T kombinieren wir nun mit der Pr¨ adiktor-Korrektor-Richtung, die als L¨ osung des Gleichungssystems (5.17) nach Mehrotra zuvor bestimmt wurde und wir erhalten schließlich (Δxmg , Δy mg , Δ˜ z mg , Δ˜ smg )T = (Δxmeh , Δy meh , Δ˜ z meh, Δ˜ smeh )T + (Δxg , Δy g , Δ˜ z g , Δ˜ sg )T

(5.21)

als abschließende Suchrichtung der aktuellen Iteration innerhalb unseres Verfahrens. Nach Festlegung einer geeigneten primal-dualen Schrittweite α analog zu Gleichung (5.18) bestimmen wir die neue Iterierte nun wie gewohnt u ¨ber (xmg , y mg , z˜mg , s˜mg )T = z mg , Δ˜ smg )T . (5.22) (x, y, z˜, s˜)T + α(Δxmg , Δy mg , Δ˜ In Abh¨ angigkeit von dem Verh¨ altnis zwischen dem Aufwand zur Faktorisierung der Matrix M und dem L¨ osen des Systems (5.13) kann die Bestimmung eines Korrekturtermes zur weiteren Verbesserung der Zentralit¨at wiederholt werden. Sind die Kosten der Faktorisierung im Vergleich zu

Quadratische Problemformulierung f¨ ur die Implementierung

149

den Kosten zum L¨ osen des Gleichungssystems mit einer bestimmten rechten Seite hoch, erlauben wir bis zu f¨ unf solcher mehrfachen Korrekturen. ¨ Uber die zuletzt errechnete Suchrichtung (5.21) bestimmen wir nach Gleiarraum chung (5.22) mit vˆ − vt einen neuen Referenzpunkt im Komplement¨ und erhalten dann als L¨ osung des Gleichungssystems (5.20) einen neuen Korrekturterm, um den die bisherige kombinierte Suchrichtung in (5.21) schließlich erg¨ anzt wird. 5.1.5 Abbruchbedingungen f¨ ur den Algorithmus Primal-duale Innere-Punkte-Verfahren bestimmen durch mehrfaches L¨ osen des Newton-KKT-Systems eine L¨ osung des Ausgangsproblems, indem der St¨orungsparameter τ > 0 sukzessive verringert wird und schließlich im Grenz¨ ubergang verschwindet. Erst f¨ ur τ 0 konvergiert die L¨ osung gegen einen KKT-Punkt als optimale L¨ osung des gegebenen Problems. In der Praxis bricht ein solches Verfahren ab, wenn eine hinreichend gute N¨ aherung eines KKT-Punktes gefunden wurde. Auf diese Weise bieten sich f¨ ur die Implementierung mehrere verschiedene Abbruchkriterien an. Eine gute N¨ aherung (xk , yk , z˜k , s˜k )T an eine optimale L¨ osung muss daher zwei Kriterien gerecht werden: neben der Sicherstellung der primalen ¨ und der dualen Zul¨ assigkeit verlangen wir zus¨ atzlich, dass mit dem Ubergang τ 0 die einzelnen Komplementarit¨ atsprodukte z˜i s˜i f¨ ur i = 1, . . . , m ˜ verschwinden. Zur Messung der verschwindenden Komplementarit¨ atsprodukte steht uns mit dem Dualit¨ atsmaß μk der aktuellen k-ten Iterierten als gewichtete Dualit¨ atsl¨ ucke ein geeignetes Maß zur Verf¨ ugung, das indirekt ebenfalls Auskunft u oße der Dualit¨ atsl¨ ucke gk gibt. Die ¨ ber die Gr¨ Dualit¨ atsl¨ ucke gk als Diﬀerenz zwischen dem primalen und dem dualen Ziel$ bzw. (QD) $ ausgewertet in der aktuellen Iterierten1 funktionswert von (QP) wird allgemein u ¨ber gk = λT t + π T u + γ T v + ϕT w

(5.23)

bestimmt. Eine genaue Herleitung f¨ ur diese Berechnung geben wir im Anhang A.2 auf Seite 197 mit der Gleichung (A.19). Wegen der M¨ oglichkeiten zur Ausnutzung gemeinsamer Rechnungen zur Bestimmung der Residuen wird in dem implementierten Verfahren die Dualit¨ atsl¨ ucke u angere ¨ ber die l¨ 1 Im

Sinne einer u ur die ¨bersichtlicheren Darstellung wird auf die Indizierung mit k f¨ Dual- und die Schlupfvariablen der aktuellen Iterierten an dieser Stelle verzichtet.

150

Implementierung des modiﬁzierten Verfahrens

Gleichung gk = xT Qx + cT x − y T b − λT cl + π T cu − γ T xl + ϕT xu bestimmt. Wir ﬁnden diesen Zusammenhang ebenfalls in der Herleitung f¨ ur die Gleichung (A.19) im Anhang A.2. Da f¨ ur das Residuum rQ der Term Qx + c ausgewertet werden muss, f¨ allt der erste Teil der Berechnung der Dualit¨ atsl¨ ucke schon bei der Bestimmung von rQ ab, indem hier noch mit x multipliziert, d. h. (Qx + c)T x bestimmt wird. ur das Dualit¨ atsmaß Unter Vorgabe zweier Toleranzwerte μtol und rtol f¨ und die Norm der Residuen bricht das Verfahren erfolgreich beendet ab, wenn die beiden Bedingungen μk ≤ μtol

und

rQ , rA , rC , rt , ru , rv , rw ∞

≤ rtol Q, A, C, c, b, cl , cu , xl , xu ∞

(5.24)

erf¨ ullt sind. W¨ ahrend mit der ersten Bedingung in (5.24) ein oberer Akzeptanzwert f¨ ur das Dualit¨ atsmaß erreicht werden muss, misst die zweite Bedingung die Unzul¨ assigkeit des Verfahrens und verlangt, dass die Norm der Residuen im Verh¨ altnis zur Datennorm, d. h. der Norm der Eingabe$ klein wird. daten des Ausgangsproblems (QP), Um im Laufe des L¨ osungsvorgangs feststellen zu k¨ onnen, ob das Verfahren m¨ oglicherweise auf eine unzul¨ assige L¨ osung hinausl¨ auft, f¨ uhren wir analog zum Vorgehen in [46] eine Gr¨ oße φk zur Messung des Fortschritts ein, die u ¨ber φk :=

rQ , rA , rC , rt , ru , rv , rw ∞ + gk

Q, A, C, c, b, cl , cu , xl , xu ∞

mit Hilfe der Residuumsnorm, der Datennorm und der Dualit¨ atsl¨ ucke gk deﬁniert wird. Je weiter sich die Iterierten der optimalen L¨ osung n¨ ahern, desto kleiner wird der Fortschrittswert φk werden und nur f¨ ur die optimale L¨osung verschwinden, d. h. dann und nur dann gilt φk = 0. Das Verfahren wird f¨ ur die aktuelle k-te Iterierte als (vermutlich) unzul¨ assig abgebrochen, wenn gilt φk > 10−8

und φk ≥ 104 · min φi , 0≤i≤k

(5.25)

Ein spezialisierter, kombinierter Programmcode – qipp

151

was bedeutet, dass wahrscheinlich nicht mehr von einer Konvergenz des Verfahrens ausgegangen werden kann. Wir beenden das Verfahren weiterhin auf Grund einer erkennbar unzureichenden Verbesserung des Fortschrittswertes φk , wenn gilt k > 30 und

min φi ≥

0≤i≤k

1 min φi 2 1≤i≤k−30

(5.26)

bzw. wenn das Verh¨ altnis der u assigkeit ¨ ber die Residuen gemessenen Unzul¨ im Vergleich zur aktuellen Dualit¨ atsl¨ ucke explodiert, d. h. wenn gilt k k k k k k k 0 0 0 0 0 0 0 r , r , r , r , r , r , r r , r , r , r , r , r , r u v w ∞ u v w ∞ Q A C t Q A C t 8 ≥ 10 . (5.27) μk μ0 War keine der bisherigen Abbruchbedingungen erf¨ ullt, so wird das Verfahren nach sp¨ atestens k = 100 Iterationen erfolglos abgebrochen.

5.2 Ein spezialisierter, kombinierter Programmcode fu ¨ r die Quadratische Optimierung – qipp Mit der theoretischen Motivation der vorangegangen Kapitel und mit dem durch die Anschauung vermittelten Verst¨ andnis der Innere-Punkte-Verfahren im Zusammenspiel mit der Identiﬁkation und der Eliminierung u ¨ berﬂ¨ ussiger Restriktionen ist es Ziel dieses Unterkapitels, die Implementierung des modiﬁzierten Innere-Punkte-Verfahrens f¨ ur die quadratische Optimierung zu beschreiben. Das Verfahren wurde dabei nach dem derzeitigen wissenschaftlichen Stand der Innere-Punkte-Verfahren auf Basis eines primaldualen Pr¨ adiktor-Korrektor-Verfahrens konzipiert. Neben der Ber¨ ucksichtigung der Vorschl¨ age von Mehrotra [85] kommen auch die Zentralit¨ atskorrekturen nach Gondzio [52] zur Anwendung. Die Implementierung repr¨ asentiert auf diese Weise ein f¨ ur die quadratische Optimierung heute u ¨bliches Verfahren. Darauf aufbauend war es prim¨ ares Ziel der Implementierung, die vielversprechenden theoretischen Ergebnisse zur Identiﬁzierung und Eliminierung nicht-aktiver Restriktion ebenfalls algorithmisch umzusetzen und in einer zeitgem¨ aßen Implementierung zu integrieren. In diesem Zusammenhang entwickelten wir als Ausgangssystem zun¨ achst das Innere-PunkteSoftwarepaket qipp 2 , das sich als ein L¨ oser f¨ ur konvex-quadratische Optimierungsprobleme auf Basis eines primal-dualen Innere-Punkte-Verfahrens 2 Gesprochen: .

152

Implementierung des modiﬁzierten Verfahrens

versteht. Der Name steht dabei kurz f¨ ur quadratic interior-point programming. Zur Vertiefung wird in [90] eine u uhrung zu qipp ¨ berblickliche Einf¨ gegeben.

5.2.1 Motivation und Ausgangspunkt Mit Ooqp zeigten Gertz und Wright [46] die praktische, objekt-orientierte Realisierung eines L¨ osers f¨ ur quadratische Optimierungsprobleme auf Basis von C++. Der objekt-orientierte Ansatz l¨ asst dabei einfache Erweiterungen bzw. Spezialisierungen f¨ ur das zu Grunde liegende Innere-PunkteVerfahren zu, so dass mit geringem Aufwand durch Ableitung der BasisObjekte der Implementierung Verfahrenstypen f¨ ur spezielle quadratische Problemklassen erstellt werden k¨ onnen [45]. Beispielsweise l¨ asst sich auf einfache Weise der verwendete Gleichungssysteml¨ oser f¨ ur das in jeder Iteration (zweifach) zu l¨ osende Newton-KKT-System durch einen geeigneten Gleichungssysteml¨ oser zur Ausnutzung bestimmter Strukturen in der Problemdeﬁnition auswechseln. Wie die theoretische Vorarbeit zur Implementierung eines modiﬁzierten Verfahrens in den vorangegangenen Kapiteln zeigte, erfordert die Identiﬁkation und Elimination von Nebenbedingungen bestimmte Anpassungen f¨ ur ein bestehendes L¨ osungsverfahren. Neben der Technik zur Umsetzung der Elimination einer Nebenbedingung, d. h. der Art und Weise des Ent” fernens“ einer Zeile der Nebenbedingungsmatrix C, sollte insbesondere die ¯ gem¨ modiﬁzierte duale Zentrierungsrichtung Δλ aß Satz 4.21 innerhalb des Verfahrens realisiert werden. Da solcherlei Ver¨ anderungen auf Grund des Black-Box-Konzeptes an bestehenden L¨ osern nicht m¨ oglich waren, bestand die Notwendigkeit der Implementierung eines eigenen Quellcodes f¨ ur ein primal-duales Innere-Punkte-Verfahren. Die F¨ ahigkeit der Elimination von nicht-aktiven Nebenbedingungen wurde dabei als Option konzipiert, so dass der entstehende L¨ oser als reines Innere-Punkte-L¨ osungsverfahren eingesetzt werden kann und dar¨ uber hinaus nach Aktivierung der Option zus¨ atzlich nicht-aktive Restriktionen identiﬁziert und eliminiert. Die Besonderheiten f¨ ur die Implementierung von qipp in Zusammenhang mit der Elimination von u ¨ berﬂu ¨ ssigen Nebenbedingungen werden in diesem Kapitel beschrieben.

Ein spezialisierter, kombinierter Programmcode – qipp

153

5.2.2 Aufbau und Klassen von qipp Die Implementierung von qipp ist modular u ¨ ber eine zweischichtige Architektur aufgebaut: eine innere Schicht und eine a ¨ußere Schicht. Die innere Schicht – der sog. qipp-Kern – beinhaltet alle wesentlichen Routinen zur Steuerung des Ablaufs des Pr¨ adiktor-Korrektor-Verfahrens. Als Programmiersprache f¨ ur den gesamten Verfahrenskern w¨ ahlten wir Fortran77. Eine zentrale Routine qippslv(doflag,...) u ¨ bernimmt hier mit Hilfe einer zentralen Schleife die Kontrolle u ¨ ber den Ablauf des Innere-Punkte¨ Verfahrens. Uber den Parameter doflag wird eine Statusﬂagge eingef¨ uhrt, mit deren Hilfe eine bestimmte Kommunikation in die zweite, zun¨ achst abstrakte, ¨ außere Schicht realisiert wird. Wir sprechen in diesem Zusammenhang von der sog. reversierten Kommunikation oder R¨ uckw¨ artskommunikation (engl. reverse communication interface), einer Technik, die u ¨ber lange Jahre hinweg in einer Vielzahl von Implementierungen numerischer Verfahren Ber¨ ucksichtigung ﬁndet. Die ¨ außere Schicht – der so genannte top layer – hat dabei zum einen die Aufgabe, die Hauptroutine qippslv des implementierten Innere-PunkteVerfahrens innerhalb des Kerns anzustoßen. Auf der anderen Seite stellt der Anwender hier im Zusammenspiel mit der reversierten Kommunikation wesentlichen, spezialisierten Programmcode bereit. Die reversierte Kommunikation erm¨ oglicht es hier, an deﬁnierten Stellen den Ablauf des Algorithmus zu unterbrechen, um aus dem Kern der inneren Schicht zu der aufrufenden Routine in der ¨ außeren Schicht zur Ausf¨ uhrung bestimmter Aufgaben durch den vom Anwender speziell zur Verf¨ ugung gestellten Programmcode zur¨ uckzukehren. Die Abbildung 5.1 auf der n¨ achsten Seite veranschaulicht dieses Prinzip. F¨ ur die Implementierung des Innere-Punkte-Verfahrens wird diese Art der Kommunikation genutzt, um bestimmte ben¨ otigte Matrix-Vektor-Operationen bzw. das L¨ osen von Gleichungssystemen durch den Benutzer implementieren bzw. ausf¨ uhren zu lassen. Auf diese Weise wird die M¨ oglichkeit geschaﬀen, durch die Bereitstellung von gesonderten Programmcode f¨ ur Matrix-Vektor-Operationen und durch spezielle GleichungssystemL¨oser auf m¨ oglicherweise besondere Strukturen in den Daten des Ausgangs$ Einﬂuss zu nehmen bzw. diese auszunutzen. Wir ‘erkaufen’ problems (QP) damit eine relativ große Flexibilit¨ at f¨ ur die Anwendung des Rechenkerns auf Kosten einer etwas komplizierteren Einbindung durch den Benutzer. In [34] wird dazu treﬀend geschrieben: Reverse communication has the ad”

154

Implementierung des modiﬁzierten Verfahrens

Abbildung 5.1: Darstellung des Ablaufs der Reversierten Kommunikation

vantage of increasing the functionality of the integrator, but it complicates the structure of the calling program“. Im Detail steuert dabei die Statusﬂagge doflag, was speziell an der aktuellen Position im Ablauf des Verfahrens als Eingabe von dem Benutzer erwartet wird. Der qipp-Kern kehrt daher zu Zwecken der Matrixfaktorisierung, des L¨osens eines Gleichungssystems, der Multiplikation von Matrizen und Vektoren und f¨ ur die Pr¨ ufung auf und Eliminierung von nicht-aktiven Restriktionen in die ¨ außere Schicht zur¨ uck. Die nachfolgende Auﬂistung geht detailliert auf die m¨ oglichen Unterbrechungen ein und erl¨autert, f¨ ur welches doflag welche Aktion jeweils vom Benutzer erwartet wird: doflag=-1: (Faktorisieren und L¨ osen des Gleichungssystems M p = r) Der qipp-Kern stoppt, da die aktuelle Suchrichtung p als L¨osung des Gleichungssystems ⎛ ⎞⎛ ⎞ ⎛ ⎞ Q + D AT C T rx Δx ⎝ A 0 0 ⎠ ⎝Δy ⎠ = ⎝ry ⎠ (5.28) Δz C 0 Ω rz M

p

r

f¨ ur den weiteren Verlauf ben¨ otigt wird. Dazu ist zwingend die vorherige Faktorisierung der Matrix M erforderlich. Der Benutzer hat

Ein spezialisierter, kombinierter Programmcode – qipp

155

zu diesem Zweck die relevanten Eintr¨ age der Matrix M zun¨ achst zu aktualisieren, d. h. ein Update der Diagonalmatrizen D und Ω zu veranlassen, die Matrix M geeignet zu faktorisieren und mit Hilfe der u osung p = M −1 r bereitzustellen. ¨bergebenen rechten Seite r eine L¨ Die L¨ osung p wird an den Kern zur¨ uckgegeben, indem r durch r := p u ¨berschrieben wird. doflag=-2: (L¨ osen des Gleichungssystems ohne vorherige Faktorisierung) Der qipp-Kern stoppt f¨ ur das erneute L¨ osen des Gleichungssystems (5.28) bei u ¨bergebener rechter Seite r, ohne die Faktorisierung der Matrix M vorher anzustoßen. Eine erneute Faktorisierung wird an dieser Stelle nicht ben¨ otigt, da die Daten der Matrix M nicht modiﬁziert werden m¨ ussen. Die L¨ osung p wird wiederum an den Kern zur¨ uckgegeben, indem r durch r := p u ¨ berschrieben wird. doflag=-3: (Matrix-Vektor-Operationen) Der qipp-Kern stoppt die Ausf¨ uhrung des Kerns an dieser Stelle, da die Berechnung bestimmter Matrix-Vektor-Operationen notwendig ist. F¨ ur die aktuelle Iterierte (x, y, z)T werden zur Belegung der Residuen entsprechend der Gleichungen in (5.11) f¨ ur die rechte Seite des Gleichungssystems (5.28) die Matrix-Vektor-Produkte Qx, Ax, Cx, AT y und C T z ben¨ otigt. doflag=-4: (Identiﬁkation- und Eliminierung nicht-aktiver Restriktionen) Ist die Identiﬁkation nicht-aktiver Restriktionen eingeschaltet, stoppt der qipp-Kern an dieser Stelle, um zun¨ achst die Identiﬁkation und im Anschluss daran die Routine zur Eliminierung etwaiger identiﬁzierter nicht-aktiver Restriktionen durch den Benutzer zu veranlassen. doflag=0: (Finalisierung nach dem Finden einer L¨ osung) F¨ ur die Ausf¨ uhrung gesonderten Programmcodes zum Abschluss der Optimierung nach dem Auﬃnden einer L¨ osung bzw. nach dem Abbruch des Algorithmus bei Eintritt der in Abschnitt 5.1.5 beschriebenen m¨ oglichen Abbruchbedingungen stoppt der qipp-Kern mit dieser Statusﬂagge. Im Detail arbeitet der qipp-Kern die folgenden Aufgaben ab, um zwischenzeitlich unter Zuhilfenahme der Statusﬂagge doflag in die ¨ außere Schicht zu wechseln:

156

Implementierung des modiﬁzierten Verfahrens

a) Berechnung der Residuen rQ , rA , rC , rz , rt , ru , rv und rw der k-ten Iteration, sowie die gleichzeitige Berechnung der Dualit¨ atsl¨ ucke gk gem¨ aß (5.23) und der Residuumsnorm rQ , rA , rt , ru , rv , rw ∞ , b) Test auf die Abbruchbedingungen nach Abschnitt 5.1.5 und Ausgabe des aktuellen Status des Verfahrens, aﬀ c) Berechnung der Residuen rλaﬀ , rπaﬀ , rγaﬀ und rϕ f¨ ur die aﬃn-skalierte Suchrichtung innerhalb des Pr¨ adiktor-Schrittes gem¨ aß (5.16), meh d) Berechnung der Residuen rλmeh , rπmeh , rγmeh und rϕ f¨ ur die Zentrierungsrichtung innerhalb des Korrektor-Schrittes gem¨ aß (5.17) bzw. f¨ ur die modiﬁzierte Zentrierungsrichtung gem¨ aß (5.19),

e) Berechnung der Diagonaleintr¨ age von M durch die Bestimmung der Eintr¨ age der Matrix D bzw. Ω gem¨ aß (5.14) auf Seite 141, f) Vorbereitung der rechten Seite r = (rx , ry , rz )T des Gleichungssystems (5.28) f¨ ur die anstehende L¨ osung des Gleichungssystems, g) Berechnung der Richtungskomponenten Δsaﬀ , Δtaﬀ , Δuaﬀ , Δv aﬀ , Δwaﬀ , Δλaﬀ , Δπ aﬀ , Δγ aﬀ und Δϕaﬀ gem¨ aß der Gleichungen auf Seite 143 nach der R¨ uckkehr vom L¨ osen des Gleichungssystems (5.28) aus der aﬃn-skalierten Richtung (Δxaﬀ , Δy aﬀ , Δz aﬀ )T innerhalb des Pr¨ adiktor-Schrittes, h) Bestimmung des Dualit¨ atsmaßes μaﬀ innerhalb des Pr¨ adiktor-Schrittes und damit Festlegung des Zentrierungsparameters σ, i) Berechnung der Richtungskomponenten der Schlupf- und Dualvariablen Δsmeh , Δtmeh , Δumeh , Δv meh , Δwmeh , Δλmeh , Δπ meh , Δγ meh und Δϕmeh gem¨ aß der Gleichungen auf Seite 143 nach der R¨ uckkehr vom L¨osen des Gleichungssystems (5.28) aus der Zentrierungsrichtung (Δxmeh , Δy meh , Δz meh)T gem¨ aß (5.17) bzw. aus der modiﬁzierten Zentrierungsrichtung (Δxmod , Δy mod , Δz mod )T gem¨ aß (5.19) innerhalb des Korrektor-Schrittes, j) Bestimmung der mehrfachen Zentralit¨ atskorrekturen nach Gondzio gem¨ aß den Ausf¨ uhrungen in Abschnitt 5.1.4 zur Ermittlung einer korrigierten Zentrierungsrichtung (Δxmg , Δy mg , Δ˜ z mg , Δ˜ smg )T , k) Bestimmung einer geeigneten Schrittweite α gem¨ aß der Schrittweitenheuristik von Mehrotra und schließlich

Ein spezialisierter, kombinierter Programmcode – qipp

157

l) Bestimmung der neuen Iterierten (xmeh , y meh , z˜meh , s˜meh )T gem¨ aß der Gleichung (5.18) und des dazugeh¨ origen Dualit¨ atsmaßes μ. Die ¨ außere Schicht der Implementierung mit dem Programmcode zur Ausf¨ uhrung der Hauptroutine f¨ ur die Optimierung des qipp-Kerns und zur Umsetzung der zuvor beschriebenen reversierten Kommunikation wurde mit Hilfe der Programmiersprache C++ umgesetzt. Der Anwender startet dazu die Optimierung u ¨ ber den Aufruf der Routine FQipp::qipp() des daf¨ ur bereitgestellten FQipp-Objekts. Innerhalb dieser Routine ﬁndet u ¨ber den Aufruf von IPSolver::solve(doflag) die eigentliche Ausf¨ uhrung des Rechenkerns und die Behandlung der einzelnen Statusﬂaggen statt. Eigens dazu kapselt das spezielle Objekt IPSolver den Fortran-Rechenkern von qipp. Das Objekt IPSolver besitzt zwei Strukturen ictrl und dctrl zur Aufnahme grundlegender Parameter f¨ ur die Steuerung des Ablaufs, wie die maximal erlaubte Iterationszahl ictrl.maxit=100 oder den Toleranzwert zur Dualit¨ atsl¨ ucke f¨ ur die Abbruchbedingung dctrl.mutol=1e-8. Die Verkn¨ upfung zu dem Fortran-Kern erfolgt u ¨ ber die Routine solve(doflag) von IPSolver, die wiederum die zentrale Fortran-Funktion qippslv des Kerns aufruft. Das Objekt FQipp stellt alle notwendigen Funktionalit¨ aten bereit: Es enth¨ alt zum einen ein Objekt der Klasse QpData, dessen einzige Aufga$ aufzunehmen; es be darin besteht, die Daten des Ausgangsproblems (QP) enth¨ alt dar¨ uber hinaus die wesentlichen auf die Struktur der Daten abgestimmten Methoden zur Matrix-Faktorisierung, zum L¨ osen des Gleichungssystems, die dazu notwendige Verkn¨ upfung zu der Klasse des Gleichungssystem-L¨ osers LGS Solver, die Verkn¨ upfung zu dem qipp-Kern der inneren Schicht u ur die Identiﬁkation ¨ber die Klasse IPSolver und die Methoden f¨ und die Eliminierung der nicht-aktiven Restriktionen, die u ¨ber das Objekt QpStrike angesprochen werden. Bemerkung 5.2: Die hier vorgeschlagene zweischichtige Architektur der Implementierung des Verfahrens hat den Vorteil, das der Benutzer den qippKern im Wesentlichen als eine Black-Box“ betrachten kann und die ¨ außere ” Schicht vollst¨ andig nach seinen Bed¨ urfnissen gestaltet. In diesem Sinne ist die hier vorgenommene Implementierung der ¨ außeren Schicht u ¨ ber C++ als ein Beispiel der Realisierung eines Innere-Punkte-L¨ osers unter Verwendung des qipp-Kerns zu verstehen. Die Implementierung der ¨ außeren Schicht u ¨ber andere Programmiersprachen und die Ber¨ ucksichtigung spezieller Struktu-

158

Implementierung des modiﬁzierten Verfahrens

ren in den Problemdaten durch den Benutzer ist damit ebenso m¨ oglich und gew¨ ahrleistet.

5.3 Identiﬁkation und Elimination nicht-aktiver Restriktionen Die Erkennung und das tats¨ achliche Eliminieren nicht-aktiver Nebenbedingungen haben wesentliche Modiﬁkationen f¨ ur den Ablauf des InnerePunkte-L¨ osers zur Folge. Wir beschreiben an dieser Stelle die Besonderheiten, die bei der Implementierung zu beachten sind. W¨ ahrend zun¨ achst die Schwierigkeiten der Bestimmung der notwendigen Berechnungsgr¨ oßen f¨ ur die Identiﬁkation im Vordergrund stehen, werden im Anschluss daran die einzelnen Modiﬁkationen f¨ ur die Implementierung des Ablaufs des so erweiterten Innere-Punkte-Verfahrens betrachtet. 5.3.1 Vorbereitung f¨ ur die Identiﬁkation und Elimination Die Eliminierung nicht-aktiver Restriktionen erweist sich insbesondere im Hinblick auf die Ergebnisse zur Identiﬁkation aus [97] als vielversprechend. Voraussetzung dazu ist die Kenntnis der Identiﬁkationsvektoren βc∗l , βc∗u , βx∗l und βx∗u f¨ ur das erste Identiﬁkationskriterium sowie α∗cl , α∗cu , α∗xl und ∗ αxu f¨ ur das zweite Identiﬁkationskriterium. Die f¨ ur die Identiﬁkation nicht-aktiver Nebenbedingungen zust¨ andigen Routinen des QpStrike-Objektes beﬁnden sich als C++-Implementierung in der ¨ außeren Schicht von qipp, so dass f¨ ur die Instantiierung des Objektes alle Daten des zu Grunde liegenden Problems u ¨ ber das QpData-Objekt zur Verf¨ ugung stehen. Die relevanten Vektoren mit den Schwellenwerten f¨ ur die Identiﬁkation gem¨ aß den Korollaren 3.6 bzw. 3.8 werden in den Objektvariablen betastarcl, betastarcu, betastarxl, betastarxu bzw. alphastarcl, alphastarcu, alphastarxl und alphastarxu gespeichert. Die Bestimmung dieser Identiﬁkationsvektoren erfolgt dabei auf Basis der strukturellen Gr¨ oßen qij := a ˜Ti Q−1 a ˜j ,

∀ i, j = 1, . . . , 2mz + 2nx ,

Ê

wobei a ˜k als k-te Zeile der Matrix A˜ = (C, −C, I, −I)T ∈ (2mz +2nx )×nx $ zun¨ hier auf Grund der gegebenen Problemdeﬁnition in (QP) achst die Vektoren c1 , . . . , cmz und im Anschluss e1 , . . . , enx durchl¨ auft. Insgesamt lassen

Identiﬁkation und Elimination nicht-aktiver Restriktionen

159

sich somit alle qij wegen der Struktur des gegebenen Nebenbedingungssystems durch die Matrix A˜ u ¨ ber ⎞ ⎛ C ⎜−C ⎟ −1 −1 T ⎟ ˜ C −C I −I AQ A˜ = ⎜ ⎝ I ⎠Q −I ⎞ ⎛ C ⎜−C ⎟ −1 −1 −1 ⎟ −Q−1 =⎜ ⎝ I ⎠ Q C −Q C Q −I ⎛ ⎞ CQ−1 C T −CQ−1 C T CQ−1 −CQ−1 ⎜−CQ−1 C T CQ−1 C T −CQ−1 CQ−1 ⎟ ⎟ =⎜ −1 T ⎝ Q−1 C T −Q C Q−1 −Q−1 ⎠ −Q−1 C T Q−1 C T −Q−1 Q−1 bestimmen. Auf Grund der Symmetrie der Matrix ben¨ otigt man damit f¨ ur die Berechnung der qij die vier Grundmatrizen Q−1 ∈ nx ×nx , CQ−1 ∈ mz ×nx , Q−1 C T ∈ nx ×mz und CQ−1 C T ∈ mz ×mz . Neben der Inversion der Matrix Q stellt insbesondere f¨ ur großdimensionierte Nebenbedingungsmatrizen C die Bildung der nunmehr dichten Matrix CQ−1 C T vorwiegend ein rechentechnisches und speicherkritisches Problem dar. Versch¨ arfend kommt hinzu, dass die Gr¨ oßen qij lediglich einmal bei der Bestimmung der Identiﬁkationsvektoren ben¨ otigt werden und dann verworfen werden k¨onnen. Dieser hohe rechentechnische Startaufwand l¨ asst sich nach dem derzeitigen Erkenntnisstand nicht vermeiden.

Ê

Ê

Ê

Ê

Aus numerischer Sicht muss zudem vermieden werden, die Inverse Q−1 direkt zu bestimmen. Stattdessen l¨ ost man f¨ ur qij = a ˜i Q−1 a ˜j zun¨ achst das nx Gleichungssystem Qz = a ˜j f¨ ur z ∈ und bestimmt damit allgemein qij als L¨ osung des Skalarproduktes qij = a ˜Ti z. Dieses Vorgehen hat wie−1 T derum f¨ ur die Bestimmung von CQ C den Nachteil, dass das L¨ osen des Gleichungssystems Qz = a ˜j insgesamt mz mal durchgef¨ uhrt werden muss.

Ê

Bemerkung 5.3: Sind in dem gegebenen Problem lediglich Ungleichungsrestriktionen gegeben, so kann auf die Bestimmung der Matrizen CQ−1 und Q−1 C T verzichtet werden. F¨ ur die Berechnung der qij und das Anwenden der Identiﬁkationskriterien auf die Ungleichungsrestriktionen ist dennoch die Kenntnis der Matrix CQ−1 C T wesentlich.

160

Implementierung des modiﬁzierten Verfahrens

Die Berechnung der Gr¨ oßen qij u ¨ ber die Matrix CQ−1 C T gestalten wir m¨oglichst eﬃzient, indem die symmetrische und positiv-deﬁnite Matrix Q u ¨ ber eine Cholesky-Faktorisierung in das Matrixprodukt LLT zerlegt wird, wobei L ∈ m×m eine untere Dreiecksmatrix mit positiven Diagonalelementen darstellt. Wir erhalten die qij dann u ¨ ber die Berechnung einfacher Skalarprodukte. Mit Hilfe der Cholesky-Zerlegung bestimmen wir daher zun¨ achst die Faktorisierung Q = LLT f¨ ur die Zielfunktionsmatrix. Dann folgt f¨ ur qij = a ˜Ti Q−1 a ˜j durch Einsetzen

Ê

T −1 T L a ˜Ti L−1 L−1 a ˜j = L−1 a ˜i ˜j , qij = a

∀ i, j = 1, . . . , m. ˜

Wir setzen vk = L−1 a ˜k und bestimmen vk f¨ ur alle k = 1, . . . , m ˜ u ¨ ber die L¨osung des Gleichungssystems Lvk = a ˜k durch Vorw¨ artseinsetzen. Nach dieser Vorarbeit lassen sich die qij u ¨ber das Berechnen einfacher Skalarprodukte mit qij = viT vj ,

∀ i, j = 1, . . . , m ˜

bestimmen. In Abh¨ angigkeit von der Struktur der Matrix Q, z. B. einer speziellen Bandstruktur oder D¨ unnbesetztheit, sollten spezialisierte Algorithmen f¨ ur die Faktorisierung ausgenutzt werden (siehe dazu z. B. [119]). Dar¨ uber hinaus liegt eine technische Schwierigkeit bei der Bestimmung der qij im Auslesen der i-ten Zeile ci der Matrix C, die in der Implementierung f¨ ur qipp u unnbesetzte ¨ber das verwendete Speicherschema als eine d¨ Matrix u ber zwei Indexvektoren f¨ u r den Zeilenund den Spaltenindex und ¨ einen Wertevektor abgelegt wird. Sind die Eintr¨ age der Matrix zeilenweise aufsteigend geordnet abgespeichert, kann das zeilenweise Auslesen von C mit geringem Aufwand in einem Durchlauf erfolgen.

5.3.2 Die Auswirkung der Eliminierung auf die primal-duale Programmstruktur Ist die Elimination von Nebenbedingungen u ¨ber den Schalter doStrike von ictrl aktiviert, ruft der qipp-Kern unmittelbar vor jeder neuen Iteration u ur das Identiﬁzieren und ¨ ber die Statusﬂagge doflag=-4 speziellen f¨ Eliminieren bereitgestellten Programmcode in der ¨ außeren Schicht der Implementierung auf. Dort wird u ¨ ber Routinen des QpStrike-Objekts gepr¨ uft, ob Nebenbedingungen als nicht-aktiv erkannt werden und eliminiert

Identiﬁkation und Elimination nicht-aktiver Restriktionen

161

werden k¨ onnen. Der folgende Quellcode verdeutlicht das dazu notwendige Vorgehen. //calculate current objective function value double strikealpha = data->getObjectiveValue(data->nx, getPtr("VX")); //if iterate is feasible then check restrictions bool isFeasibleIterate = isFeasible(); //check restrictions strike->checkRestrictions(strikealpha, data->iclow, data->icupp, data->ixlow, data->ixupp);

Zun¨ achst berechnen wir den Zielfunktionswert f¨ ur die aktuelle Iterierte. Ist die Iterierte f¨ ur das aktuelle Ungleichungsnebenbedingungssystem nach Pr¨ ufung u assig, rufen wir die Identiﬁka¨ ber die Routine isFeasible() zul¨ tionsroutine u ¨ber das QpStrike-Objekt auf. Die eigentliche Eliminierung“ ” identiﬁzierter Nebenbedingungen geschieht dabei innerhalb der Routine checkRestrictions(...) des Objektes QpStrike auf einfache Weise u ¨ber das Setzen der entsprechenden Komponenten der bin¨ aren Indexvektoren auf Null, die somit als Parameter zusammen mit dem aktuellen Zielfunktionswert strikealpha u ¨ bergeben werden. Eine aufwendige Modiﬁkation der im Objekt QpData abgelegten Ausgangsdaten C, cl und cu kann somit vermieden werden. Damit wird zudem gew¨ ahrleistet, dass die Ausgangsdaten der Problemstellung auch nach der Elimination“ von Nebenbedingungen ” ohne Verlust erhalten bleiben. Nachdem auf diese Weise die Ausgangsdaten angepasst“ wurden, sind ” weitere von der Dimension mz abh¨ angigen Gr¨oßen zu modiﬁzieren. Dazu geh¨ oren neben den Dualvariablen λ und π ebenfalls die Variable z := λ − π und die Gr¨oße s := Cx und die Neuberechnung des Matrix-Vektor¨ Produkts C T z. Uber eine Maskierungsfunktion dmask(...) werden u ¨ber die bin¨ aren Indexvektoren icl bzw. icu diejenigen Komponenten dieser Vektoren auf Null gesetzt, d. h. beispielsweise λi = 0, f¨ ur die die Nebenbedingungen gleichen Indexes eliminiert wurde. Beispielsweise wird die Dualvariable λ in diesem Fall u ¨ ber dmask(lambda, data->iclow);

gesetzt. F¨ ur z reicht eine Maskierung nicht aus; hier werden zun¨ achst die Dualvariablen λ und π maskiert und anschließend wird z u ¨ber die Diﬀerenz λ − π neu gesetzt. Durch die Elimination von Nebenbedingungen ver¨ andern sich sowohl die Residuumsnorm als auch die Datennorm. Beide sind daher zu aktualisieren. W¨ahrend f¨ ur die Berechnung der Residuen rQ , rA , rC , rz , rt , ru , rv und

162

Implementierung des modiﬁzierten Verfahrens

rw innerhalb des qipp-Kerns die Residuumsnorm rQ , rA , rt , ru , rv , rw ∞ korrekt bestimmt wird, ist die Datennorm Q, A, C, c, d, b, cl , cu , xl , xu ∞ nach der Eliminierung innerhalb der ¨ außeren Schicht der Implementierung durch einen separaten Aufruf zu aktualisieren. ¨ Abschließend ist es erforderlich dem Gleichungssysteml¨ oser die Anderungen in den Ausgangsdaten f¨ ur die Matrix M mitzuteilen. Die dazu notwendigen Aktionen beschreibt der folgende Abschnitt. 5.3.3 Die Auswirkung der Eliminierung auf den Gleichungssysteml¨ oser Die Hauptarbeit f¨ ur das primal-duale Innere-Punkte-Verfahren entsteht bei der L¨ osung des Gleichungssystems (5.28). Demzufolge hat die Leistungsf¨ ahigkeit des zu Grunde liegenden Gleichungssysteml¨ osers entscheidenden Einﬂuss auf die Performance des Innere-Punkte-L¨ osers. Als Gleichungssysteml¨ oser w¨ ahlen wir auf Grund der (bis auf die Vorzeichen) symmetrischen Form der Matrix M und der Abspeicherung als d¨ unnbesetzte Matrix den frei verf¨ ugbaren direkten L¨ oser Ma27 des HSL-Archivs [31] f¨ ur d¨ unnbesetzte, symmetrische lineare Gleichungssysteme. Die Bestimmung einer L¨ osung mit direkten Gleichungssysteml¨ osern erfolgt in der Regel u ¨ ber drei Phasen: Analyse der gegebenen Daten, Faktorisierung der Matrix und L¨osen mit gegebener rechter Seite. Innerhalb der Analyse-Phase wird eine Pivotisierungsreihenfolge zur Bestimmung der Matrixfaktoren f¨ ur die Faktorisierung festgelegt. Mit Hilfe der Matrixfaktoren geschieht das L¨ osen des Gleichungssystems anschließend durch Vorw¨arts- und R¨ uckw¨ artseinsetzen. Von allen drei Phasen beansprucht die Faktorisierung den gr¨ oßten Rechenaufwand. Der in Fortran implementierte Ma27-Gleichungssysteml¨ oser wird aus der ¨ außeren Schicht der qipp-Implementierung heraus u ¨ ber eine C++ur Aufrufe Schnittstelle mit Hilfe des Objektes MA27Solver angesprochen. F¨ des L¨ osers innerhalb der ¨ außeren Schicht wird MA27Solver durch eine Typdeﬁnition immer als LGS Solver angesprochen. Diese Vorgehensweise hat den Vorteil, dass der zu Grunde liegende Gleichungssysteml¨ oser nach Belieben in Abh¨ angigkeit von der Problemstellung und der damit gegebenen Struktur der Daten gegen einen geeigneten, alternativen Gleichungssysteml¨ oser ausgetauscht werden kann. Der Benutzer ist daher frei in der Wahl des verwendeten Gleichungssysteml¨ osers. F¨ ur jeden anzubindenen Gleichungssysteml¨ oser ist somit lediglich die Schnittstellenbeschreibung auszutauschen. Ein Vergleich innerhalb der HSL-Bibliothek zur Verf¨ ugung ste-

Identiﬁkation und Elimination nicht-aktiver Restriktionen

163

hender direkter L¨oser, die auch f¨ ur den Einsatz innerhalb von qipp geeignet sind, ist in Gould und Scott [58] zu ﬁnden. Entsprechend der drei beschriebenen Phasen stellt MA27Solver die Methoden reorder, factorize und solve bereit. Die Daten des Ausgangsproblems werden als Matrix M u ¨ ber die Methoden initStructure, update und updateDiag u bergeben. Dabei u ¨ ¨ bermittelt initStructure lediglich die D¨ unnbesetztheitsstruktur von M als Zeilen- und Spaltenindizes der Matrixeintr¨ age, die f¨ ur die Bestimmung der Pivotisierungsreihenfolge in der Analyse-Phase relevant sind. Mit update bzw. updateDiag werden die Werte der Matrix u ¨ bermittelt. Durch die Elimination von nicht-aktiven Nebenbedingungen wird die derzeite Matrix M ung¨ ultig, da Zeilen und Spalten entfernt werden m¨ ussten. Zur L¨ osung des reduzierten Gleichungssystems m¨ usste die neue Matrix ¯ des reduzierten Systems dann wieder komplett f¨ M ur den Gleichungssysteml¨ oser im Objekt MA27Solver bereitgestellt werden. Da das Einlesen der Ausgangsdaten verbunden mit der erneuten Bestimmung der Pivotisierungsreihenfolge aufwendig ist, folgt die derzeitige Implementierung von ¨ qipp einem anderen Weg. Uber eine spezielle Methode trim werden in der bestehenden Matrix M des Gleichungssysteml¨ osers diejenigen Matrixeintr¨age auf Null gesetzt, deren zugeh¨ orige Zeilen- oder Spaltenindizes durch die Elimination von dazugeh¨ origen Nebenbedingungen nun nicht mehr betrachtet werden sollen. Damit werden eliminierte Nebenbedingungen in Form von kompletten Nullzeilen und -spalten innerhalb des Gleichungssystems (5.28) umgesetzt. Der verwendete Gleichungssysteml¨ oser muss daher in der Lage sein, entsprechende Nullzeilen im System zu erkennen und zu ignorieren. Bemerkung 5.4: Das beschriebene derzeitige Vorgehen f¨ ur die Eliminierung von Nebenbedingungen ist im Hinblick auf den Speicherbedarf unvorteilhaft, da alle Eintr¨ age der Matrix M erhalten bleiben. Da f¨ ur das Innere-Punkte-Verfahren lediglich Diagonalelemente von M von Iteration zu Iteration zu aktualisieren sind, ist das Neuschreiben der reduzierten ¯ nach der Elimination von Nebenbedingungen ebenfalls nur f¨ Matrix M ur d¨ unnbesetzte Matrizen empfehlenswert. In diesem Sinne sollten die verwendeten Gleichungssysteml¨ oser in der Hinsicht modiﬁziert werden, dass ein durch Elimination bedingtes Update der KKT-Matrix M sowohl f¨ ur den Speicherbedarf als auch f¨ ur die Faktorisierung und das anschließende L¨ osen keine Performance-Verluste mit sich bringt.

164

Implementierung des modiﬁzierten Verfahrens

5.4 Arbeiten mit dem Solver Dieser Abschnitt beschreibt beispielhaft eine Implementierung f¨ ur den Aufruf von qipp als einen L¨ oser f¨ ur quadratische Optimierungsprobleme in der Programmiersprache C++. Alle dazu notwendigen Schritte und Programmkonstrukte werden dargestellt und erl¨ autert. Das dann anschließende Unterkapitel zeigt das Ergebnis der Kompilierung als ausf¨ uhrbares Programm und die Darstellung der Ausgaben von qipp w¨ ahrend der Ausf¨ uhrung zur L¨ osung des Optimierungsproblems. Die Resultate des Kapitels 6 sollen dabei nicht vorweggenommen werden. 5.4.1 Beispielaufruf Mit Hilfe der in C++ implementierten Beispieldatei testqipp.cc veranschaulichen und kommentieren wir den Ablauf der notwendigen programmtechnischen Aufrufe f¨ ur qipp zum L¨ osen quadratischer Optimierungsprobleme. Dabei konzentrieren wir uns lediglich auf die f¨ ur die L¨ osungsbestimmung wesentlichen Konstrukte. Zun¨ achst werden die grundlegenden Datenobjekte zur Aufnahme der Ausgangsdaten des quadratischen Optimierungsproblems u ¨ ber QpMatrixStruct Q(nx, nx, bsymmetric, bsparse); QpMatrixStruct A(my, nx, !bsymmetric, bsparse); QpMatrixStruct C(mz, nx, !bsymmetric, bsparse); FArray<double> b, c; FArray<double> clow, cupp, xupp, xlow; FArray icupp, iclow, ixupp, ixlow;

//bound vectors //index vectors

instantiiert. Die Klasse QpMatrixStruct nimmt hierbei eine Matrix der durch die Parameter nx, my bzw. mz jeweils angegebenen Gr¨ oße als d¨ unn¨ besetzte Matrix auf. Uber die Aufrufe //generate random problem instance generateObjectiveMatrix(nx, Q); generateObjectiveVector(c); generateInequalityConstraints(mz, nx, nnzC, C, cupp); shiftRestrictionPolytop(C, cupp, xlow, xupp);

wird ein quadratisches Beispielproblem mit zuf¨alligen Eintr¨ agen generiert, so dass ein zul¨ assiges konvex-quadratisches Optimierungsproblem erzeugt wird. Die Methode shiftRestrictionPolytop verschiebt den zul¨ assigen Bereich dabei so, dass das Optimum x0 des unrestringierten Problems

Arbeiten mit dem Solver

165

keinen zul¨ assigen Punkt f¨ ur das restringierte Problem darstellt, d. h. eine optimale L¨ osung des restringierten Problems damit auf dem Rand des zul¨ assigen Bereichs angenommen wird. Als n¨ achstes erzeugen wir mit myData ein Objekt der Klasse QpData, dass die Daten des Optimierungsproblems f¨ ur qipp als L¨ oser aufnimmt. Wir u ¨ bergeben dem Konstruktor dabei lediglich Zeiger auf die zuvor bereits angelegten jeweiligen Datenobjekte. QpData myData(Q, A, C, cptr, bptr, cuppptr, icuppptr, clowptr, iclowptr, xuppptr, ixuppptr, xlowptr, ixlowptr);

Den Fortran-Rechenkern des Innere-Punkte-Verfahrens kapselt die Klasse IPSolver, die u ¨ber die Objektvariable ipsolver instantiiert wird. Den Gleichungssysteml¨ oser zur L¨ osung des Newton-KKT-Systems repr¨ asentiert die Objektvariable myLGSSolver u ¨ ber die Klasse LGS Solver. Diese C++Klasse kapselt die Fortran-Routinen f¨ ur den symmetrischen Gleichungssysteml¨ oser Ma27 des HSL Archives [92]. IPSolver ipsolver(nx, my, mz, myData.iclow.dat(), myData.icupp.dat(), myData.ixlow.dat(), myData.ixupp.dat()); LGS_Solver myLgsSolver;

Grundlegende Einstellungen, wie beispielhaft der Detailgrad der Textausgaben des L¨ osers und insbesondere die Angabe, ob die Elimination nichtbindender Nebenbedingungen aktiviert werden soll, werden u ¨ber die ictrlStruktur von ipsolver festgelegt. //some basic settings ipsolver.ictrl.printlevel = 1; ipsolver.ictrl.maxit = 100; ipsolver.ictrl.dostrike = false;

Die F¨ ahigkeit der Identiﬁzierung und der Eliminierung nicht-aktiver Restriktionen wird mit Hilfe des Objekts QpStrike u ¨ber die Instanzvariable myStrike zu Verf¨ ugung gestellt. Die Methode myStrike.calculateQij() ist dabei f¨ ur die Bestimmung der essentiellen Gr¨ oßen qij bzw. β ∗ und α∗ verantwortlich. // build QpStrike and calculate quantities qij QpStrike myStrike(&myData, ipsolver.ictrl.printlevel); myStrike.calculateQij();

166

Implementierung des modiﬁzierten Verfahrens

Die zentrale Steuerung des Innere-Punkte-Verfahrens u ¨ ber die reversierte Kommunikation zum Fortran-Rechenkern stellen wir mit dem C++Objekt FQipp u osungsverfah¨ ber die Objektinstanz fqipp bereit. Das L¨ ren starten wir anschließend u ¨ ber den Aufruf der entsprechenden Methode fqipp.qipp(), die lediglich den Terminierungsstatus als R¨ uckgabewert zur¨ uckliefert. //create FQipp object and call FQipp::qipp to solve FQipp fqipp(&ipsolver, &myData, &myLgsSolver, &myStrike); //solve now ierr = fqipp.qipp();

Die optimale L¨ osung des Verfahrens erhalten wir danach durch den direkten Zugriﬀ auf die entsprechenden Platzhalter u ¨ ber fqipp.getPtr("VX", nx). Die Anzahl der ben¨ otigten Iterationen ließe sich beispielweise durch Auslesen der Kontrollvariablen ipsolver.ictrl.iteration bestimmen. 5.4.2 Beispielausgabe Mit der Testanwendung testqipp.exe haben wir beispielhaft einen Aufruf des qipp-L¨ osers entsprechend den Vorgaben des letzten Abschnitts implementiert. Das Programm generiert zun¨ achst eine Beispielinstanz eines konvex-quadratischen Optimierungsproblems. Dazu kann u ¨ ber zwei Parameter die Gr¨ oße des Problems in Form der Anzahl der Nebenbedingungen und der Anzahl der Entscheidungsvariablen vorgegeben werden. Beispielsweise erzeugt der Aufruf > ./testqipp.exe.suse -m2750 -n4

Ê

ein konvex-quadratisches Beispieloptimierungsproblem im 4 mit einem zuf¨ alligen, linearen Nebenbedingungssystem Cx ≤ cu mit einer Matrix C ∈ 2750×4 und einer positiv-deﬁniten Diagonalmatrix Q ∈ 4×4 f¨ ur die Zielfunktion. Die folgenden Zeilen der Ausgabe geben kurze Statusinformationen u ¨ ber den Fortgang der Generierung des Problems.

Ê

This is Qipp test routine, Version 0.7 beta, Jul 4, 2007 -> setting problem dimension=4 -> setting inequality constraint dimension=2750 # Show members of QpData... -> quadratic objective matrix Q (4 x 4) with 4 non-zero elements Q=[ 1.07535, 0.00000, 0.00000, 0.00000;

Ê

Arbeiten mit dem Solver

0.00000, 0.00000, 0.00000, ]; -> -> -> -> -> ->

8.26232, 0.00000, 0.00000,

167

0.00000, 9.79351, 0.00000,

0.00000; 0.00000; 4.59142;

no equality constraint matrix A given inequality constraint matrix C (2750 x 4) with 11000 non-zero elements upper bounds on inequality constraints are given no lower bounds on inequality constraints are given no upper bounds for variables are given no lower bounds for variables are given

Nachdem das Optimierungsproblem generiert wurde, erzeugt das Testprogramm u ur ¨ ber die Objektinstanz myStrike der Klasse QpStrike die f¨ die Eliminierung nicht-aktiver Nebenbedingungen notwendigen Gr¨ oßen qij bzw. daraus dann die entscheidenden Vergleichsvektoren β ∗ ∈ my und α∗ ∈ my , was durch die folgenden Ausgabezeilen kenntlich gemacht wird.

Ê

Ê

# Start calculating qij for alphastar, betastar... -> calculated alphastar. -> calculated betastar. # prepare LGS solver...

Wir starten nun das Innere-Punkte-Verfahren, zun¨ achst ohne die Identiﬁkation und Elimination nicht-bindender Nebenbedingungen aktiviert zu haben. Das Beispielproblem wird daher entsprechend dem gew¨ ohnlichen Mehrotra-Pr¨ adiktor-Korrektor-Schema (MPC) gel¨ ost. F¨ ur jede Iteration werden die den aktuellen Status des Verfahrens beschreibenden Gr¨ oßen wie u ¨ ber die nachfolgende Iterationsliste abgebildet. # Iteration-Table: # ----------------# __It ___resnorm ___dualgap # 0 31207 1.646e+09 # 1 20516 1.4765e+11 # 2 2.5329e-09 1.052e+11 # 3 4.3012e-09 4.6359e+07 # 4 1.5964e-09 2.0099e+07 # 5 7.6216e-10 1.5751e+07 # 6 3.7244e-10 8.1324e+06 # 7 8.4583e-11 3.5454e+06 # 8 3.1832e-11 1.2361e+06 # 9 1.9099e-11 1.2314e+06 # 10 2.0918e-11 4.3926e+05 # 11 1.1141e-11 4.2649e+05 # 12 4.3656e-11 56006 # 13 3.1832e-11 473.52 # 14 2.0918e-11 0.003832 # 15 2.6375e-11 1.4901e-08 *** SUCCESSFUL TERMINATION ***

______mu 0 4.09e+08 3.83e+07 1.69e+04 7.31e+03 5.73e+03 2.96e+03 1.29e+03 450 448 160 155 20.4 0.172 1.39e-06 6.19e-22

___sigma 1 1 0.0043 6.57e-11 0.0999 0.583 0.0606 0.295 0.021 0.913 0.0286 0.829 0.0148 0.00198 1.03e-07 4.31e-22

___alpha 1 1 1 1 0.629 0.519 0.515 0.8 0.665 0.0441 0.662 0.172 0.882 0.994 1 1

_____dnorm 31384 31384 31384 31384 31384 31384 31384 31384 31384 31384 31384 31384 31384 31384 31384 31384

168

Implementierung des modiﬁzierten Verfahrens

# -> solution: x=[-1118.9, 543.27, 778.32, -271.86]; -> objective value: 5028414.06974

Innerhalb der Iterationsliste beschreibt resnorm die Residuumsnorm, die zweite Spalte dualgap die aktuelle Dualit¨ atsl¨ ucke, mu den aktuellen Barriere-Parameter bzw. das Dualit¨ atsmaß μk , sigma den Zentrierungsparameter σk , alpha die gew¨ ahlte Schrittweite αk und schließlich dnorm die Datennorm des Problems f¨ ur die jeweilige Iteration k. Abschließend werden die gefundene L¨ osung x∗ und der korrespondierende optimale Zielfunktionswert f (x∗ ) ausgegeben. Den Terminierungsstatus des Verfahrens gibt der L¨ oser in Form einer Textmeldung – hier beispielsweise SUCCESSFUL ” TERMINATION“ – an. M¨ ogliche andere Status3 listet die Tabelle B.1 im Anhang B.1 auf Seite 201 auf. F¨ ur eine Gegen¨ uberstellung des Laufzeitverhaltens des Innere-PunkteVerfahrens ohne und mit Identiﬁkation und Elimination nicht-aktiver Restriktionen stoßen wir das L¨ osungsverfahren f¨ ur dasselbe Optimierungsproblem ein zweites Mal an, diesmal mit aktivierter Elimination. Wiederum gibt der L¨ oser die gewohnte Iterationsliste aus, allerdings erg¨ anzt um die Spalte mcmpl der Anzahl zu betrachtender, im Problem verbleibender Nebenbedingungen. # Iteration-Table: # ----------------# __It ___resnorm ___dualgap # 0 31207 1.646e+09 # 1 2.095e+07 -1.5103e+10 # 2 20516 3.3505e+07 # 3 110.11 3.1658e+07 # 4 3582.4 -1.4153e+06 # 5 61.222 2.0934e+05 # 6 3.638e-12 2.0339e+05 # 7 1.9535 37264 # 8 5.457e-12 35058 # 9 5.457e-12 2679.4 # 10 5.457e-12 10.234 # 11 1.3642e-11 1.6764e-08

______mu 0 4.24e+08 1.71e+06 7.61e+04 5.84e+03 1.1e+03 823 156 145 11.1 0.0425 7.16e-11

___sigma 1 1 1 7.66e-05 0.0884 1 1 0.0276 1 0.0164 0.000138 2.75e-10

___alpha 1 1 1 0.995 1 1 1 0.834 1 0.939 0.996 1

_____dnorm 31384 23618 23618 23618 19531 19531 19531 19531 19531 19531 19531 19531

__mcmpl 2750 466 466 466 274 248 248 242 242 242 242 242

*** SUCCESSFUL TERMINATION *** # -> solution: x=[-1118.86487, 543.26772, 778.32152, -271.86245]; -> objective value: 5028414.06974

Direkt zu sehen ist die permanente Reduzierung der Gr¨ oße des zu Grunde liegenden Systems w¨ ahrend des L¨ osungsverfahrens. Ausgehend von 2 750 3 Gemeint

ist an dieser Stelle der Plural des Wortes Status“ in der lateinischen u” Deklination, gesprochen .

Arbeiten mit dem Solver

169

Nebenbedingungen des Beispielproblems k¨ onnen f¨ ur den ersten Iterationspunkt im Beispiel sofort 2 284 nicht-bindende Nebenbedingungen eliminiert werden. In der dritten Iteration lassen sich weitere 192 Nebenbedingungen entfernen. Mit dem Voranschreiten der Iterationen k¨ onnen in der vierten weitere 26 und letztmalig in der sechsten Iteration nochmals sechs Nebenbedingungen eliminiert werden, bevor f¨ ur ein deutlich reduziertes System schließlich in der elften Iteration mit einer N¨ aherungsl¨ osung gew¨ unschter G¨ ute abgebrochen wird. Im Vergleich zum Durchlauf des Verfahrens ohne aktivierte Eliminierung nicht-bindender Restriktionen f¨ uhrt der zweite Durchlauf hier neben der deutlichen Reduktion der Problemgr¨ oße zudem zu einer merklichen Verringerung der Iterationszahl auf elf statt 15 Iterationen. # Summary of iteration process after 11 iterations: -> 0 box constraints started with -> 2750 inequality constraints started with -----> 2750 constraints overall ====== -> 68 constraints stroken out by crit. 1 -> 2440 constraints stroken out by crit. 2 -----> 2508 restrictions stroken out overall ====== ### Comparison ### # objvalue: 5028414.06974 <> 5028414.06974 # itercounts: 15 <> 11 Qipp will be closed now... bye

Den Schluss der Ausgabe des Testprogramms bildet eine Zusammenfassung u ¨ ber die Anzahl der eliminierten Restriktionen aufgegliedert nach Kriterium 1 bzw. Kriterium 2. Der abschließende Vergleich liefert eine Gegen¨ uberstellung der Iterationszahlen des Verfahrens ohne und mit Eliminierung nicht-aktiver Restriktionen und der jeweiligen Zielfunktionswerte.

6 Numerische Ergebnisse und rechentechnischer Vergleich Anhand von Beispielen f¨ ur quadratische Optimierungsprobleme wird die Implementierung von qipp als ein modiﬁziertes primal-duales Innere-Punkte-Verfahren getestet. Dabei ist der Fokus auf die Eliminierung von nichtaktiven Nebenbedingungen gerichtet. Neben zuf¨ allig erzeugten Probleminstanzen wenden wir qipp ebenfalls auf Beispiele der Sammlung quadratischer Testprobleme von Maros und M´esz´aros [82] an, die ebenfalls als Bestandteil der CUTEr-Testumgebung verf¨ ugbar sind [59].

6.1 Problemgenerator fu ¨ r Beispielinstanzen ¨ Uber das der ¨ außeren Schicht von qipp zugeh¨ orige Objekt QpGenerator lassen sich, wie schon in Abschnitt 5.4.1 auf Seite 164 vorgestellt, zuf¨ allige Beispielprobleminstanzen von konvex-quadratischen Optimierungsproblemen erzeugen. F¨ ur die numerischen Tests werden damit Probleminstanzen verschiedener Dimension mit jeweils nicht-leerem und beschr¨ anktem zul¨ assigen Bereich S der Form minn 12 xT Qx + cT x

x∈

Ê

u. d. N. cTi x ≤ di , i = 1, . . . , mz xl ≤ x ≤ xu mit mz Ungleichungsnebenbedingungen, mit Beschr¨ ankungen der Variablen durch Schranken xl bzw. xu und ohne Gleichheitsnebenbedingungen erzeugt. Dabei erfolgt die Konstruktion eines Beispielproblems wie folgt: Ohne Beschr¨ ankung der Allgemeinheit wird die symmetrische, positiv-deﬁnite Matrix Q der quadratischen Zielfunktion als Diagonalmatrix der Dimension n mit positiven, zuf¨ alligen Eintr¨ agen gew¨ ahlt. Der Optimalpunkt x0 des unrestringierten Optimierungsproblems wird als der Nullvektor gesetzt. Der zul¨ assige Bereich S wird dabei mit Hilfe der beiden Metho-

172

Numerische Ergebnisse und rechentechnischer Vergleich

den des QpGenerator-Objekts generateBoxConstraints und der Methode generateInequalityConstraints in drei Schritten konstruiert: allige Normalenvektoa) F¨ ur die Nebenbedingungen w¨ ahlen wir mz zuf¨ ren ci ∈ n und dazugeh¨ orige Skalare di ∈ , wobei di := cTi ci gelten soll. Auf diese Weise wird ein Polyeder erzeugt, der den Einheitsball umschließt. Die Vektoren ci stellen dabei jeweils die Normalenvektoren von u ¨ber die spezielle Wahl der di den Einheitsball ber¨ uhrenden Tangentialhyperebenen dar.

Ê

Ê

b) In einem zweiten Schritt werden diese Tangentialhyperebenen durch eine zuf¨ allige Skalierung der rechten Seite d = (di )i=1,...,mz verschoben, so dass ein nicht-leeres Polyeder S als zul¨ assiger Bereich entsteht. ¨ c) Uber eine abschließende Transformation der rechten Seite mit einem zuf¨ alligen Vektor v ∈ n und einem geeigneten Skalar δ > 0 verschieben wir das Polyeder S u ¨ ber d := δ · Cv + d und xl = xl + v bzw. xu = xu + v so weit, dass x0 ∈ S erreicht wird.

Ê

Das auf diese Weise generierte Nebenbedingungsungleichungssystem Cx ≤ d besitzt als Besonderheit eine dichtbesetzte Matrix C ∈ mz ×n . F¨ ur alle Berechnungen wurde qipp mit den Erweiterungen zur Elimination von Nebenbedingungen unter Verwendung des GNU-C++- und des GNU-Fortran-Compilers in der Version 4.1.2 f¨ ur ein Linux-64bit-System (Kernel 2.6.18.8) kompiliert. Die Berechnungen wurden auf einem Mehrprozessor-System mit vier Dual-Core AMD Opteron-Prozessoren mit je 2 800 MHz Prozessortakt und 16 060 MB Hauptspeicher durchgef¨ uhrt.

Ê

6.2 Ergebnisse fu ¨ r generierte Beispiele Das modiﬁzierte Innere-Punkte-Verfahren wenden wir auf die generierten, zuf¨alligen Beispielprobleme an. F¨ ur eine ausgew¨ ahlte Menge P von Beispielproblemen geben wir in Tabelle 6.1 auf Seite 176 die Anzahl identiﬁzierter und eliminierter Nebenbedingungen rs , die Anzahl an Iterationen es , f¨ ur die Eliminationen durchgef¨ uhrt wurden sowie die Anzahl der Iterationen k bis zum Auﬃnden einer L¨ osung gew¨ unschter Genauigkeit. Wir vergleichen hierzu die Iterationszahl des herk¨ ommlichen MehrotraPr¨adiktor-Korrektor-Verfahrens (MPC) mit dem hier vorgeschlagenen modiﬁzierten Verfahren (MPCE) zur Elimination und betrachten dar¨ uber hinaus die Iterationszahl, wenn zus¨ atzlich die Zentralit¨ atsverbesserung nach

Ergebnisse f¨ ur generierte Beispiele

173

1 0.9 0.8

P(r

p,s

s

≤τ:1≤s≤n )

0.7 0.6 0.5

MPC MPC/E MPCE MPCE/GON

0.4 0.3 0.2 0.1 0

1

1.1

1.2

1.3

1.4

τ

1.5

1.6

1.7

1.8

1.9

Abbildung 6.1: Performance-Proﬁle ausgew¨ ahlter Testbeispiele

Gondzio aktiviert ist (MPCE/GON). Dar¨ uber hinaus f¨ uhren wir die Elimination von Nebenbedingungen ebenfalls innerhalb des herk¨ ommlichen Mehrotra-Verfahrens (MPC/E) durch, ohne jedoch den Pr¨ adiktor- und den Korrektor-Schritt zu modiﬁzieren. Die Abbildung 6.1 zeigt die sog. Performance-Proﬁle der vier Verfahrensvarianten nach Dolan und Mor´e [29]. Dazu deﬁnieren wir analog f¨ ur jedes der np Testprobleme p ∈ P und jedes der ns = 4 betrachteten L¨ osungsverfahren s als sog. Performance-Maß kp,s die Anzahl der ben¨ otigten Iterationen. Wir vergleichen die Iterationsanzahl der einzelnen Verfahren f¨ ur die Probleminstanz p mit der jeweils erreichten besten Iterationszahl und bilden mit rp,s =

kp,s min{kp,s : s ∈ S}

den sog. Performance-Quotienten, wobei S hier die Menge der vier betrachteten Verfahren bezeichnet. Das Performance-Proﬁl : → [0, 1] erhalten wir als die Verteilungsfunktion der Performance-Quotienten f¨ ur das Verfahren s ∈ S, d. h. wir deﬁnieren

Ê

s (τ ) :=

1 card (p ∈ P | rp,s ≤ τ ) . np

174

Numerische Ergebnisse und rechentechnischer Vergleich

F¨ ur das Verfahren s ∈ S gibt damit s (τ ) die Wahrscheinlichkeit an, dass der Performance-Quotient rp,s im Bereich des τ -fachen des bestm¨ oglichen Performance-Quotienten liegt. Die Wert s (1) gibt dabei die Wahrscheinlichkeit an, in wieviel Testproblemen das Verfahren s die geringste Anzahl Iterationen ben¨ otigt und damit das beste Verfahren darstellt. Die Darstellung der st¨ uckweise konstanten Verteilungsfunktionen in Abbildung 6.1 f¨ ur die hier vorgenommene Auswahl an Testproblemen zeigt, dass das vorgestellte modiﬁzierte Innere-Punkte-Verfahren mit Elimination (MPCE) bei Betrachtung der Iterationszahlen in etwa vergleichbar mit dem herk¨ ommlichen Mehrotra-Verfahren (MPC) abschneidet. Die Aktivierung der Zentralit¨ atskorrekturen nach Gondzio f¨ ur das modiﬁzierte Verfahren mit Elimination (MPCE/GON) verbessert das Performance-Verhalten weiter. Dagegen zeigt das herk¨ ommliche Mehrotra-Verfahren mit Elimination (MPC/E) und ohne Modiﬁkation der Zentrierungsrichtung eine deutlich schlechtere Performance.

32 128 256 512 1024 2048 4096 8192 16384 20480 32 128 256 512 1024 2048 4096 8192 16384 20480 32 128 256 512 1024

2 2 2 2 2 2 2 2 2 2 4 4 4 4 4 4 4 4 4 4 6 6 6 6 6

10 8 10 12 12 11 12 11 13 11 13 10 13 13 12 13 13 13 13 13 11 12 15 14 15

MPC k

9 15 9 12 12 11 14 12 12 17 13 12 13 11 12 15 16 14 17 14 10 12 14 13 15

k

1 4 2 4 3 2 5 3 4 5 3 6 3 5 7 9 5 7 6 6 2 5 5 6 7

es 27 121 249 509 1019 2044 4088 8185 16374 20470 12 80 181 395 886 1867 3887 7901 15965 19654 6 42 109 247 523

MPC/E rs 84% 95% 97% 99% 100% 100% 100% 100% 100% 100% 38% 63% 71% 77% 87% 91% 95% 96% 97% 96% 19% 33% 43% 48% 51%

rs /m 7 8 7 9 12 8 11 9 10 12 14 14 14 13 14 16 16 15 17 16 12 16 17 17 18

k 1 3 3 4 3 4 6 3 6 6 2 6 4 6 4 6 6 6 6 4 2 6 6 7 8

es 27 121 249 509 1019 2044 4088 8185 16374 20470 12 80 181 395 886 1867 3887 7901 15965 19622 6 42 109 247 523

MPCE rs 84% 95% 97% 99% 100% 100% 100% 100% 100% 100% 38% 63% 71% 77% 87% 91% 95% 96% 97% 96% 19% 33% 43% 48% 51%

rs /m 7 8 7 9 12 8 11 9 10 12 14 14 12 13 14 16 16 16 17 16 12 13 15 17 18

k 1 3 3 4 3 4 6 3 6 6 2 6 4 6 4 6 6 7 6 4 2 3 5 7 8

27 121 249 509 1019 2044 4088 8185 16374 20470 12 80 181 395 886 1867 3887 7901 15965 19622 6 42 109 247 523

84% 95% 97% 99% 100% 100% 100% 100% 100% 100% 38% 63% 71% 77% 87% 91% 95% 96% 97% 96% 19% 33% 43% 48% 51%

MPCE/GON es rs rs /m 30% 0% 30% 25% 0% 27% 8% 18% 23% -9% -8% -40% 8% 0% -17% -23% -23% -23% -31% -23% -9% -8% 0% -21% -20%

I 22% 47% 22% 25% 0% 27% 21% 25% 17% 29% -8% -17% 8% -18% -17% -7% 0% -14% 0% -14% -20% -8% -7% -31% -20%

II

Tabelle 6.1: Vergleich des Laufzeitverhaltens und der Zahl eliminierter Nebenbedingungen zwischen den verschiedenen Verfahren zu einer Auswahl generierter Beispielprobleme

m

n

Ergebnisse f¨ ur generierte Beispiele 175

2048 4096 8192 16384 20480 32 128 256 512 1024 2048 4096 8192 16384 20480 32 128 256 512 1024 2048 4096 8192 16384 20480

6 6 6 6 6 12 12 12 12 12 12 12 12 12 12 24 24 24 24 24 24 24 24 24 24

14 16 13 14 15 11 12 15 12 16 13 14 14 19 16 11 13 14 14 14 15 19 17 19 16

MPC k

14 18 14 14 16 11 12 15 12 16 14 14 13 18 16 11 13 14 14 14 15 19 17 19 16

k

8 9 7 8 8 2 2 3 3 6 6 7 8 10 10 1 0 0 0 0 0 0 0 0 0

es 1324 2926 6263 13289 15848 3 3 5 10 23 43 120 326 907 862 1 0 0 0 0 0 0 0 0 0

MPC/E rs 65% 71% 76% 81% 77% 9% 2% 2% 2% 2% 2% 3% 4% 6% 4% 3% 0% 0% 0% 0% 0% 0% 0% 0% 0%

rs /m 15 16 13 20 16 13 13 16 13 18 15 15 15 19 16 11 13 14 14 14 15 19 17 19 16

k 9 7 6 11 7 2 2 3 4 6 5 6 7 11 11 1 0 0 0 0 0 0 0 0 0

es 1324 2926 6263 13289 15848 3 3 5 10 23 43 120 326 907 862 1 0 0 0 0 0 0 0 0 0

MPCE rs 65% 71% 76% 81% 77% 9% 2% 2% 2% 2% 2% 3% 4% 6% 4% 3% 0% 0% 0% 0% 0% 0% 0% 0% 0%

rs /m 15 16 13 20 16 13 13 16 13 15 15 15 15 19 15 11 13 14 14 14 14 16 17 19 16

k 9 7 6 11 7 2 2 3 4 5 5 6 7 11 8 1 0 0 0 0 0 0 0 0 0

1324 2926 6263 13289 15848 3 3 5 10 23 43 120 326 907 862 1 0 0 0 0 0 0 0 0 0

65% 71% 76% 81% 77% 9% 2% 2% 2% 2% 2% 3% 4% 6% 4% 3% 0% 0% 0% 0% 0% 0% 0% 0% 0%

MPCE/GON es rs rs /m -7% 0% 0% -43% -7% -18% -8% -7% -8% 6% -15% -7% -7% 0% 6% 0% 0% 0% 0% 0% 7% 16% 0% 0% 0%

I -7% 11% 7% -43% 0% -18% -8% -7% -8% 6% -7% -7% -15% -6% 6% 0% 0% 0% 0% 0% 7% 16% 0% 0% 0%

II

Tabelle 6.1: Vergleich des Laufzeitverhaltens und der Zahl eliminierter Nebenbedingungen zwischen den verschiedenen Verfahren zu einer Auswahl generierter Beispielprobleme (Forts.)

m

n

176 Numerische Ergebnisse und rechentechnischer Vergleich

Ergebnisse f¨ ur generierte Beispiele

177

Bei der Betrachtung der Testergebnisse f¨ ur Probleminstanzen mit n = 12 und insbesondere n = 24 Variablen in der Tabelle 6.1 auf der vorherigen Seite f¨ allt die geringe Anzahl eliminierter Nebenbedingungen auf. Die auﬀ¨ allig niedrige Identiﬁkationsrate liegt in der Konstruktion der Beispielprobleme begr¨ undet. Ausgehend von der Einheitskugel im n werden Tangentialhyperebenen konstruiert und im Verh¨ altnis des Durchmessers der Einheitskugel verschoben, um so ein m¨ oglichst unregelm¨ aßiges“ Polyeder ” zu erzeugen. Mit wachsender Dimension n konvergiert das Volumen der Einheitskugel allerdings gegen Null. Die Verschiebung der Tangentialhyperebenen f¨ allt damit gering aus, so dass ein recht regelm¨ aßiges Polyeder mit kleinem Volumen“ entsteht. Diese Tatsache wurde bei der Konstruk” tion der Beispielprobleme nicht ber¨ ucksichtigt. In Folge dessen enth¨ alt der (kleinvolumige) zul¨ assige Bereich auf Grund der Regelm¨ aßigkeit des Polyeders einen ann¨ ahernd linear verlaufenden zentralen Pfad, so dass in diesen F¨allen des Verfahren MPC/E regelm¨ aßig – begr¨ undet in langen NewtonSchritten – weniger Iterationen als MPCE ben¨ otigen wird. Dieses Verhalten deutet sich in Tendenz schon bei den Beispielproblemen mit n = 6 an. Insgesamt f¨ uhrt das durch die Konstruktion bedingte geringe Volumen des zul¨ assigen Bereiches hier dazu, dass keine bis nur wenige Nebenbedingungen als nicht-aktiv im Optimum identiﬁziert werden k¨ onnen.

Ê

F¨ ur die Testinstanzen mit n = 2, 4 bzw. 6 ist eine hohe Identiﬁkationsund Eliminationsrate zu erkennen. Zwischen 33% und ann¨ ahernd 100% der Nebenbedingungen konnten als nicht-aktiv f¨ ur das Optimum erkannt und entfernt werden. Neben der deutlichen Reduktion der Problemgr¨ oße konnten dar¨ uber hinaus bis zu 30% der Iterationen mit Hilfe des modiﬁzierten Verfahrens (MPCE/GON) gegen¨ uber dem herk¨ ommlichen Pr¨ adiktorKorrektor-Verfahren nach Mehrotra (MPC) eingespart werden, was durch die beiden letzten Spalten von Tabelle 6.1 wiedergegeben wird. Die Spalte I setzt dabei die Reduktion der Iterationszahlen von MPC mit denen von MPCE/GON ins Verh¨ altnis, w¨ ahrend die Spalte II analog MPC/E und MPCE/GON vergleicht. Positive Werte dr¨ ucken eine Verbesserung hinsichtlich der Iterationszahl von MPCE/GON gegen¨ uber dem herk¨ ommlichen Verfahren MPC (Spalte I) bzw. MPC/E (Spalte II) aus. Negative Werte stehen dagegen f¨ ur eine Vergr¨ oßerung der Iterationszahl von MPCE/GON gegen¨ uber den herk¨ ommlichen Verfahren MPC bzw. MPC/E.

178

Numerische Ergebnisse und rechentechnischer Vergleich 1

MPC MPC/E MPCE MPCE/GON

0.9

0.8

P(r

p,s

s

≤τ:1≤s≤n )

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

1

1.1

1.2

τ

1.3

1.4

1.5

Abbildung 6.2: Performance-Proﬁle f¨ ur eine Auswahl von Beispielen der Sammlung von Maros/M´esz´aros

6.3 Beispiele der Sammlung von Maros/M´ esz´ aros F¨ ur weitere Testberechnungen zu qipp w¨ahlten wir ebenfalls Probleme aus der Sammlung der Testbeispiele zu konvex-quadratischen Optimierungsproblemen von Maros und M´esz´aros [82], die speziell f¨ ur den Vergleich entwickelter L¨osungsverfahren und Solver hinsichtlich des numerischen Verhaltens zusammengestellt wurden. Aus der Sammlung w¨ahlen wir Beispielprobleme aus, deren Nebenbedingungssysteme in Ungleichungsform vorliegen und deren Zielfunktionsmatrix Q Diagonalgestalt besitzt. Die Abbildung 6.2 stellt die Performance-Proﬁle der vier verschiedenen Verfahren graphisch dar. Deutlich zu erkennen ist, dass die Verfahren mit Elimination von Nebenbedingungen dem herk¨ommlichen MehrotraVerfahren unterlegen sind. Betrachten wir dazu die Ergebnisse in Tabelle 6.2 auf Seite 181. In der u ¨berwiegenden Zahl der Beispiele k¨onnen keine Nebenbedingungen als nicht-aktiv identiﬁziert werden. K¨onnen dagegen Nebenbedingungen identiﬁziert und eliminiert werden, so wirkt sich das in diesen F¨allen in einer ansteigenden Iterationszahl aus. Bei denjenigen Beispielen, die in den beiden ¨außeren rechten Spalten I bzw. II einen Eintrag —“ enthalten, wichen die Zielfunktionswerte der Verfahren voneinander ”

Beispiele der Sammlung von Maros/M´esz´ aros

179

ab. Die Ergebnisse werden deshalb als fehlerhaft eingestuft und bed¨ urfen einer genaueren Untersuchung. Der Grund f¨ ur die geringe Identiﬁkationsrate liegt in der Gestalt der Beispielprobleme dieser Sammlung. Sie sind im Wesentlichen f¨ ur die Untersuchung des numerischen Verhaltens von L¨ osungsverfahren konzipiert. In diesem Sinne zeichnen sich die zul¨ assigen Bereiche h¨ auﬁg durch besondere H¨asslichkeit“ aus, d. h. beispielsweise ein Großteil der Nebenbedingungen ” ist aktiv im Optimalpunkt x∗ oder der zul¨ assige Bereich ist besonders klein bzw. besonders geformt. Beispielsweise werden in den Problemen oftmals Variablen nach oben und unten durch den gleichen Wert beschr¨ ankt und damit ﬁxiert. In der Regel erzeugen die L¨ osungsverfahren daher unzul¨ assige Punkte, so dass die Identiﬁkation mit Hilfe der Kriterien aus Kapitel 3.2 zu nicht-aktiven Restriktionen hier nicht zum Einsatz kommen kann. Die Ergebnisse werden hier dennoch aufgef¨ uhrt, um die Abh¨ angigkeit des Erfolgs f¨ ur die Elimination nicht-aktiver Nebenbedingungen von der Gestalt des zul¨ assigen Bereichs der zu Grunde liegenden Probleme darzustellen.

15 2 5 3 3 5 5 5 4 20 10002 10002 10002 325 649 745 1489 230 231 287 520

17 1 5 1 1 0 0 0 3 1001 10000 10000 10000 85 96 111 75 9 7 8 8

m 15 9 11 11 16 9 5 5 11 25 17 19 22 19 19 18 18 30 19 14 26

MPC k 15 11 20 8 17 11 5 2 12 24 17 19 22 19 19 18 18 29 19 14 26

k 0 1 1 1 0 1 0 1 3 0 0 0 0 0 0 0 0 0 0 0 0

0 4 6 1 0 1 0 10 4 0 0 0 0 0 0 0 0 0 0 0 0

0% 80% 40% 14% 0% 10% 0% 100% 36% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

MPC/E es rs rs /m 15 7 41 8 17 11 5 2 13 24 17 19 22 19 19 18 18 29 19 14 26

k 0 1 1 1 0 1 0 1 2 0 0 0 0 0 0 0 0 0 0 0 0

0 4 6 1 0 1 0 10 4 0 0 0 0 0 0 0 0 0 0 0 0

0% 80% 40% 14% 0% 10% 0% 100% 36% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

MPCE es rs rs /m 15 7 41 8 17 11 5 2 13 24 17 19 22 19 19 18 18 29 19 14 26

k 0 1 1 1 0 1 0 1 2 0 0 0 0 0 0 0 0 0 0 0 0

0 4 6 1 0 1 0 10 4 0 0 0 0 0 0 0 0 0 0 0 0

0% 80% 40% 14% 0% 10% 0% 100% 36% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

MPCE/GON es rs rs /m 0% — — — -6% -22% 0% — -18% 4% 0% 0% 0% 0% 0% 0% 0% 3% 0% 0% 0%

I

0% — — — 0% 0% 0% — -8% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

II

Tabelle 6.2: Vergleich des Laufzeitverhaltens und der Zahl eliminierter Nebenbedingungen zwischen den verschiedenen Verfahren zu einer Auswahl von Beispielen der Maros/M´esz´ aros-Sammlung

hs118 hs21 hs268 hs35 hs35mod hs51 hs52 hs53 hs76 ksip liswet1 liswet2 liswet3 primal1 primal2 primal3 primal4 primalc1 primalc2 primalc5 primalc8

n

180 Numerische Ergebnisse und rechentechnischer Vergleich

83 384 143 467 2002 10002 10002 10002 10002 10002 10002 10002 10002 10002 10002 10002 10002 10000

31 342 162 147 2000 10000 10000 10000 10000 10000 10000 10000 10000 10000 10000 10000 10000 10000

m 11 11 20 11 21 17 19 22 21 18 19 17 28 25 26 23 28 49

MPC k 11 11 20 11 21 17 19 22 21 18 19 17 28 25 26 23 28 49

k 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

MPC/E es rs rs /m 11 11 20 11 21 17 19 22 21 18 19 17 28 25 26 23 28 50

k 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

MPCE es rs rs /m 11 11 20 11 21 17 19 22 21 18 19 17 28 25 26 23 28 50

k 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

MPCE/GON es rs rs /m — — — — 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% —

I

— — — — 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% —

II

Tabelle 6.2: Vergleich des Laufzeitverhaltens und der Zahl eliminierter Nebenbedingungen zwischen den verschiedenen Verfahren zu einer Auswahl von Beispielen der Maros/M´esz´ aros-Sammlung (Forts.)

qpcblend qpcboei1 qpcboei2 qpcstair yao liswet1 liswet2 liswet3 liswet4 liswet5 liswet6 liswet7 liswet8 liswet9 liswet10 liswet11 liswet12 powell20

n

Beispiele der Sammlung von Maros/M´esz´ aros 181

7 Zusammenfassung und Ausblick Mit den durch Recht [94] eingef¨ uhrten Kriterien zur Erkennung nicht-aktiver Restriktionen bei konvex-quadratischen Optimierungsproblemen stehen theoretische Werkzeuge zur Verf¨ ugung, mit deren Hilfe entscheidend Einﬂuss auf die Gr¨ oße und damit auf die L¨ osungszeit solcher Optimierungsprobleme genommen werden kann. Die seit den achtziger Jahren entwickelten Innere-Punkte-Verfahren gelten sowohl f¨ ur die lineare als auch f¨ ur die quadratische Optimierung bis heute hinsichtlich ihrer Leistungsf¨ ahigkeit als die f¨ uhrenden L¨ osungsverfahren. Es war das Ziel dieser Arbeit zu untersuchen, inwieweit die praktische Umsetzung der Kriterien zur Identiﬁkation nicht-aktiver Nebenbedingungen und damit deren letztendliche Elimination innerhalb der Innere-Punkte-Verfahren m¨ oglich bzw. vorteilhaft f¨ ur das Laufzeitverhalten sei. Dazu wurde zun¨ achst die Klasse der Innere-Punkte-Verfahren strukturiert und vorgestellt. Der Schwerpunkt lag dabei auf den Pr¨ adiktor-KorrektorVerfahren und der Vorstellung des zentralen Pfades als das charakteristische Merkmal aller Innere-Punkte-Verfahren. Da alle Innere-Punkte-Verfahren in einer geeigneten Umgebung dem zentralen Pfad hin zum Optimalpunkt folgen, wurde der Einﬂuss von (¨ uberﬂ¨ ussigen) Nebenbedingungen auf den zentralen Pfad untersucht. Mit Hilfe des eingef¨ uhrten Abstandsmaßes“ δ(x, μ) als eine Meßgr¨ oße f¨ ur den Ab” ” stand“ eines Punktes x zum zentralen Pfad bzw. genauer zu dem Referenzpunkt x(μ) bzgl. μ auf dem zentralen Pfad wurden die Auswirkungen auf den zentralen Pfad untersucht, sobald als nicht-aktiv identiﬁzierte Nebenbedingungen aus dem Nebenbedingungssystem eliminiert wurden. ¨ Diese qualitativen Anderungen f¨ ur den zentralen Pfad des um die identiﬁzierten Nebenbedingungen reduzierten Systems motivierten letztlich verschiedene notwendige Modiﬁkationen f¨ ur ein primal-duales Pr¨ adiktor-Korrektor-Verfahren. Die Einf¨ uhrung einer modiﬁzierten Zentrierungsrichtung f¨ ur den Korrektor-Schritt der Verfahren und die geeignete“ Reduktion des ” Dualit¨ atsmaßes μ m¨ undeten schließlich in einem Vorschlag f¨ ur ein modiﬁziertes Innere-Punkte-Verfahren. Eine darauf aufbauende Implementierung und die abschließende rechentechnische Untersuchung von Testbeispielen runden diese Arbeit ab.

184

Zusammenfassung und Ausblick

Kritische Einsch¨ atzung der Arbeit Mit den theoretischen Untersuchungen und Beobachtungen im Zusammenhang mit dem zentralen Pfad und der Elimination von nicht-aktiven Nebenbedingungen konnten in dieser Arbeit erstmals Konsequenzen f¨ ur den L¨osungsprozess von Innere-Punkte-Methoden als L¨ osungsverfahren f¨ ur konvex-quadratische Optimierungsprobleme aufgezeigt werden. Um zu vermeiden, dass sich die Elimination von Nebenbedingungen letztlich nachteilig auf charakteristische Gr¨ oßen und die Performance der Verfahren auswirkt, wurden in dieser Arbeit konkrete Vorschl¨ age zur Modiﬁkation gegeben und umgesetzt. Insbesondere die Auswirkungen auf duale Gr¨ oßen, wie der dualen Unzul¨ assigkeit rQ , f¨ uhrten schließlich auf die modiﬁzierte Zentrie¯ innerhalb des Korrektor-Schritts und die vorgeschlagene rungsrichtung Δλ heuristische Reduktion des Dualit¨ atsmaßes. Die durch Recht [94] eingef¨ uhrten Kriterien f¨ ur die Erkennung nicht-aktiver Restriktionen wurden zudem um ein weiteres f¨ ur den Fall linear-abh¨ angiger Nebenbedingungen erg¨ anzt. ¨ Im Zusammenhang mit der Aquivalenz der logarithmischen BarriereFunktion und den Innere-Punkte-Verfahren f¨ uhren wir hier einen Beweis f¨ ur das Monotonie-Verhalten der primalen und der dualen Zielfunktion entlang des zentralen Pfades an, den wir in der Literatur f¨ ur die hier verwendete Formulierung der logarithmischen Barriere-Funktion f¨ ur die quadratische Optimierung nicht gefunden haben. Damit steht ein wichtiges Hilfsmittel f¨ ur den Nachweis der Konvergenz der Innere-Punkte-Verfahren explizit auch f¨ ur die quadratische Optimierung zur Verf¨ ugung, die bereits f¨ ur die lineare Optimierung und auch f¨ ur die konvexen Optimierungsprobleme gezeigt wurde. Die Auswertung der Ergebnisse zu den generierten zuf¨ alligen Testbeispielen in Abschnitt 6.2 belegt den vorteilhaften Einﬂuss der Identiﬁkationskriterien und der praktischen Umsetzung der Elimination u ussiger Neben¨ berﬂ¨ bedingungen im Rahmen eines primal-dualen Innere-Punkte-Verfahrens. F¨ ur die betrachteten generierten Beispielprobleme konnte bei den Probleminstanzen mit n = 2, . . . , 6 Variablen neben einer hohen Erkennungsund Eliminationsrate nicht-aktiver Restriktionen zudem sogar regelm¨ aßig eine Reduktion der Anzahl ben¨ otigter Iterationen festgestellt werden. Bei den Beispielen mit = 12 bzw. n = 24 Variablen wurden regelm¨ aßig keine Nebenbedingungen als nicht-aktiv identiﬁziert. Dieses Verhalten liegt in der Art und Weise der hier vorgenommenen Generierung der Beispielinstanzen begr¨ undet. Damit wurde deutlich, dass die Gestalt des zul¨ assigen Bereiches wesentlich den Erfolg der Identiﬁzierung und Eliminierung

Zusammenfassung und Ausblick

185

bestimmt. Es kann angenommen werden, dass der Einsatz des hier vorgestellten modiﬁzierten Innere-Punkte-Verfahrens (MPCE) f¨ ur allgemeine Probleme Einsparungen ben¨ otigter Speicherplatzressourcen, eine Reduktion der Problemgr¨ oße innerhalb der Innere-Punkte-Verfahren zu l¨ osender linearer Gleichungssysteme (Newton-KKT-System) und in Folge dessen eine merkbare Verk¨ urzung der Laufzeiten der Verfahren oftmals verbunden mit weniger Iterationen aufweisen kann. Dem gegen¨ uber stehen zwei Aspekte, die an dieser Stelle kritisch gew¨ urdigt werden m¨ ussen. Die vorgenommene Implementierung des modiﬁzierten Verfahrens kann einem direkten Vergleich von Rechenzeiten mit aktuellen Innere-Punkte-Verfahren bzw. dem hier ebenfalls implementierten herk¨ ommlichen Pr¨ adiktor-Korrektor-Verfahren nach Mehrotra derzeit nicht standhalten und ist in diesem Sinne nicht kompetitiv. Daher betrachteten wir in Kapitel 6 das Laufzeitverhalten der vier zu vergleichenden Verfahren allein u ¨ber die Iterationszahl und in der Angabe der Anzahl eliminierter Nebenbedingungen. Der Grund daf¨ ur liegt in der rechentechnisch aufwendigen Bestimmung der f¨ ur die Identiﬁkationskriterien essentiellen Gr¨ oßen qij . Neben der Bew¨altigung des enormen Aufwands zur Speicherung f¨ ur die qij (die Matrix CQ−1 C T ist unabh¨ angig vom Grad der D¨ unnbesetztheit der Nebenbedingungsmatrix C immer vollbesetzt) muss zudem die Berechnung der (m × m)-Matrix CQ−1 C T f¨ ur ein praxistaugliches Verfahren eﬀzient umgesetzt werden. Des Weiteren ist im Zusammenhang mit der jeder Iteration zu Grunde liegenden L¨ osung eines linearen Gleichungssystems zu pr¨ ufen, in welcher Art und Weise eine eliminierte Nebenbedingung innerhalb des Gleichungssystems eﬃzient dargestellt wird bzw. wie der verwendete Gleichungssysteml¨ oser mit ebendieser Darstellung vorteilhaft umgehen kann. Diese beiden Aspekte bilden derzeit die Schwachstellen der Implementierung und verhindern so die direkte Gegen¨ uberstellung mit herk¨ ommlichen Verfahren. Die Ergebnisse der theoretischen Untersuchungen der Einﬂ¨ usse u ¨ berﬂ¨ ussiger Nebenbedingungen auf den zentralen Pfad und auf weitere charakteristische Gr¨ oßen der Innere-Punkte-Methoden benutzten wir in dieser Arbeit ausschließlich, um die zentralen Modiﬁkationen f¨ ur ein primalduales Pr¨ adiktor-Korrektor-Verfahren zu motivieren und herauszustellen. Die theoretische Tiefe der bisherigen Arbeit und der erreichte Kenntnisstand im Rahmen der Verfahren f¨ ur die quadratische Optimierung ist daher als eine Basis f¨ ur eine weiterf¨ uhrende Analyse einer m¨ oglichen Verbesserung der Konvergenzgeschwindigkeit und Komplexit¨ at des modiﬁzierten

186

Zusammenfassung und Ausblick

Verfahrens zu sehen, wie sie f¨ ur die lineare Optimierung beispielhaft durch den Hertog [23] durchgef¨ uhrt wurde. Der Nachweis einer schnelleren Konvergenz ist nach den bisherigen Ergebnissen wahrscheinlich nicht m¨ oglich.

Weiterfu ¨ hrende Forschung Die positiven Ergebnisse dieser Arbeiten rechtfertigen eine weiterf¨ uhrende Forschung, insbesondere, um einen praxistauglichen Innere-Punkte-L¨ oser unter Zuhilfenahme der Elimination u ussiger Nebenbedingungen in na¨ berﬂ¨ her Zukunft bereitzustellen. Prim¨ ares Ziel muss dabei die deutliche Reduktion des Aufwands f¨ ur die Berechnung der strukturellen Gr¨ oßen qij sein. ¨ Zudem sollten neue Uberlegungen angestellt werden, ob anstatt der direkten Bestimmung der qij etwa geeignete aufwandsminimale Absch¨ atzungen m¨ oglich sind, so dass sich die in Kapitel 3 vorgestellten Identiﬁkationskriterien mit Hilfe dieser Absch¨ atzungen analog u ¨ bertragen und ebenfalls anwenden lassen. Auf speziellen Mehrprozessorsystem bzw. f¨ ur ComputerCluster ließe sich zudem die Bestimmung der qij auf separate Nebenprozessoren auslagern. Eine erstmalige Identiﬁkation und Elimination von u ussigen Nebenbedingungen innerhalb des L¨ osungsverfahrens auf dem ¨ berﬂ¨ Hauptprozessor ist dann m¨ oglich, sobald die relevanten Schwellengr¨ oßen βj∗ , α∗i,j bzw. α∗∗ auf den Nebenprozessoren bestimmt wurden. i,j In der weiterf¨ uhrenden Arbeit [95] schl¨ agt Recht die Einbeziehung von Watchpoints“ vor, die die zus¨ atzliche Identiﬁkation und Eliminierung von ” Nebenbedingungen ausgehend von diesen Watchpoints erlauben. Erste vielversprechende Ergebnisse im Rahmen einer Implementierung dazu zeigten Recht und Schade [97]. Die Einbeziehung solcher Watchpoints sollte im Rahmen einer Erweiterung des hier vorgestellten modiﬁzierten Verfahrens umgesetzt werden. Voraussetzung dazu ist eine vertiefte theoretische Besch¨ aftigung f¨ ur die m¨ ogliche u ¨ ber [95] hinausgehende Festlegung dieser Watchpoints. In Kapitel 4.3.4 schlugen wir eine sog. Kollektor-Heuristik vor, da das Anwenden des modiﬁzierten Zentrierungsschrittes mit dem Nachteil des primalen Stillstands“ f¨ ur das Verfahren bei jeder Elimination unter Um” st¨anden nicht vorteilhaft erschien. Im Rahmen einer weiterf¨ uhrenden Analyse lassen sich in Abh¨ angigkeit von der Gestalt des zentralen Pfades m¨ oglicherweise weitere Strategien f¨ ur das Sammeln“ von identiﬁzierten Neben” bedingungen bzw. die verz¨ ogerte“ Elimination entwickeln und testen. ”

Zusammenfassung und Ausblick

187

Weiterhin sollte gepr¨ uft werden, inwieweit der in Kapitel 4.5 nebenbei bemerkte Vorschlag einer dualen Umformulierung f¨ ur die Identiﬁkation und Elimination von Nebenbedingungen vorteilhaft erscheint. Eine weitergehende Untersuchung sollte feststellen, ob eine praktische Umsetzung bzw. eine vertiefte theoretische Auseinandersetzung hier sinnvoll erscheint. Eine weitere Alternative stellt die Transformation des Newton-KKTSystems in die Normalengleichungsform dar, wie sie durch Gleichung (2.14) auf Seite 34 in Kapitel 2.3.2 vorgestellt wurde. Das in jeder Iteration zu l¨osende lineare Gleichungssystem enth¨ alt dabei eine positiv-deﬁnite Matrix der Dimension n×n. Insbesondere, wenn die Anzahl der Nebenbedingungen m deutlich gr¨ oßer ist als die Anzahl der Variablen n, erscheint die L¨ osung der Normalengleichung (2.14) im Vergleich zur L¨ osung des Newton-KKTSystems (2.11) vorteilhafter, zumal geeignete L¨oser speziell f¨ ur die L¨ osung positiv-deﬁniter Gleichungssysteme zur Verf¨ ugung stehen [58]. Im Zusammenhang mit der Eliminierung nicht-aktiver Nebenbedingungen stellt sich hierbei die Frage, inwieweit die Elimination von Nebenbedingungen hier einen Nutzen schaﬀen kann, da die Dimension des Systems nicht reduziert wird. Zumindest im Anschluss an die Faktorisierung d¨ urften f¨ ur das R¨ uckw¨ artseinsetzen zur Bestimmung der L¨ osung dennoch positive Eﬀekte hinsichtlich des Rechenaufwands feststellbar sein. Zus¨ atzliche Erweiterungen betreﬀen die zu Grunde liegende Implementierung des Innere-Punkte-Verfahrens, insbesondere zur Verbesserung von qipp als L¨ oser f¨ ur die quadratische Optimierung (ohne speziellen Fokus auf die Elimination). Im Einzelnen sollte die bestehende Implementierung erweitert werden um • die M¨ oglichkeit der automatischen bzw. manuellen Auswahl der Art der Bestimmung der L¨ osung des linearen Gleichungssystems (durch direkte bzw. iterative L¨ oser f¨ ur das Newton-KKT-System bzw. die Normalengleichung), • die M¨ oglichkeit des einfachen Austausches der zu Grunde liegenden Gleichungssysteml¨ oser (insbesondere der heute favorisierte L¨ oser Ma57 [30] der HSL sollte in Verbindung mit qipp als Alternative zu Ma27 getestet werden), • die M¨ oglichkeit der Bestimmung unterschiedlicher primaler und dualer Schrittweiten f¨ ur den Newton-Schritt durch L¨ osung eines einfachen, zus¨ atzlichen konvex-quadratischen Subproblems (was derzeit f¨ ur die quadratischen Optimierungsprobleme nicht durchgef¨ uhrt wird,

188

Zusammenfassung und Ausblick

aber entsprechend der Bemerkung 2.11 auf Seite 45 auf Grund des Vorschlags nach Curtis und Nocedal [20] vorteilhaft erscheint und auf Praxistauglichkeit zu pr¨ ufen ist) und • ein Pr¨ aprozessing f¨ ur die numerisch sinnvolle Vorbereitung“ der qua” dratischen Zielfunktion und des Nebenbedingungsgleichungssystems vor dem Start des eigentlichen L¨ osungsverfahrens (beispielsweise zum Auﬃnden eventuell doppelter oder linear abh¨ angiger Zeilen bzw. dominierter Nebenbedingungen oder Nullzeilen). In diesem Sinne kann diese Arbeit als der Beginn einer weitergehenden, vertieften Forschung im Bereich der Entwicklung praxisrelevanter L¨ osungsverfahren f¨ ur die quadratische Optimierung unter Hinzunahme des Erkennens und Eliminierens u ussiger Restriktionen angesehen werden. ¨berﬂ¨ Nachdem die theoretischen Untersuchungen dieser Arbeit f¨ ur die Modiﬁkation von Innere-Punkte-Verfahren und diese erste Implementierung einen durchaus positiven Ansatz erkennen lassen, muss es Ziel einer n¨ achsten Umsetzungsstufe sein, einen wettbewerbsf¨ ahigen L¨ oser mit der F¨ ahigkeit zur Elimination nicht-aktiver Nebenbedingungen zu entwickeln. Die Basis ist mit dieser Arbeit gelegt.

A Mathematischer Anhang A.1 Herleitung des erweiterten KKT-Systems Auf Grundlage der Formulierung der Optimalit¨ atsbedingungen nach Karush, Kuhn und Tucker (KKT) f¨ ur ein allgemeines konvexes Optimierungsproblem inf f (x) u. d. N. gj (x) ≤ 0, j = 1, . . . , m (CP)

Ê

x ∈ K,

Ê

, einer konvexen Zielfunktion f : n → mit einer konvexen Menge K ⊂ und konvexen Funktionen gj : n → der Nebenbedingungen entwickeln wir f¨ ur die spezielle hier verwendete Darstellung des quadratischen $ u Optimierungsproblems (QP) ¨ ber die KKT-Bedingungen schließlich das erweiterte Newton-KKT-System (engl. augmented system). ¨ Uber einen sog. KKT-Punkt charakterisieren wir dazu zun¨ achst mit Hilfe der KKT-Bedingungen eine optimale L¨ osung von (CP). Wir bezeichnen mit S := {x ∈ K | gj (x) ≤ 0, j = 1, . . . , m} den zul¨ assigen Bereich von (CP) und folgen in der Vorgehensweise im Wesentlichen den Ausf¨ uhrungen in [67].

Ê

n

Ê

Ê

Satz A.1 Seien f , g1 , . . . , gm stetig diﬀerenzierbare und konvexe Funktionen mit f, g1 , . . . , gm : n → ∪ {+∞}. Es gelten die folgenden Eigenschaften:

Ê

Ê

a) F¨ ur die zul¨assige Menge S gelte: i) Es gibt ein x¯ ∈ S ∩ K0 , wobei hier K0 das relative Innere von K bezeichnet. ii) F¨ ur jede nicht-aﬃne Funktion gj mit j = 1, . . . , m gibt es ein x(j) ∈ S mit gj (x(j) ) < 0. b) Das Optimierungsproblem (CP) besitzt einen endlichen Optimalwert α := inf{f (x) | x ∈ S} ∈ .

Ê

190

Mathematischer Anhang

Dann existiert ein Vektor y ∈ L(x, y) := f (x) +

Êm mit yj ≥ 0 f¨ur j = 1, . . . , m, so dass

m

yj gj (x) ≥ α,

f¨ ur alle x ∈ K.

(A.1)

j=1

Beweis: Siehe z. B. [67, Kapitel 8.1, Satz 8.1.7]

Ê

Ê

mit D := {y ∈ m | y ≥ 0} Wir bezeichnen die Funktion L : K × D → als die sog. Lagrange-Funktion von (CP) und mit y die sog. LagrangeMultiplikatoren. Mit der Bedingung a) f¨ uhren wir eine sog. Regularit¨ atsbedingung ein, hier die Regularit¨ atsbedingung von Slater, u ber die f¨ u r den ¨ aktuell betrachteten Punkt bestimmte algebraische Forderungen im Zusammenspiel mit den Nebenbedingungen gestellt werden. Ist die Regularit¨ at erf¨ ullt, dann besagt der Satz, dass es f¨ ur jeden Punkt x ∈ K einen Vektor von Lagrange-Multiplikatoren y gibt, so dass L(x, y) ≥ α. Dann ﬁnden wir aber auch f¨ ur das folgende System der sog. Fritz-John-Bedingungen ∇f (x) +

m

yj ∇gj (¯ x) = 0,

j=1

yj gj (x) = 0, gj (x) ≤ 0, yi ≥ 0,

(A.2)

f¨ ur i = 1, . . . , m

eine L¨ osung (x, y). Die erste Bedingung in (A.2) ist dabei die erste Ableitung der Lagrange-Funktion von (CP) nach der primalen Variablen x. Der zweite Block von Bedingungen in (A.2) beschreibt die sog. Komplementarit¨ atsbedingungen und die Forderung der primalen Zul¨ assigkeit des Punktes x f¨ ur das Problem (CP). Da die Komplementarit¨ atsbedingungen f¨ ur alle i = 1, . . . , m erf¨ ullt sein m¨ ussen, schreibt man oftmals auch kurz m T j=1 yj gj (x) = 0 bzw. y g(x) = 0. ¨ Uber den folgenden Satz wird der Zusammenhang zwischen den KKTBedingungen, einem KKT-Punkt und der optimalen L¨ osung des Optimierungsproblems (CP) hergestellt. Satz A.2 (Notw. Optimalit¨ atskriterium erster Ordnung) Gegeben sei ein Punkt (¯ x, y¯)T ∈ n × m f¨ ur den die Fritz-John-Bedingungen (A.2) gelten. Ist zus¨atzlich in dem Punkt x¯ eine Regularit¨atsbedingung (Slater, LICQ,. . . ) erf¨ ullt, dann ist x ¯ eine optimale L¨osung des Optimierungsproblems (CP).

Ê Ê

Beweis: Siehe z. B. [67, Kapitel 8.1, Satz 8.1.7, Kapitel 8.2 und 8.3]

Herleitung des erweiterten KKT-Systems

191

Einen Punkt, f¨ ur den die Voraussetzungen des Satzes A.2 erf¨ ullt sind, nennen wir einen KKT-Punkt , die Voraussetzungen selber dann die KKTBedingungen. $ Wir stellen die KKT-Bedingungen f¨ ur das quadratische Problem (QP) auf, indem wir zun¨ achst die Nebenbedingungen in der Form gj (x) ≤ 0 der ¨ Deﬁnition A.1 angeben. Uber die Newton-Gleichung (5.9) erhalten wir dann durch eine Reihe von elementaren Umformungen schließlich das erweiterte Newton-KKT-System (5.13). F¨ ur die primale Zul¨ assigkeit entsprechend der Bedingungen gi (x) ≤ 0, i = 1, . . . , m in (A.2) muss daher zun¨ achst Ax − b ≤ 0, b − Ax ≤ 0,

cl − Cx ≤ 0, Cx − cu ≤ 0,

xl − x ≤ 0, x − xu ≤ 0

gelten und wir erhalten durch Einf¨ uhren der Schlupfvariablen t, u, v und w in den urspr¨ unglichen Ungleichungsnebenbedingungen daraus schließlich Ax − b ≤ 0, b − Ax ≤ 0,

cl − Cx + t = 0, Cx − cu + u = 0,

xl − x + v = 0, x − xu + w = 0.

Die Ableitung der Lagrange-Funktion gem¨ aß (A.2) ergibt die schon als duale Nebenbedingung bekannte Gleichung Qx + c − AT y − C T (λ − π) − γ + ϕ = 0.

(A.3)

Die Komplementarit¨ atsbedingungen entsprechend der Bedingungen yj gj = 0, i = 1, . . . , m in (A.2) erhalten wir durch Einf¨ uhren von LagrangeMultiplikatoren y1 , y2 ∈ my , y3 , y4 ∈ mz und y5 , y6 ∈ n als

Ê

Ê

Ê

y1T (Ax − b) = 0,

y3T (cl − Cx) = 0,

y5T (xl − x) = 0,

y2T (b − Ax) = 0,

y4T (Cx − cu ) = 0,

y6T (x − xu ) = 0,

wobei von nun an die Lagrange-Multiplikatoren y3 , . . . , y6 mit λ, π, γ und ϕ bezeichnet werden sollen. Schließlich verlangen wir die Nicht-Negativit¨ at der Lagrange-Multiplikatoren, d. h. y1 , y2 , λ, π, γ, ϕ ≥ 0. Insgesamt erhalten

192

Mathematischer Anhang

wir somit das System der KKT-Bedingungen Qx − AT y − C T z − γ + ϕ + c = 0, Ax = b, Cx − t − cl = 0, x − v − xl = 0, T

λ t = 0, γ T v = 0,

Cx + u − cu = 0, x + u − xu = 0,

(A.4)

T

π u = 0, ϕT w = 0,

λ, π, γ, ϕ ≥ 0, wobei z = λ − π substituiert und f¨ ur die Schlupfvariablen t, u, v, w ≥ 0 ver$ automatisch auf Grund langt wird. Die Regularit¨ at erhalten wir f¨ ur (QP) der Linearit¨ at der Nebenbedingungen und da wir einen nicht-leeren zul¨ assigen Bereich von Anfang an vorausgesetzt hatten. Das System der Gleichungen (A.4) schreiben wir als eine Abbildung Ψ, f¨ ur die wir schließlich durch mehrfaches L¨ osen der Newton-Gleichung ∇Ψ · p = −Ψ mit Hilfe der Newton-Richtung p die Nullstelle Ψ = 0 ﬁnden. Durch Substitution von Cx = s erhalten wir schließlich das Gleichungssystem ⎞ ⎞⎛ ⎛ Δx Q −AT −C T −I I ⎟ ⎜ Δy ⎟ ⎜A ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δz ⎟ ⎜C −I ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δs ⎟ ⎜ I −I ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δt ⎟ ⎜ I I ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δu ⎟ ⎜I −I ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δv ⎟ ⎜I I ⎟ ⎟⎜ ⎜ ⎟ ⎜Δw ⎟ ⎜ I −I I ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δλ ⎟ ⎜ Λ T ⎟ ⎟⎜ ⎜ ⎟ ⎜ Δπ ⎟ ⎜ Π U ⎟ ⎟⎜ ⎜ ⎠ ⎝ Δγ ⎠ ⎝ Γ V Δϕ Φ W = (−rQ , −rA , −rC , −rt , −ru , −rv , −rw , −rz , −rλ , −rπ , −rγ , −rϕ )T (A.5) wobei die Großbuchstaben Λ, Π, Γ, Φ und T , U , V , W jeweils die Diagonalmatrizen mit den Eintr¨ agen der gleichnamigen Dual- bzw. Schlupfvariablen bezeichnen. Der Vektor der Residuen auf der rechten Seite des Systems

Herleitung des erweiterten KKT-Systems

193

wird schließlich f¨ ur die Komponenten der Komplementarit¨ atsbedingungen orungsparameters τ > 0 gest¨ ort. F¨ ur die rλ , rπ , rγ und rϕ mit Hilfe des St¨ Residuen gelten dabei im Detail die Beziehungen rQ = Qx − AT y − C T z − γ + ϕ + c, rA = Ax − b, rC = Cx − s, rt = Cx − t − cl , ru = Cx + u − cu , rv = x − v − xl , rw = x + w − xu , rz = z − λ + π, rλ = T Λe − τ e, rγ = V Γe − τ e,

(A.6)

rπ = U Πe − τ e, rϕ = W Φe − τ e.

Ausgehend von dem System (A.5) werden nun die Hilfskomponente Δs, die Komponenten Δt, Δu, Δv, Δw f¨ ur den Schritt bzgl. der primalen Schlupfvariablen und Δλ, Δπ, Δγ, Δϕ der dualen Schrittkomponenten sukzessive durch elementare Umformungen ersetzt und damit das System kompaktiﬁziert.

Dazu erhalten wir aus der vierten Zeile Δs − Δt = −rt und der neunten Zeile ΛΔt + T Δλ = −rλ von (A.5) mit den dazugeh¨ origen Residuen rt und rλ f¨ ur die unteren Ungleichungsnebenbedingungen durch Umstellen nach Δs bzw. Δt und Einsetzen zun¨ achst den Zusammenhang Δs = −rt + Δt Δt = −Λ−1 rλ − Λ−1 T Δλ ⇐⇒ Δs + Λ−1 T Δλ = −rt − Λ−1 rλ

(A.7)

und analog aus der f¨ unften Zeile Δs + Δu = −ru und der zehnten Zeile ΠΔu + U Δπ = −rπ von (A.5) mit den dazugeh¨ origen Residuen ru und rπ f¨ ur die oberen Ungleichungsnebenbedingungen wiederum durch Umstellen nach Δs bzw. Δu und Einsetzen dann Δs = −ru − Δu Δu = −Π−1 rπ − Π−1 U Δπ ⇐⇒ Δs − Π−1 U Δπ = −ru + Π−1 rπ .

(A.8)

194

Mathematischer Anhang

Aus den Gleichungen (A.4) und (A.5) folgt dann durch Umstellen nach Δλ und Δπ somit Δλ = −(Λ−1 T )−1 rt − (Λ−1 T )−1 Λ−1 rλ − (Λ−1 T )−1 Δs = −T −1 Λrt − T −1 rλ − T −1 ΛΔs = −T

−1

(Λrt + rλ ) − T

−1

(A.9)

ΛΔs

bzw. Δπ = (Π−1 U )−1 ru − (Π−1 U )−1 Π−1 rπ + (Π−1 U )−1 Δs = U −1 Πru − U −1 rπ + U −1 ΠΔs

(A.10)

= U −1 (Πru − rπ ) + U −1 ΠΔs. ¨ asst sich schließlich Δs Uber die achte Zeile Δz −Δλ+Δπ = −rz von (A.5) l¨ durch Einsetzen von Δλ gem¨ aß der Gleichung (A.9) und Δπ aus Gleichung (A.10) in Abh¨ angigkeit von Δz ausdr¨ ucken als Δz + T −1 (Λrt + rλ ) + T −1 ΛΔs + U −1 (Πru − rπ ) + U −1 ΠΔs = −rz ⇔ Δz + rz + T −1 Λrt + T −1 rλ + U −1 Πru − U −1 rπ = (T −1 Λ − U −1 Π)Δs, was durch Umstellung nach Δs dann Δs = (T −1 Λ − U −1 Π)−1 Δz + (T −1 Λ − U −1 Π)−1 rz + T −1 Λrt + U −1 Πru + T −1 rλ − U −1 rπ (A.11) ergibt. In der dritten Zeile CΔx − Δs = −rC von (A.5) kann nun Δs durch die Gleichung (A.11) substituiert werden, wodurch wir mit CΔx − (T −1 Λ − U −1 Π)−1 Δz = −rC +(T −1 Λ−U −1 Π)−1 rz + T −1 Λrt + U −1 Πru + T −1 rλ − U −1 rπ (A.12) schließlich die modiﬁzierte dritte Zeile f¨ ur (A.5) in Abh¨ angigkeit von Δx und Δz erhalten und auf diese Weise Δs, Δt, Δu, Δλ und Δπ mit den dazugeh¨ origen Spalten aus dem System entfernt haben. Indem wir Ω =

Herleitung des erweiterten KKT-Systems

195

(T −1 Λ − U −1 Π)−1 setzen, l¨ asst sich (A.12) k¨ urzer schreiben als CΔx − ΩΔz = −rC + Ω rz + T −1 Λrt + U −1 Πru + T −1 rλ − U −1 rπ . (A.13) Auf ganz analoge Weise eliminieren wir die Zeilen f¨ ur die Variablenbeschr¨ ankungen (box constraints) und entfernen damit Δv, Δw, Δγ und Δϕ aus dem Vektor f¨ ur den Newtonschritt mit den dazugeh¨ origen Residuen der rechten Seite rv , rw , rγ und rϕ . Umstellen der elften Zeile von (A.5) nach Δv ergibt Δv = −Γ−1 rγ − Γ−1 V Δγ.

(A.14)

Durch Einsetzen von (A.14) in die sechste Zeile Δx − Δv = −rv von (A.5) erhalten wir damit durch Umstellen eine Darstellung f¨ ur Δγ ausgedr¨ uckt in Δx als Δx + Γ−1 rγ + Γ−1 V Δγ = −rv ⇐⇒ Δγ = (Γ−1 V )−1 −rv − Γ−1 rγ − Δx = −V −1 Γrv − V −1 rγ − V −1 ΓΔx.

(A.15)

Analog dazu erhalten wir aus der zw¨ olften Zeile von (A.14) durch Umstellen nach Δw dann Δw = −Φ−1 rϕ − Φ−1 W Δϕ, mit dem wir durch Einsetzen in die siebte Zeile Δx + Δw = −rw in (A.5) ebenfalls eine Darstellung f¨ ur Δϕ in Abh¨ angigkeit von Δx durch Δx − Φ−1 rϕ − Φ−1 W Δϕ = −rw ⇐⇒ Δϕ = (Φ−1 W )−1 rw − Φ−1 rϕ + Δx = W −1 Φrw − W −1 rϕ + W −1 ΦΔx

(A.16)

ﬁnden k¨ onnen. Damit k¨ onnen wir nun in der ersten Zeile von (A.5) die Terme Δγ und Δϕ entsprechend durch die Gleichungen (A.15) und (A.16)

196

Mathematischer Anhang

ersetzen, d. h. QΔx − AT Δy − C T Δz − Δγ + Δϕ = −rQ ⇐⇒ QΔx − AT Δy − C T Δz + V −1 Γrv + V −1 rγ + V −1 ΓΔx +W

−1

Φrw − W

−1

rϕ + W

−1

(A.17) ΦΔx = −rQ

und erhalten aus (A.17) durch Schreiben der Terme mit Δx, Δy und Δz auf die linke Seite der Gleichung schließlich als neue erste Zeile Q + V −1 Γ + W −1 Φ Δx − AT Δy − C T Δz = −rQ − V −1 Γrv − V −1 rγ − W −1 Φrw + W −1 rϕ , die durch Substitution von D = V −1 Γ + W −1 Φ nunmehr kurz geschrieben werden kann als (Q + D) Δx − AT Δy − C T Δz = −rQ − V −1 Γrv − V −1 rγ − W −1 Φrw + W −1 rϕ . (A.18) Insgesamt erhalten wir auf diese Weise mit der Gleichung (A.18), der unver¨ anderten zweiten Gleichung aus dem Ausgangssystem (A.5) und der modiﬁzierten dritten Gleichung in (A.13) das gew¨ unschte und kompakte erweiterte Newton-KKT-System, dargestellt in Matrix-Vektor-Schreibweise, als ⎛ ⎞⎛ ⎞ Q + D −AT −C T Δx ⎝ A 0 0 ⎠ ⎝Δy ⎠ Δz C 0 −Ω ⎛ ⎞ −1 −rQ − V Γrv − V −1 rγ − W −1 Φrw + W −1 rϕ ⎠ −rA =⎝ , −1 −1 −1 −1 −rC + Ω rz + T Λrt + T rλ + U Πru − U rπ mit den u uhrten Residuen und den ¨ ber die Gleichungen in (A.6) eingef¨ Kurzformen f¨ ur die Matrizen Ω = (T −1 Λ − U −1 Π)−1 und D = V −1 Γ + W −1 Φ mit den Quotienten der Dual- und der Schlupfvariablen f¨ ur die Ungleichungsrestriktionen und den Variablenbeschr¨ ankungen.

Berechnung der Dualit¨ atsl¨ ucke

197

A.2 Berechnung der Dualit¨ atslu ¨ cke F¨ ur die Berechnung der Dualit¨ atsl¨ ucke g u ¨ ber die Diﬀerenz des primalen Zielfunktionswertes und des dualen Zielfunktionswertes ﬁnden wir f¨ ur die ab Kapitel 5 verwendete Problemformulierung eine Darstellung unter der ausschließlichen Benutzung der dualen Variablen und der primalen Schlupfvariablen als g = λT t + π T u + γ T v + ϕT w.

(A.19)

Es seien dazu fp und fd die Zielfunktionswerte des primalen Problems $ bzw. des dualen Problems (QD). $ Damit gilt zur Berechnung der Dua(QP) lit¨atsl¨ ucke f¨ ur einen primal-dual zul¨ assigen Punkt (x, y, λ, π, γ, ϕ)T schließlich g = fp (x) − fd (y, λ, π, γ, ϕ) = 12 xT Qx + cT x + 12 xT Qx − y T b − λT cl + π T cu − γ T xl + ϕT xu = xT Qx + cT x − y T b − λT cl + π T cu − γ T xl + ϕT xu = xT Qx + (−Qx + AT y + C T z + γ − ϕ)T x − y T b − λT cl + π T cu − γ T xl + ϕT xu = xT AT y + xT C T z + γ T x − ϕT x − y T b − λT cl + π T cu − γ T xl + ϕT xu = (Ax − b)T y + xT C T (λ − π) − λT cl + π T cu + γ T x − ϕT x − γ T xl + ϕT xu = (Ax − b)T y + xT C T λ − xT C T π − λT cl + π T cu + γ T x − ϕT x − γ T xl + ϕT xu = (Ax − b)T y + λT (Cx − cl ) + π T (cu − Cx) + γ T (x − xl ) + ϕT (xu − x), wobei wir in der dritten Gleichung den Zielfunktionsvektor c des primalen Problems mit Hilfe der dualen Nebenbedingung (A.3) umschreiben. Auf Grund der Forderung der Zul¨ assigkeit f¨ ur den aktuellen Punkt erhalten wir u ¨ ber den primalen Block der Gleichheitsnebenbedingungen Ax = b und unter Benutzung der Bezeichner t, u, v und w f¨ ur den primalen Schlupf dann f¨ ur die Dualit¨ atsl¨ ucke die Form, wie sie gem¨ aß der obigen Gleichung (A.19) angegeben wurde.

198

Mathematischer Anhang

A.3 Berechnung des Abstands zum zentralen Pfad Zur Angabe einer eindeutigen L¨ osung f¨ ur das Abstandsmaß δ(x, μ) eines $ f¨ quadratischen Optimierungsproblems (QP) ur den Abstand eines (primalen) Punktes x zu dem u ¨ ber den Barriere-Parameter μ gegebenen zentrierten Punkt x(μ) auf dem zentralen Pfad wird die L¨ osung des folgenden Optimierungsproblems δ(x, μ) = min { Sλ − μe | Qx + c − C T λ = 0} λ

Ê

Ê

bestimmt, wobei λ ∈ m die Dualvariablen und S ∈ m×m die Diagonalmatrix mit den Schlupfvariablen s als Komponenten der Diagonale seien. Wegen

Sλ − μe =

(Sλ − μe)T (Sλ − μe) = λT S 2 λ − 2μeT Sλ + μ2 m

w¨ahlen wir als dazugeh¨ orige Lagrange-Funktion L(λ, u) = 12 λT S 2 λ − μeT Sλ + 12 μ2 m − uT (Qx + c − C T λ).

(A.20)

Als Ableitung der Lagrange-Funktion nach λ bzw. u erhalten wir damit ∂ L(λ, u) = S 2 λ − μSe + Cu ∂λ

(A.21)

∂ L(λ, u) = Qx + c − C T λ. ∂u

(A.22)

bzw.

Durch das Nullsetzen der Gleichung (A.21) und Auﬂ¨ osen nach λ erhalten wir f¨ ur λ den Zusammenhang λ = S −2 (μSe − Cu) = μS −1 e − S −2 Cu,

(A.23)

durch den wir u ¨ber das Einsetzen in die ebenfalls Null gesetzte Gleichung (A.22) schließlich Qx + c = C T μS −1 e − S −2 Cu = μC T S −1 e − C T S −2 Cu (A.24)

Berechnung des Abstands zum zentralen Pfad

199

bekommen. Nach Auﬂ¨ osen der letzten Gleichung (A.25) nach u erhalten wir damit u = (C T S −2 C)−1 μC T S −1 e − Qx − c , (A.25) so dass sich schließlich durch Einsetzen der Gleichung (A.25) in die Gleichung (A.23) die optimale L¨ osung u ¨ ber λ∗ = μS −1 e − S −2 C(C T S −2 C)−1 μC T S −1 e − Qx − c (A.26) bestimmt. Es ergibt sich auf diese Weise durch Einsetzen von (A.26) in Sλ − μe f¨ ur die Norm

Sλ∗ − μe = μe − S −1 C(C T S −2 C)−1 μC T S −1 e − Qx − c − μe = S −1 C(C T S −2 C)−1 g = g T (C T S −2 C)−1 C T S −1 S −1 C(C T S −2 C)−1 g = g T (C T S −2 C)−1 g, wobei wir in der ersten Zeile mit μC T S −1 e − Qx − c den Gradienten g(x, μ) der Barriere-Funktion aus der Gleichung (4.22) wiedererkennen. F¨ ur die direkte Berechnung des Abstandsmaßes f¨ ur einen gegebenen Punkt x bei vorgegebenem Barriere-Parameter μ erhalten wir damit δ(x, μ) = Sλ∗ − μe = g T (C T S −2 C)−1 g, das damit a ¨quivalent ist mit der Norm des Gradienten g gemessen in einer bestimmten Metrik. Bemerkung A.3: Bei der Einf¨ uhrung des Abstandsmaßes wurde in der Bemerkung 4.7 als ein weiteres Abstandsmaß die Norm p(x, μ) H der Suchrichtung f¨ ur die Barriere-Funktion bei vorgebenem Barriere-Parameter μ beschrieben. F¨ ur die quadratische Optimierung unterscheidet sich dieses Maß von dem hier betrachteten δ-Maß. Mit der direkten Bestimmung des Abstandsmaßes δ wird dieser Unterschied deutlich. W¨ ahrend f¨ ur das Maß

p H die Hessematrix H = Q + C T S −2 C die verwendete Metrik festlegt, benutzt das δ-Maß die u ¨ber die Matrix C T S −2 C bestimmte Metrik. Der Unterschied liegt daher in der zus¨ atzlichen Ber¨ ucksichtigung der Matrix Q. ¨ F¨ ur den linearen Fall mit Q = 0 ergibt sich gleichsam die Aquivalenz beider Maße.

B Erg¨ anzungen B.1 Terminierungscodes fu ¨ r qipp Code SUCCESSFUL TERMINATION

Wert 0

Bedeutung Das Verfahren wurde mit Pr¨ ufung auf die Bedingung (5.24) erfolgreich beendet.

NOT FINISHED

1

Das Verfahren wurde noch nicht beendet, keines der Abbruchkriterien war erf¨ ullt.

MAX ITS EXCEEDED

2

Die voreingestellte maximale Anzahl von Iterationen wurde erreicht. Das Verfahren wird abgebrochen.

INFEASIBLE

3

Das Verfahren wurde in der aktuellen Iteration auf Grund der Bedingungen (5.25) als unzul¨ assig abgebrochen. Eine ausreichende Konvergenz war bis zu diesem Zeitpunkt nicht zu erkennen.

UNKNOWN

4

Das Verfahren wurde auf Grund der Bedingungen (5.26) bzw. (5.27) in der aktuellen Iteration abgebrochen. Der u ¨ ber die Reduktion der Residuen und des Dualit¨ atsmaßes gemessene Fortschritt widerspricht der Konvergenz des Verfahrens.

Tabelle B.1: Terminierungs-/Statuscodes f¨ ur das implementierte Verfahren

Stichwortverzeichnis Abbruchbedingungen, 149–151 Abstandsmaß, 59, 80, 115 aﬃn-skalierte Richtung, siehe Richtung, 104 aﬃn-skalierte Verfahren, siehe InnerePunkte-Verfahren analytisches Zentrum, 29, 56, 73 Barriere-Funktion logarithmische, 15, 23, 28, 69, 70, 80, 95 Barriere-Parameter, 28, 70, 80, 104 Cholesky-Zerlegung, 160 constraint qualiﬁcation, siehe Regularit¨ atsbedingung dualer Warmstart, 122 Dualit¨ at Lagrange-, 18 schwache, 21, 31, 79 starke, 32, 79 Wolfe-, 18 Dualit¨ atsl¨ ucke, 31, 39, 47, 73, 79, 107, 149 Dualit¨ atsmaß, 39, 46, 104, 107, 128, 149 Ellipsengleichung, 62 Ellipsoid-Methode, 22, 58, 60 Faktorisierung, 58, 160 Gondzio, 43 Gr¨ oße der Eingabedaten, 13 Hit-and-run-Verfahren, 57

Identiﬁkationskriterien, 57, 61, 62– 68, 130 Innere-Punkte-Methoden, 56 Innere-Punkte-Verfahren aﬃn-skalierte Verfahren, 23–24 Barriere-Verfahren, 23, 59 Pfadverfolgungsverfahren, 23, 27–29 Potential-Reduktionsverfahren, 23, 25–27 Projektive, 26, 27 Pr¨ adiktor-Korrektor-Verfahren, 39–43, 61 Zentrumsmethoden, 23, 29 Iterationen außere, 29, 38, 80 ¨ innere, 29, 38 Karmarkar, 22 KKT-Bedingungen, 21, 32, 33, 69, 73, 137, 138, 189, 191 reduzierte, 89 KKT-Punkt, 21, 33, 189, 191 KKT-System, 35, 58 erweitertes, 37, 189, 191 Komplement¨ ar-Schlupf-Bedingung, 32, 108, 139 Komplementarit¨ atsbedingung, siehe Komplement¨ ar-Schlupf-Bedingung, 39, 190 Komplementarit¨ atsmaß, 39 Komplementarit¨ atsprodukt, 39, 48 at Komplexit¨ exponentielle, 13 polynomielle, 13

204

Konvexit¨ at, 17 Korrektor-Schritt, 40, 46, 104 Lagrange-Funktion, 18, 94, 135, 190, 198 Mehrotra, 43, 59, 61, 103 Menge konvexe, 16 Nebenbedingungen, 16 u ussige, 53, 55, 56 ¨ berﬂ¨ getroﬀene, 57 Gleichheits-, 16 nicht-bebindende, 53 nicht-bindende, 55, 58, 61, 63, 63–66 redundante, 53, 55, 56, 58, 103 Ungleichungs-, 16 wesentliche, 55, 106 Nebenbedingungsmatrix, 16 Newton-Gleichung, 34, 139, 191 Newton-KKT-System, 35, 40, 112, 116, 165, 191 reduziertes, 89 Newton-KKT-Systems, 58 Newton-Richtung, 12 Newton-Schritt, 12, 35, 44 Newton-Verfahren, 34, 139 nicht-aktive Nebenbedingungen, siehe Nebenbedingungen Normalengleichung, 37, 82 Optimalit¨ atsbedingungen, 21, 138 gest¨ orte, 28, 33, 30–33, 70, 73 Optimierungsproblem duales, 17, 21, 31 konvex-quadratisches, 17, 61 lineares, 17 primales, 21 quadratisches, 16–17 relaxiertes, 24 restringiertes, 16, 53

Stichwortverzeichnis

zul¨ assiges, 17 Pfadverfolgungsverfahren, siehe Innere-Punkte-Verfahren, 107 Potential-Funktion, 25 Potential-Reduktionsverfahren, siehe Innere-Punkte-Verfahren Aﬃne, siehe Innere-PunkteVerfahren Projektive, siehe Innere-Punkte-Verfahren Pr¨ adiktor-Korrektor-Verfahren, 43, 104 Pr¨ adiktor-Schritt, 40, 104 Projektion der dualen Variablen, 106 der Schlupfvariablen, 111 Gondzio, 49 qij , 63, 130, 159, 160 R¨ uckw¨ artskommunikation, siehe reversierte Kommunikation random feasible point generator, 57 Redundanz schwache, 57 starke, 57 Redundanzerkennung, 53, 56 reduziertes System, 13, 88, 112 Referenzpunkt, 29, 38, 46, 110 Regularit¨ atsbedingung, 21, 190 von Abadie, 22 von Slater, 22, 190 relatives Inneres, 33 Residuen, 140 reversierte Kommunikation, 153 Richtung aﬃn-skalierte, 24, 29, 40, 44 Newton-, 34 Schrittl¨ ange

Stichwortverzeichnis

primal und dual unterschiedliche, 45 Spalten-Generierungsverfahren, 58, 59 Spalteneliminierungsverfahren, 58 St¨ orungsparameter, 33, 38, 40 Suchrichtung, 12, 50, 58 Unzul¨ assigkeit, 41 duale, 35, 112, 123, 125 primale, 35 Variable duale, 21 primale, 21 Watchpoints, 61 Wolfe-Dual, 19 Zentierung, 111 zentraler Pfad, 15, 23, 36, 73, 80, 103 Zentralit¨ at, 48 Zentralit¨ atskorrektur, 49 Zentralit¨ atsmaß, siehe Abstandsmaß zentrierter Punkt, 38, 40, 96 Zentrierung, 40, 42, 43, 50, 106, 107 Zentrierungsparameter, 40, 42–44, 109, 142 nach Mehrotra, 46 Zentrierungsrichtung, 29, 40, 47 modiﬁzierte, 114, 116, 123, 125, 128 Zentrierungsschritt, 111, 115 Zentrumsmethoden, siehe Innere-PunkteVerfahren Zielfunktion Konvexit¨ at der, 17 quadratische, 17, 61, 62 zul¨ assiger Bereich, 17, 56, 189 primal-dual, 33 primal-dual strikt, 33 strikt, 17 zul¨ assiger Punkt, 17 dual, 21

205

primal-dual, 32 strikt dual, 21

Literaturverzeichnis [1] I. Adler und R. D. Monteiro. Limiting behavior of the aﬃne scaling continuous trajectories for linear programming problems. Mathematical Programming, 50(1):29–51, 1991. [2] Air Transport Association of America, Inc. Cost of Delays. http: //www.airlines.org/economics/specialtopics/ATC+Delay+Cost.htm, Juni ¨ 2007. Internetseite, letzte Anderung am 29.6.2007. [3] K. M. Anstreicher. A monotonic projective algorithm for fractional linear programming. Algorithmica, 1:483–498, 1986. [4] K. M. Anstreicher. A standard form variant, and safeguarded linesearch, for the modiﬁed Karmarkar algorithm. Mathematical Programming, 47(1): 337–351, 1990. [5] K. M. Anstreicher, D. den Hertog, C. Roos und T. Terlaky. A long-step barrier method for convex quadratic programming. Algorithmica, 10(5): 365–382, 1993. [6] D. S. Atkinson und P. M. Vaidya. A scaling technique for ﬁnding the weighted analytic center of a polytope. Mathematical Programming, 57: 163–192, 1992. [7] D. Bayer und J. Lagarias. The nonlinear geometry of linear programming, Part I : Aﬃne and projective scaling trajectories. Transactions of the American Mathematical Society, 314(2):499–526, 1989. [8] N. Belouardy. Air Traﬃc Flow Manangement Pre-tactical Planning. Technischer Report, EEC INO Laboratory, Ecole Nationale Sup´erieure des T´el´ecommunications, Br´etigny sur Orge, Frankreich, 2005. [9] H. C. Berbee, C. G. Boender, A. H. Rinnooy Kan, C. L. Scheﬀer, R. L. Smith und J. Telgen. Hit-and-run algorithms for the identiﬁcation of nonredundant linear equalities. Mathematical Programming, 37(1):184–207, 1987. [10] A. Boneh. PREDUCE – A probalistic algorithm identifying redundancy by a random feasible point generator (RFPG). In Karwan et al. [72].

208

Literaturverzeichnis

[11] A. Boneh und A. Golan. Constriant’s redundancy and feasible region boundedness by random feasible point generator (RFPG). In Third European Congress on Operations Research, EURO III, Amsterdam, The Netherlands, April 1979. [12] A. Boneh, R. Caron, F. Lemire, J. McDonald, J. Telgen und T. Vorst. Note on prime representations of convex polyhedral sets. Journal of Optimization Theory and Applications, 61(1):137–142, 1989. [13] A. Boneh, S. Boneh und R. J. Caron. Constraint classiﬁcation in mathematical programming. Mathematical Programming, 61(1):61–73, 1993. [14] J. C. Boot. On Trivial and Binding Constraints in Programming Problems. Management Science, 8(4):419–441, 1962. [15] J. M. Borwein und A. S. Lewis. Convex Analysis and Nonlinear Optimization: Theory and Examples. CMS Books in Mathematics. Springer, 2. Ausgabe, 2006. [16] P. Brockett und X. Xia. Operations Research in Insurance: A Review. Transactions of Society of Actuaries, 47:7–80, 1995. [17] R. J. Caron und J. F. McDonald. A new approach to the analysis of random methods for detecting necessary linear inequality constraints. Mathematical Programming, 43(1):97–102, 1989. [18] R. J. Caron, H. J. Greenberg und A. G. Holder. Analytic centers and repelling inequalities. Eur. J. Oper. Res., 143(2):268–290, 2002. [19] T. J. Carpenter und D. F. Shanno. An interior point method for quadratic programs based on conjugate projected gradients. Comput. Optim. Appl., 2(1):5–28, 1993. [20] F. Curtis und J. Nocedal. Steplength selection in Interior-point Methods for quadratic programming. Applied Mathematics Letters, 20(5):516–523, May 2007. [21] G. B. Dantzig. Linear Programming and Extensions. Princeton University Press, Princeton, NJ, 1963. [22] G. B. Dantzig und Y. Ye. A build-up interior method for linear programming: Aﬃne scaling form. Technischer Report, Department of Management Science, The University of Iowa, Iowa City, IA 52242, USA, July 1991. [23] D. den Hertog. Interior point approach to linear, quadratic and convex programming: algorithms and complexity. Nr. 277 in Mathematics and its Applications. Kluwer Academic Publishers, Dordrecht, 1994.

Literaturverzeichnis

209

[24] D. den Hertog und C. Roos. A survey of search directions in interior point methods for linear programming. Mathematical Programming, 52(1):481– 509, 1991. [25] D. den Hertog, C. Roos und T. Terlaky. On the classical logarithmic barrier function method for a class of smooth convex programming problems. Journal of Optimization Theory and Applications, 73(1):1–25, 1992. [26] D. den Hertog, C. Roos und T. Terlaky. A Build-Up Variant of the PathFollowing Method for LP. Operations Research Letters, 12(3):181–186, 1992. [27] D. den Hertog, C. Roos und T. Terlaky. Adding and deleting constraints in the logarithmic barrier method for LP. In D.-Z. Du und J. Sun (Hrsg.), Advances in optimization and approximation, Bd. 1 in Nonconvex Optim. Appl., Seite 166–185. Kluwer Academic Publishers, Dordrecht; Boston, 1994. [28] I. I. Dikin. Iterative solution of problems of linear and quadratic programming. Sov. Math., Dokl., 8:674–675, 1967. [29] E. D. Dolan und J. J. Mor´e. Benchmarking optimization software with performance proﬁles. Math. Program., Ser. A, 91(2):201–213, 2002. [30] I. S. Duﬀ. MA57—A Code for the Solution of Sparse Symmetric Deﬁnite and Indeﬁnite Systems. ACM Transactions on Mathematical Software, 30 (2):118–144, June 2004. [31] I. S. Duﬀ und J. K. Reid. MA27—a set of Fortran subroutines for solving sparse symmetric sets of linear equations. Technischer Report AERE R10533, Computer Science and Systems Division, AERE Harwell, Harwell, England, 1982. [32] U. Eckhardt. Redundante Ungleichungen bei linearen Ungleichungssystemen. Mathematical Methods of Operations Research, 15(1):279–286, 1971. [33] M. A. El-Shibini und E. S. Ibrahim. Quadratic programming approach to reactive power optimization on the primary feeders. Electrical Engineering (Archiv fur Elektrotechnik), 68(4):267, 271 1985. [34] W. H. Enright, D. J. Higham, B. Owren und P. W. Sharp. A Survey of the Explicit Runge-Kutta Method. Technischer Report TR 291/94, Department of Computer Science, University of Toronto, Canada, 1994. [35] European Organisation for the Safety of Air Navigation EUROCONTROL. ATFCM and Capacity Report 2006. http://www.eurocontrol.int/cef/ gallery/content/public/ATFCM and Capacity Report 2006.pdf, EATM Infocentre, Br¨ ussel, Februar 2007.

210

Literaturverzeichnis

[36] European Organisation for the Safety of Air Navigation EUROCONTROL. Standard Inputs for EUROCONTROL Cost Beneﬁt Analyses – 2007 Edition. http://www.eurocontrol.int/ecosoc/public/standard page/documents. html, EATM Infocentre, Br¨ ussel, Juni 2007. [37] European Organisation for the Safety of Air Navigation EUROCONTROL. Annual Report 2006. http://www.eurocontrol.int/epr/public/ standard page/AnnualReport.html, EATM Infocentre, Br¨ ussel, Juni 2007. [38] M. Fengler. Arbitrage-Free Smoothing of the Implied Volatility Surface. Technischer Report SFB 649 Discussion Paper 2005-019, HumboldtUniversit¨ at zu Berlin, 2005. [39] A. V. Fiacco und G. P. McCormick. Nonlinear Programming, Sequential Unconstrained Minimization Techniques. John Wiley & Sons, New York, 1968. [40] R. Fletcher. Practical Methods of Optimization. John Wiley and Sons, 2 Ausgabe, 1987. [41] R. Frisch. The logarithmic potential method for solving linear programming problems. Memorandum, University Institute of Economics, Oslo, 1955. [42] T. Gal. Zur Identiﬁkation redundanter Nebenbedingungen in linearen Programmen. Mathematical Methods of Operations Research, 19(1):19–28, 1975. [43] D. M. Gay. A variant of Karmarkar’s linear programming algorithm for problems in standard form. Mathematical Programming, 37(1):81–90, 1987. [44] C. Geiger und C. Kanzow. Theorie und Numerik restringierter Optimierungsaufgaben. Springer-Verlag, Berlin Heidelberg New York, 2002. [45] E. M. Gertz und S. J. Wright. OOQP User Guide. Technischer Report, Mathematics and Computer Science Division, Argonne National Laboratory, Argonne, Ill., September 2001. Available from http://www.cs.wisc. edu/∼swright/OOQP/. [46] E. M. Gertz und S. J. Wright. Object-oriented software for quadratic programming. ACM Trans. Math. Softw., 29(1):58–81, 2003. [47] P. E. Gill, W. Murray und M. H. Wright. Practical optimization. London etc.: Academic Press, a Subsidiary of Harcourt Brace Jovanovich, Publishers., 1981.

Literaturverzeichnis

211

[48] P. E. Gill, W. Murray, M. A. Saunders, J. A. Tomlin und M. H. Wright. On projected newton barrier methods for linear programming and an equivalence to Karmarkar’s projective method. Mathematical Programming, 36 (2):183–209, 1986. [49] J. L. Goﬃn und J.-P. Vial. Cutting planes and column generation techniques with the projective algorithm. J. Optim. Theory Appl., 65(3):409–429, 1990. [50] G. H. Golub und M. A. Saunders. Linear Least Squares and Quadratic Programming. In J. Abadie (Hrsg.), Integer and Nonlinear Programming, Seite 229–256. North-Holland, Amsterdam, 1970. [51] G. H. Golub und C. F. van Loan. Matrix computations. 2nd ed. Nr. 3 in Johns Hopkins Series in the Mathematical Sciences. The Johns Hopkins University Press., Baltimore etc., 1989. [52] J. Gondzio. Multiple centrality corrections in a primal-dual method for linear programming. Comput. Optim. Appl., 6(2):137–156, 1996. [53] J. Gondzio und A. Grothey. Solving Nonlinear Portfolio Optimization Problems with the Primal-Dual Interior Point Method. European Journal of Operational Research, 181(3):1019–1029, 2007. [54] J. Gondzio und T. Terlaky. A computational view of interior-point methods for linear programming. Technischer Report DUT-TWI-94-73, Delft University of Technology, Delft, The Netherlands, 1994. [55] C. C. Gonzaga. Conical projection algorithms for linear programming. Mathematical Programming, 43(1):151–173, 1989. [56] C. C. Gonzaga. Polynomial aﬃne algorithms for linear programming. Mathematical Programming, 49(1):7–21, 1990. [57] C. C. Gonzaga. Search directions for interior linear-programming methods. Algorithmica, 6(1):153–181, 1991. [58] N. Gould und J. A. Scott. A Numerical Evaluation of HSL Packages for the Direct Solution of Large Sparse, Symmetric Linear Systems of Equations. ACM Transactions on Mathematical Software, 30(3):300–325, September 2004. [59] N. Gould, D. Orban und P. L. Toint. CUTEr and SifDec: A constrained and unconstrained testing environment, revisited. ACM Trans. Math. Softw., 29(4):373–394, 2003.

212

Literaturverzeichnis

[60] H. J. Greenberg. Consistency, redundancy, and implied equalities in linear systems. Annals of Mathematics and Artiﬁcial Intelligence, 17(1):37–83, 1966. [61] R. Hanne. Lineare und Quadratische Optimierung in der Strahlentherapie. PhD thesis, Technische Universit¨ at M¨ unchen, 2004. [62] Z. Huang, I. W. Burgess, R. J. Plank und C. M´esz´ aros. Steplengths in interior-point algorithms of quadratic programming. Operations Research Letters, 25(1):39–45, August 1999. [63] P. Huard. Resolution of mathematical programming with nonlinear constraints by the method of centers. In J. Abadie (Hrsg.), Nonlinear Programming, Seite 207–219, Amsterdam, The Netherlands, 1967. North-Holland. [64] H. Imai. On the convexity of the multiplicative version of Karmarkar’s potential function. Mathematical Programming, 40(1):29–32, 1988. [65] B. Jansen, C. Roos und T. Terlaky. A short survey on ten years interior point methods. Technischer Report DUT-TWI-95-45, Delft University of Technology, Delft, The Netherlands, 1995. [66] B. Jansen, C. Roos, T. Terlaky und J.-P. Vial. Primal-dual target-following algorithms for linear programming. Ann. Oper. Res., 62:197–231, 1996. [67] F. Jarre und J. Stoer. Optimierung. Springer-Lehrbuch. Springer, 2004. [68] F. Jarre, G. Sonnevend und J. Stoer. Analysis and Optimization of Systems, chapter An implementation of the method of analytic centers, Seite 295– 308. Lecture Notes in Control and Information Sciences. Springer, 1988. [69] S. Jibrin und D. Stover. Identifying Redundant Linear Constraints in System of Linear Matrix Inequalities. Optimization Online, to appear in the Journal of Interdisciplinary Mathematics, 2006. [70] S. Kapoor und P. M. Vaidya. Fast algorithms for convex quadratic programming and multicommodity ﬂows. In STOC ’86: Proceedings of the eighteenth annual ACM symposium on Theory of computing, Seite 147– 159, New York, NY, USA, 1986. ACM Press. ISBN 0-89791-193-8. [71] N. Karmarkar. A new polynomial-time algorithm for linear programming. Combinatorica, 4(4):373–395, 1984. [72] M. H. Karwan, V. Lotﬁ, J. Telgen und S. Zionts (Hrsg.). Redundancy in Mathematical Programming: A State of the Art Survey. Springer, 1983.

Literaturverzeichnis

213

[73] L. G. Khachian. A polynomial algorithm in linear programming. Dokl. Akad. Nauk SSSR, 244:1093–1096, 1979. [74] V. Klee und G. J. Minty. How good is the simplex algorithm? In O. Shisha (Hrsg.), Inequalities, Seite 159–175. Academic Press, New York, NY, 1972. [75] M. Kojima, S. Mizuni und A. Yoshise. A polynomial-time algorithm for a class of linear complementarity problems. Mathematical Programming, 44 (1):1–26, 1989. √ [76] M. Kojima, S. Mizuno und A. Yoshise. An O( nL) iteration potential reduction algorithm for linear complementarity problems. Mathematical Programming, 50(1):331–342, 1991. [77] R. W. Llewellyn. Linear Programming. Holt, Rinehart and Winston, New York-Chicago-San Francisco-Toronto-London, 1964. [78] S. L. Louwes, J. C. Boot und S. Wage. A Quadratic-Programming Approach to the Problem of the Optimal Use of Milk in the Netherlands. Journal of Farm Economics, 45(2):309–317, Mai 1963. [79] J. L. Markle und A. E. Hoﬄander. A Quadratic Programming Model of the Non-Life Insurer. Journal of Risk and Insurance, 43(1):99–118, 1976. [80] H. M. Markowitz. Portfolio Selection. Journal of Finance, 7:77–91, 1952. [81] H. M. Markowitz. Portfolio Selection: Eﬃcient Diversiﬁcation of Investments. Wiley, New York, 1959. [82] I. Maros und C. M´esz´ aros. A repository of convex quadratic programming problems. Optimization Methods and Software, 11(1):671–681, year. Taylor & Francis. [83] N. Megiddo. Pathways to the optimal set in linear programming. In N. Megiddo (Hrsg.), Progress in Mathematical Programming: Interior-Point and Related Method, Seite 131–158, New York, 1988. Springer. [84] N. Megiddo. Pathways to the optimal set in linear programming. In Progress in mathematical programming. Interior-point and related methods, Seite 131–158. Springer, New York, 1989. [85] S. Mehrotra. On the implementation of a primal-dual interior point method. SIAM J. Optim., 2(4):575–601, 1992. [86] J. E. Mitchell. An Interior Point Column Generation Method for Linear Programming Using Shifted Barriers. SIAM Journal on Optimization, 4 (2):423–440, 1994.

214

Literaturverzeichnis

[87] R. D. Monteiro. A globally convergent primal-dual interior point algorithm for convex programming. Mathematical Programming, 64(1):123–147, 1994. [88] R. D. Monteiro und I. Adler. Interior path following primal-dual algorithms. I: Linear programming. Mathematical Programming, 44(1):27–41, 1989. [89] R. D. Monteiro und I. Adler. Interior path following primal-dual algorithms. Part II: Convex quadratic programming. Mathematical Programming, 44 (1):43–66, 1989. [90] K. Moritzen und P. Schade. Introduction to qipp. Technischer Report, Fachbereich Mathematik, Lehrstuhl LSX, University of Dortmund, Dortmund, Germany, 2007. erscheint in K¨ urze. [91] J. Nocedal und S. J. Wright. Numerical optimization. Springer Series in Operations Research. New York, NY: Springer., 1999. [92] Numerical Analysis Group (NAG). HSL Archive – A collection of Fortran codes for large-scale scientiﬁc computation. See http://www.cse.scitech.ac. uk/nag/hsl/, 2002. [93] W. T. Obuchowska und R. J. Caron. Minimal representation of quadratically constrained convex feasible regions. Mathematical Programming, 68 (1):169–186, 1995. [94] P. Recht. Identifying non-active restrictions in convex quadratic programming. Math. Methods Oper. Res., 54(1):53–61, 2001. [95] P. Recht. Detecting superﬂuous constraints in quadratic programming by varying the optimal point of the unrestricted problem. In D. Ahr, R. Fahrion, M. Oswald und G. Reinelt (Hrsg.), Operations Research Proceedings 2003, Operations Research Proceedings, Conference 2003, Seite 292–299. Springer, 2004. [96] P. Recht. Characterization of optimal points in binary convex quadratic programming. Optimization, 56(1):39–47, 2007. [97] P. Recht und P. Schade. An implementation of an interior-point algorithm for convex quadratic programming, using the identiﬁcation of superﬂuous constraints. Optimization, 56(4):495–514, August 2007. [98] C. Roos und J.-P. Vial. A polynomial method of approximate centers for linear programming. Math. Program., Ser. A, 54(3):295–305, 1992. [99] D. S. Rubin. Redundant Constraints and Extraneous Variables in Integer Programs. Management Science, 18(7):423–427, 1972.

Literaturverzeichnis

215

[100] A. Schrijver. Theory of linear and integer programming. John Wiley & Sons, Ltd., 1986. [101] R. L. Smith und J. Telgen. Random methods for identifying nonredundant constraints. Technischer Report 81-4, Department of Industrial and Operations Engineering, The University of Michigan, Ann Arbor, MI, 1981. [102] G. Sonnevend. An “analytic center” for polyhedrons and new classes of global algorithms for linear (smooth, convex) programming. In A. Prekopa, J. Szelezsan und B. Strazicky (Hrsg.), System Modellinig and Optimization: Proceedings of the 12th IFIP-Conference, Budapest, Hungary, September 1985, Bd. 84 in Lecture Notes in Control and Information Sciences, Seite 866–876, Berlin, 1986. Springer. [103] M. Steﬀensen. Quadratic Optimization of Life and Pension Insurance Payments. The Astin bulletin, 36(1):245–267, 2006. [104] M. Steiner und C. Bruns. Wertpapiermanagement – Professionelle Wertpapieranalyse und Portfoliostrukturierung. Handelsblatt-Reihe. Sch¨ aﬀerPoeschel, 8. Ausgabe, September 2002. [105] K. Tanabe. Centered newton method for mathematical programming. In M. Iri und K. Yajima (Hrsg.), System modeling and optimization, Seite 197–206. Springer, 1988. [106] J. Telgen. On redundancy in systems of linear inequalities. Technischer Report Report 7718, Econometric Institute, Erasmus University, Rotterdam, 1977. [107] J. Telgen. Redundant and non binding constraints in linear programming problems. Technischer Report Report 7720, Econometric Institute, Erasmus University, Rotterdam, 1977. [108] J. Telgen. Redundancy and linear programs. PhD thesis, Erasmus University, Rotterdam, The Netherlands, 1979. [109] J. Telgen. On R. W. Llewellyn’s rules to identify redundant constraints: A detailed critique and some generalizations. Mathematical Methods of Operations Research, 23(5):197–206, 1979. [110] J. Telgen. Minimal representation of convex polyhedral sets. Journal of Optimization Theory and Applications, 38:1–24, 1982. [111] J. Telgen. Identifying redundant constraints and implicit equalities in systems of linear constraints. Management Science, 29:1209–1222, 1983.

216

Literaturverzeichnis

[112] G. L. Thompson, F. M. Tonge und S. Zionts. Techniques for removing nonbinding constraints and extraneous variables from linear programming problems. Management Science, 12(7):588–608, 1966. [113] A. L. Tits, P.-A. Absil und W. P. Woessner. Constraint reduction for linear programs with many inequality constraints. SIAM J. Optim., 17(1): 119–146, 2006. [114] M. J. Todd und Y. Ye. A centered projective algorithm for linear programming. Cowles Foundation Discussion Papers 861, Cowles Foundation, Yale University, Feb. 1988. [115] J. A. Tomlin. An Experimental Approach to Karmarkar’s Projective Method for Linear Programming. In K. Schittkowski (Hrsg.), Compuational Mathematical Programming, Bd. 31 in Math. Programming Stud., Seite 175– 180. Springer, 1987. [116] T. Tsuchiya. Aﬃne scaling algorithm. In T. Terlaky (Hrsg.), Interior Point Methods of Mathematical Programming. Kluwer, 1996. [117] University of Westminster for the EUROCONTROL PRC. Evaluating the true cost to airlines of one minute of airborne or ground delay. Technischer Report, University of Westminster, Mai 2004. [118] P. Wegner. A Quadratic Programming Formulation of the Portfolio Selection Model. Journal of the Institute of Actuaries Students’ Society, 16(6): 468–476, 1962. [119] J. H. Wilkinson und C. Reinsch. Handbook for automatic computation. In F. L. Bauer, A. S. Householder, F. W. Olver, H. Rutishauser, K. Samelson und E. Stiefel (Hrsg.), Linear Algebra. Springer-Verlag, 1971. [120] L. Winternitz, S. Nicholls, A. Tits und D. O’Leary. A Constraint-Reduced Variant of Mehrotra’s Predictor-Corrector Algorithm. Technischer Report, Research Report University of Maryland, College Park, MD July 2007, Juli 2007. [121] P. Wolfe. A Duality Theorem for Nonlinear Programming. Quarterly of Applied Mathematics, 19(3):239–244, 1961. [122] S. J. Wright. Primal-dual interior-point methods. Philadelphia, PA: SIAM, Society for Industrial and Applied Mathematics., 1997. [123] J. Xu, P. B. Luh, F. B. White, E. Ni und K. Kasiviswanathan. Power Portfolio Optimization in Deregulated Electricity Markets With Risk Management. IEEE Transactions on Power Systems, 21(4):1653–1662, November 2006.

Literaturverzeichnis

217

[124] Y. Ye. Further development on the interior algorithm for convex quadratic programming. Technischer Report, Stanford University, Stanford, CA 94305, USA, 1987. [125] Y. Ye. A “build-down” scheme for linear programming. Math. Program., Ser. A, 46(1):61–72, 1990. [126] Y. Ye. A potential reduction algorithm allowing column generation. SIAM J. Optim., 2(1):7–20, 1992. [127] Y. Ye und M. Kojima. Recovering optimal dual solutions on Karmarkar’s polynomial algorithm for linear programming. Mathematical Programming, 39(3):305–317, 1987. [128] Y. Ye und E. Tse. An extension of Karmarkar’s projective algorithm for convex quadratic programming. Mathematical Programming, 44(1):157– 179, 1989. [129] Z. B. Zabinsky, R. L. Smith, J. F. McDonald, H. E. Romeijn und D. E. Kaufman. Improving Hit-and-Run for Global Optimization. Journal of Global Optimization, 3:171–192, 1993. [130] M. Zeleny. Linear multiobjective programming. Nr. 95 in Lecture notes. Springer, Berlin-Heidelberg-New York, 1974. ISBN 0-387-06639-X.