Ders Notu 5: Global Optimizasyon Teknikleri

BÖLÜM 5
GLOBAL OPTİMUMLUK (GLOBAL OPTIMALITY)
5.1 GİR
RİŞ
Bu böllüme kada
ar anlatıla
an optimiza
asyon yön
ntemleri va
asıtasıyla bir optimizasyon
problem
minin lokal minimum değerlerinin nasıl eld
de edileceğ
ği verilmiştti. Bu bölüm
mde ise
elde edilen
e
loka
al minimu
um noktala
arın globa
al olarak optimum olup olm
madığını
belirleyyecek şartlar incelen
necektir. Bir
B lokal minimum
m
n
noktasının
global ola
arak da
minimu
um olup olm
madığını belirlemede
e aşağıda verilen
v
iki metot
m
kulla
anılabilir:
1.. Eğer hed
def fonksiyyon f(x), boş
b
olmaya
an feasible
e S kümessinde ki bu
u küme
kapalı ve sınırlı (clo
osed and bounded)
b
olmak
o
zoru
undadır, birr sürekli fonksiyon
oremine gö
öre bir glob
bal minimu
um nokta m
mutlaka va
ardır. Bu
ise weierstrass teo
durumda tüm ada
ay noktalar hesapla
anır ve he
edef fonkssiyonu min
nimuma
götüre de
eğer optimu
um değer olarak
o
belirlenir.
2.. Eğer optimizasyon problemi konveks
k
is
se lokal min
nimum nokkta aynı za
amanda
global minimumdur.
5.2 WE
EIERSTRA
ASS TEOR
REMİ
Yukarıd
da da ifad
de edildiğii gibi bu teorem
t
ya
ardımıyla global
g
min
nimum nok
ktasının
varlığı, kapalı ve sınırlı S kümesinin
k
varlığı ile ilişkilidir. Dolayısıyla
D
a, kapalı ve sınırlı
bir sayıı kümesinin
n anlamı belirlenmeli
b
idir.
Bir S sayı
s
kümesinin kapa
alı (closed)) olma şarrtı, bütün sınır nokta
alarını içerrmelidir.
Sınırlı (bounded)
(
olması için
n gereken şart ise:
xT x < c x ∈ S
Burada
a c sonlu bir
b sayıdır. Weierstra
ass teorem
minin şekil üzerinde gösterimi aşağıda
verilmişştir.
Şekil 1: a)Sınırlandırılmamış alan
n ve fonksiyo
on b) sınırlı alan ve fonkssiyonetler
5-1
Örnek 5.1:
S = {x | 0 < x ≤ 1} de
d tanımlanan f ( x) = −1 x fonk
ksiyonu glo
obal minimu
um değeri olabilir
mi?
Weiersstrass teore
eminin şarrtları sağla
andığında, global birr minimum
m değerinin
n varlığı
garanti edilmiş olur.
Global optimumlu
uk için 2. şart
ş
optimizasyon prrobleminin konveksliliğidir ve konveks
k
setler ve
v konvekss fonksiyonlar aracılığıyla bu tanımlama
t
alar yapılır. Dolayısıy
yla takip
eden bölümde bu
u tanımlam
malar yapılm
mıştır.
ONVEKS SETLER
5.3 KO
S konveks set aşağıda verilen özelliğe
e sahip no
oktaların birr toplamıdıır.
Eğer P1 ve P2 S’d
de herhang
gi noktalar ise P1-P2 doğrusunu
d
un tüm parççaları S’ de
e ise bu
sete ko
onveks set denir. Aşa
ağıda verile
en şekilde konveks ve
v konvekss olmayan setlerle
ilgili örn
nekler verillmiştir.
Şekil 2: a)Konvekks ve b)konve
eks olmayan setler
n boyuttlu bir uzayyda, herha
angi bir x (1) ve x ( 2) noktaları
n
arrasındaki h
herhangi bir doğru
parçasının param
metrik ifade
esi aşağıda
aki ifade ya
ardımıyla verilir:
v
x = αx ( 2) + (1 − α )x (1) , 0 ≤ α ≤ 1
(5.1)
Eğer bu
b doğru [a,b] aralığında tan
nımlanırsa bu doğrru üzerindeki tüm noktalar
konvekks seti oluşşturur.
5-2
a
x1
x
x2
b
Şekil 3: bir doğru üzerindeki konveks noktalar
Örnek 5.2:
{
}
S = x | x12 + x 22 − 1 ≤ 0 setinin konveks bir set olup olmadığını gösteriniz
5.4 KONVEKS FONKSİYONLAR
Tek değişkene sahip bir f(x) fonksiyonunu dikkate alalım. Şekil 3’de verilen herhangi
iki nokta; x1 ve x2, arasında bir doğru çizelim. Bu doğru, x1x2 arasında seçilen
herhangi iki noktadan geçen doğrunun üstünde kalıyorsa, f(x) fonksiyonu konvekstir
denir. Daha basit bir ifade ile konveks fonksiyonların şekli su tutabilecek bir kaba
benzetilebilir.
Şekil 4: Konveks fonksiyon.
Tek değişkenli bir fonksiyonda bu durumu belirlemek kolay olmasına rağmen n
değişkenli bir fonksiyonun konveksliği o fonksiyonun Hessian matrisinin S setinin
bütün noktalarında pozitif yarı tanımlı veya pozitif tanımlı olmasına bağlıdır. Bir
fonksiyonun pozitif tam ve yarı tanımlılığı aşağıdaki özelliklere bağlıdır:
•
F(x) fonksiyonu pozitif tanımlıdır, eğer λi > 0
•
F(x) fonksiyonu pozitif yarı tanımlıdır, eğer λi ≥ 0 ( λi lerden en az biri sıfır
olmalıdır)
•
F(x) fonksiyonu negatif tanımlıdır, eğer λi < 0
•
F(x) fonksiyonu negatif yarı tanımlıdır, eğer λi ≤ 0 ( λi lerden en az biri sıfır
olmalıdır)
5-3
Örnek 5.3:
Aşağıda verilen fonksiyonun konveks olup olmadığını kontrol ediniz.
f ( x) = x12 + x 22 − 1
5.5 KONVEKS PROGRAMLAMA PROBLEMİ
Konveks sette tanımlanan hedef fonksiyon f(x) ve kısıtlayıcı fonksiyon gi(x)’in
konveks olduğu ve optimizasyon problemine konveks programlama problemi denir.
Konveks programlama örneği ile ilgili olarak önemli bazı noktalar aşağıda verilmiştir:
1. Eğer bir f(x) fonksiyonun hessian matrisi yarı veya tam pozitif tanımlı ise o
fonksiyon konvekstir.
2. Lineer eşitlik veya eşitliksiz kısıtlayıcıları optimizasyon problemi için daima
konveks feasible alan tanımlar.
3. Nonlineer eşitlik kısıtlayıcıları daima konveks olmayan bir feasible alan
tanımlar
4. Eğer hedef fonksiyon, konveks feasible alanda konveks tanımlı ise bu tür
optimizasyon problemi konveks programlama problemidir.
5. Bir konveks programlama problemi için Kuhn-Tucker 1. derece gerek şartı
aynı zamanda o problem için yeter şartı verir ve lokal minimum aynı
zamanda global minimumdur. Bu aynı zamanda ikinci derece şartı (SecondOrder conditions for constarined optimization problem) olarak da adlandırılır.
Örnek 5.4:
Aşağıda tanımlanan optimizasyon probleminin konveks optimizasyon problemi olup
olmadığını belirleyiniz.
min f ( x1 , x 2 ) = 2 x1 + 3 x 2 − x13 − 2 x 22
s.t.
x1 + 3 x 2 ≤ 6
5 x1 + 2 x 2 ≤ 10
x1, x 2 ≥ 0
5-4
Şekil 5: Hedef fonksiyona ait yüzey ve eş yükselti eğrileri.
Örnek 5.5:
Aşağıda tanımlanan optimizasyon probleminin konveks optimizasyon problemi olup
olmadığını belirleyiniz.
min f ( x) = ( x1 − 1.5) 2 + ( x 2 − 1.5) 2
s.t.
g ( x) = x1 + x 2 − 2 ≤ 0
5.6 KISITLAMALI
ŞARTLARI
OPTİMİZASYON
PROBLEMLERİ
İÇİN
İKİNCİ-DERECE
5.6.1 Konveks problemler için yeter şart
Konveks programlama problemleri için Khun-Tucker gerek şartları aynı zamanda
yeter şartlar olur. Dolayısıyla optimizasyon probleminin konveks olduğu gösterilirse
otomatik olarak yeter şartlar sağlanmış olur.
5.6.2 Genel optimizasyon problemleri için İkinci-derece gerek şartı:
Kısıtlamasız optimizasyon problemlerinde, hedef fonksiyonun ikinci derece bilgilerini
kullanarak aday noktaların gerçekten minimum olup olmadığı belirlenmişti (Denklem
3.12 ve 3.13). Kısıtlamalı optimizasyon problemlerinde ise, aday nokta x * ‘da
kısıtlayıcıları dikkate alarak d feasible yön dikkate alınır.
5-5
Şekil 6: kısıtların yeter şartları için kullanılan d yönleri.
Kısıtlamasız optimizasyon problemlerinde belirtildiği gibi yeter şart durumunda
(d ≠ 0) dikkate alındığında x = x * + d aktif kısıtlayıcı şartını sağlaması için d kısıtlayıcı
teğet düzleminde olmalıdır. Kısıtlayıcı teğet düzlemi ile kısıtlayıcının gradyantı
ortogonal (dik) olduğundan, bu ikisinin skaler çarpımı sıfır olmak zorundadır:
∇hiT d = 0;
i = 1... p
∇g iT d = 0;
i = 1...m
(5.2)
Böylece d yönü, x * civarında bir feasible tanımlamak için belirlenir. Bu şart sadece
aktif eşitsizlik kısıtlayıcı olması durumunda d’yi bulmada kullanılır.
Dolayısıyla, ikinci-derece şartları elde etmek için Lagrange fonkisyonun Taylor
serisine açılımı kullanılır ve Denklem (5.2) şartını sağlayan arama yönü d dikkate
alınır. Kısıtlayıcı teğet düzleminde bütün d yönleri için Taylor serisinin ikinci derece
terimi pozitif ise x * lokal minimum noktadır.
5.6.2.1 GENEL BİR KISITLAMALI OPTİMİZASYON PROBLEMLERİ İÇİN İKİNCİ-DERECE GEREK
ŞART:
x * , genel optimizasyon problemi için K-T şartlarını sağlayan aday nokta olsun. x * ’da
Lagrange fonksiyonun Hessian matrisi aşağıdaki gibi tanımlanır:
p
m
i =1
i =1
∇ 2 L = ∇ 2 f + ∑ν i*∇ 2 hi + ∑ u i*∇ 2 g i
(5.3)
x * ’da aşağıda verilen lineer sistemi sağlayan feasible arama yönü (d ≠ 0) olsun:
∇hiT d = 0;
i = 1... p
∇g iT d = 0;
i = 1...m
(5.4)
Dolayısıyla x * , optimizasyon probleminin lokal minimum noktasıdır ve aşağıdaki şart
sağlanır:
5-6
Q ≥ 0 burada Q = d T ∇ 2 L(x * )d
(5.5)
Denklem (5.5)’de verilen şart, Lagrange fonksiyonun Hessian matrisinin pozitif tanımlı
olması gerekliliğini gösterir.
Bu ikinci-derece gerek şartı sağlamayan noktalar lokal minimum nokta olamaz.
5.6.2.2 GENEL KISITLAMALI OPTİMİZASYON PROBLEMLERİ İÇİN İKİNCİ-DERECE YETER
ŞARTI:
x * , genel optimizasyon problemi için K-T şartlarını sağlayan aday nokta olsun.
Denklem (5.3)’de verildiği gibi Lagrange fonksiyonun Hessianı tanımlanmış olsun.
Feasible yön ( (d ≠ 0) aşağıdaki şartları sağlayacak şekilde tanımlı olsun:
∇hiT d = 0;
i = 1... p
∇g iT d = 0;
i = 1...m
(5.6)
Burada g için u i > 0 olan aktif eşitsizlik kısıtlayıcısıdır. Ayrıca u i = 0 olan eşitsizlik
kısıtlayıcılar için ∇g iT d ≤ 0 olsun. Eğer
Q > 0 burada Q = d T ∇ 2 L(x * )d
(5.7)
ise x * izole edilmiş lokal minimum noktadır. Burada izole edilmişin anlamı; x * ’ın yakın
civarında başka bir lokal minimum nokta yoktur.
Örnek 5.6:
Aşağıda verilen optimizasyon probleminin aday minimum noktaları için yeter şartları
kontrol ediniz.
min f ( x) = x12 + x 22 − 3x1 x 2
s.t
g = x12 + x 22 − 6 ≤ 0
5-7