0 - SABİS

SAKARYA UNIVERSİTESİ
ENDUSTRI MUHENDISLIĞI
YÖNEYLEM ARAŞTIRMASI – II
MARKOV ZİNCİRLERİ
DERS NOTLARI
STOKASTİK (RASSAL) SÜREÇLER
Bazen rassal değişkenlerin zamanla nasıl değiştiğiyle ilgileniriz. Örneğin borsada bir
hissenin fiyatının nasıl değiştiğiyle veya bir firmanın piyasa payının nasıl değiştiğiyle
ilgilenebiliriz. Rassal değişkenin zamanla nasıl değişeceği çalışmaları stokastik süreçleri
de içerir. Bu derste stokastik prosesler, özellikle bir stokastik proses örneği olan markov
zincirleri görülecektir.
Markov zincirleri eğitim, pazarlama, sağlık hizmetleri, muhasebe ve üretim alanları gibi
alanlara uygulanmaktadır.
Stokastik süreç kavramını tanımladıktan sonra Markov Zincirleri ile ilgili temel fikirleri
göreceğiz.
STOKASTİK (RASSAL) SÜREÇ NEDİR ?
Bir Sistemin 0,1,2,… diye etiketlenen kesikli zamanlarda bazı karakteristiğini
(özelliklerini) gözlemlediğimizi düşünelim.
Xt : Sistem özelliklerinin t zamanındaki değeri olsun.
Pek çok durumda Xt t zamanından önce kesin olarak bilinememektedir ve rassal bir
değişken olarak görülebilir.
Kesikli zamanlı stokastik süreç basitçe
X0, X1, X2,…. Rassal değişkenleri arasındaki ilişkilerin tarifidir.
Bazı kesikli zamanlı stokastik süreç örnekleri (İleride açıklanacak örnekler):
Kumarbazın iflası Problemi
Bir Firmanın borsadaki hisse fiyatı
Vazo örneği
KUMARBAZIN İFLASI PROBLEMİ (ÖRNEK 1)
0 Zamanında kumarbaz 2 TL’ye sahiptir. 1,2,… zamanlarında kumarbaz oyun oynar ve
1TL bahse girer. P olasılıkla oyunu kazanır ve (1-p) olasılıkla oyunu kaybeder. Burada
Amaç 4 TL sahibi olunca oyunu bitirmektir. Dikkat edilirse elde 0 TL kalınca da oyun
bitmektedir.
Xt eğer zaman t’deki oyundan sonra sermaye durumu olarak tanımlanırsa o zaman X0,
X1, …..,Xt kesikli zamanlı stokastik süreç olarak ortaya çıkar.
X0 = 2 bilinmektedir ve sabittir. Fakat X1 ve sonra Xt’ler rassaldır.
Örneğin p olasılıkla X1=3 ve (1-p) olasılıkla X1=1 olur
Bu mantıkla eğer Xt ≠ 0 veya 4 ise
p olasılıkla Xt+1 =Xt+1 ve
1-p olasılıkla Xt+1 =Xt-1 olur
Eğer Xt=0 ise Xt+1 ve daha sonraki Xt değerleri 0’a eşittir
Eğer Xt=4 ise Xt+1 ve daha sonraki Xt değerleri 4’e eşittir
VAZO PROBLEMİ (ÖRNEK 2)
Bir vazoda boyanmamış iki tane top bulunmaktadır. Topları rasgele seçmekteyiz ve
yazı-tura atmaktayız. Eğer seçilen top boyasız ve para tura gelmişse seçilen topu
kırmızıya boyarız. Eğer seçilen top boyasız ve para yazı gelmişse seçilen topu siyaha
boyarız. Eğer seçilen top zaten boyanmışsa yazıda gelse turada gelse topu diğer renge
boyarız.
Bu durumu stokastik süreç olarak modellemek için zaman t’yi para t kere atıldıktan ve
seçilen toplar boyandıktan sonraki zaman olarak tanımlarsak, Herhangi bir zamandaki
durum (b,k,s) vektörüyle tanımlanabilir. B boyanmamış top sayısı, k kırmızı top sayısı
ve s ‘de siyah top sayısını ifade eder.
0 zamanında durum X0= (2,0,0) dır. İlk para atıldığında top seçilip boyandığında
½ olasılıkla X1=(1,1,0) ve ½ olasılıkla X1=(1,0,1) olur.
Xt durumları arasında bazı ilişkiler vardır. Örneğin eğer
Xt=(0,2,0) ise Xt+1 = (0,1,1) olur veya
Xt=(0,0,2) ise Xt+1 = (0,1,1) olur
BORSA PROBLEMİ (ÖRNEK 3)
Eğer X0 Bir Firmanın Borsa hissessinin bugünkü değeri ise Xt ise hissenin t. Ticari günün
açılışındaki değeri olsun.
X0,X1,…,Xt değerlerini bilmek bize Xt+1 değerinin olasılık dağılımı hakkında birşeyler
söyler.
Buradaki soru t zamanına kadarki hisse fiyatları t+1 zamanındaki hisse fiyatı hakkında
ne söyler.
Bu sorunun cevabı finans alanında oldukça önemlidir.
SÜREKLİ ZAMANLI STOKASTİK SÜREÇLER
Bu süreçlerde sistemin durumu kesikli zaman yerine herhangi bir zamanda
gözlemlenebilir.
Örneğin herhangi bir zamanda marketteki müşteri sayısı sürekli zamanlı stokastik süreç
olarak düşünülebilir.
Burada market açıldıktan t zaman sonra Xt marketteki müşteri sayısını gözlemekteyiz
ve t real sayıdır ve sürekli değer alır.
Eğer borsada hisse fiyatlarını sadece ticari gün başlangıcında değilde sürekli olarak
herhangi bir zamandaki değeri olarak modellersek o zaman bu süreç sürekli zamanlı
stokasti süreç olur.
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM
KESİKLİ ZAMANLI KESİKLİ DURUMLU STOKASTİK SÜREÇLER
Bu süreçlerde gözlem kesikli zamanlarda olur ve durum kesikli değerler alır. Bu
süreçlere örnekler:
 Kumarbazın iflası problemi
 Vazo örneği
 Nüfusta doğum ve ölüm,
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM
KESİKLİ ZAMANLI SÜREKLİ DURUMLU STOKASTİK SÜREÇLER
Bu süreçlerde gözlem kesikli zamanlarda olur ve durum sürekli değerler alır. Bu
süreçlere örnekler:
 Her bir ticari gün başında gözlenen borsa hisse fiyatı
 Belirli zaman aralıklarında ölçülen rüzgarın hızı,
 Bir nehrin debisinin saatte bir ölçülmesi,
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM
SÜREKLİ ZAMANLI KESİKLİ DURUMLU STOKASTİK SÜREÇLER
Bu süreçlerde gözlem sürekli zamanlarda olur ve durum kesikli değerler alır. Bu
süreçlere örnekler:
 Bir markette sürekli zamanlı gözlemlenen müşteri sayısı
 Bir otobüs durağında sürekli gözlemlenen yolcu sayısı
 Bir şehirdeki doğum ve ölüm
STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM
SÜREKLİ ZAMANLI SÜREKLİ DURUMLU STOKASTİK SÜREÇLER
Bu süreçlerde gözlem sürekli zamanlarda olur ve durum sürekli değerler alır. Bu
süreçlere örnekler:
Sürekli durumlu, sürekli zamanlı stokastik süreç.
 Sürekli zamanlı izlenen kalp atışları
 Sürekli zamanlı takip edilen borsa hisse fiyatları
 Sürekli zamanlı olarak gözlemlenen bir göl veya nehrin derinliği
MARKOV ZİNCİRLERİ
Markov zincirleri Kesikli zamanlı stokastik proseslerin (süreçlerin) özel bir türüdür. Basit
bir ifadeyle herhangi bir zamanda kesikli zamanlı stokastik süreç sonlu sayıda
durumdan birinde olabilir.
Sonlu sayıdaki durumlar 1,2,…,s olsun
Eğer kesikli zaman stokastik süreç aşağıdaki koşulu sağlıyorsa süreç markov zinciridir.
t= 0,1,2,… için ve her bir durum için
P(Xt+1=it+1/ Xt=it, Xt-1=it-1,…,X1=i1,X0=i0) = P(Xt+1=it+1/ Xt=it)
ise süreç markov zinciridir.
(1)
Durum değişkeninin t+1 zamanındaki olasılık dağılımı t zamanındaki duruma bağlıdır ve
t zamanına kadar olan bütün zamanlardaki durumlardan bağımsızdır.
Daha ileri bir varsayımda bulunarak bütün durumlar i ve j ve bütün zamanlar t için
P(Xt+1=j/ Xt=i) olasılığı zamandan da bağımsızdır. Bu varsayım bize aşağıdaki eşitliği
yazabilmemizi sağlar.
P(Xt+1=j/ Xt=i) = pij
(2)
burada pij sistemin t zamanında i durumunda olup t+1 zamanında j durumuna geçme
olasılığıdır.
Eğer sistem bir periodda i durumundan bir period sonra j durumuna geçmişse bu
durumda i’den j’ye geçiş gerçekleşti deriz. Bu nedenle olasılıklarına markov zincirinin
geçiş olasılıkları deriz.
Eşitlik (2) bir period sonraki durumla ilgili olasılık kanununun zamanla değişmez
(satasyoner (stationary) kaldığı) Olduğunu ifade eder. Bu nedenle Eşitlik (2) stasyoner
varsayımı olarak bilinir ve Eşitlik (2) ‘yi sağlayan markov zinciri stasyoner markov
zinciridir.
Markov zinciri çalışmalarımızda zincirin t=0 zamanında i durumunda bulunma olasılığı
olan qi olasılıkları ile ilgileniriz.
Diğer bir deyişle
P(X0=i) = qi olur. Her bir durumu düşündüğümüzde ortaya markov zincirinin ilk olasılık
dağılımı diye ifade ettiğimiz q vektörü çıkar.
q = q1 q𝟐 … . q𝑠
 İlk Olasılık dağılımı
Pek çok uygulamada geçiş olasılıkları
𝑝11 𝑝12
𝑝21 𝑝22
P= ⋮
⋮
𝑝𝑠1 𝑝𝑠2
… 𝑝1𝑠
… 𝑝2𝑠
⋱
⋮
⋯ 𝑝𝑠𝑠
sxs geçiş olasılık matrisi
Geçiş olasılıkları matrisi
P ile gösterilir.
Zaman t de durumun i olduğu verilmiş olsun. Zaman t+1’de süreç bir yerlerde olmalıdır.
Bu matematiksel olarak aşağıdaki gibi ifade edilir.
𝑗=𝑠
𝑗=1 P(Xt+1=j/
Xt=i)=1
𝑗=𝑠
𝑗=1 𝑝𝑖𝑗=1
t zamanında i durumunda olan sistem t+1 zamanında mümkün olan durumlardan
birine geçer.
KUMARBAZIN İFLASI PROBLEMİ (devam)
Kumarbazın iflası probleminde geçiş matrisini bulunuz.
ÇÖZÜM:
t+1’deki para t zamanına kadar birikmiş paraya (t zamanındaki paraya) bağlı
olduğundan bu süreç bir markov zinciridir. Oyunun kuralları zamanla değişmediği için
bu aynı zamanda stasyoner (sabit) markov zinciridir.
Durum i , i TL paraya sahip olunduğunu göstermektedir. Geçiş matrisi aşağıdaki gibidir.
0
1
P= 2
3
4
$0
1
1-p
0
0
0
Durum
$1 $2 $3 $4
0 0 0 0
0 p 0 0
1-p 0 p 0
0 1-p 0 p
0 0 0 1
p ihtimalle para miktarı 1 birim artacak. (1-p) ihtimalle 1 birim azalacaktır. Eğer durum
0 ve 4’e geçilmişse bu durumlar terkedilmeyecektir. P00 = P11 = 1 olduğu görülür.
KUMARBAZIN İFLASI PROBLEMİNDE GEÇİŞ MATRİSİNİN GRAFİKSEL GÖSTERİMİ
p
1-p
0
1
1
1-p
2
1-p
p
3
p
4
1
Geçiş matrisi grafiksel olarak gösterilirken her bir düğüm olası durumları, oklar ise (ok(i,j)) geçiş
olasılıklarını (pij) göstermektedir.
VAZO ÖRNEĞİ (devam)
Vazo ve içerisindeki topların rengi örneğinde geçiş matrisini oluşturun.
ÇÖZÜM:
Bir sonraki periodun top renkleri bir önceki periodun durumuna bağlı olduğu için bu
problem (stokastik süreç) markov zinciridir. Kurallar zamanla değişmediği için bu
markov zincir, stasyoner(sabit) markov zinciridir. Geçiş matrisi aşağıdaki gibidir
P=
(0
(0
(0
(2
(1
(1
1
2
0
0
1
0
1)
0)
2)
0)
0)
1)
Durum
(0 1 1) (0 2 0) (0 0 2) (2 0 0) (1 1 0) (1 0 1)
0
(1/2)
(1/2)
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
(1/2)
(1/2)
(1/4)
(1/4)
0
0
0
(1/2)
(1/4)
0
(1/4)
0
(1/2)
0
Geçiş matrisinin nasıl olduğunu göstermek için geçiş matrisindeki (1 1 0) sırasını
düşünelim. Eğer aktif durum (1 1 0) ise tablo 1 de gösterilen olaylardan biri olur.
OLAY
Tura gelmesi ve boyasız topun seçilmesi
Kırmızı topun seçilmesi
Yazı gelmesi ve boyasız topun seçilmesi
OLASILIK
(1/4)
(1/2)
(1/4)
YENİ DURUM
(0 2 0)
(1 0 1)
(0 1 1)
Tablo 1 : Eğer aktif durum (1 1 0) ise geçiş olasılıklarının hesaplanması
¼ olasılıkla gelecek durum (0 2 0) olacak, ½ olasılıkla gelecek durum (1 0 1) olacak ve
¼ olasılıkla gelecek durum (0 1 1) olacaktır.
Şekil 2 geçiş matrisinin grafik gösterimini vermektedir.
(0 1 1)
(2 0 0)
1/4
1/2
1
1/2
1/4
(0 2 0)
1/2
(1 1 0)
1/4
1
1/2
(0 0 2)
1/4
Şekil 2 : Vazo probleminde geçiş matrisinin grafiksel gösterimi
1/2
(1 0 1)
1/2
Örnek 1: Aşağıdaki şekildeki sayılar köşe noktaları veya
dönüşleri belirleyen kavşakları ve aradaki çizgiler de yolları
belirlemektedir. Bir arabanın dönüş veya doğrudan
gitmesini eş olasılıkla varsayarak köşelerde bulunmak
isteğini geçiş olasılıkları matrisi ile gösteriniz.
7
8
9
4
5
6
1
2
3
Çözüm:
2 nolu köşede bulunması halinde 1, 3 veya 5 köşelerinde
bulunma olasılığı 1/3 olacaktır. 5 nolu köşede ise takiben
2, 4, 6 veya 8 köşelerine 1/4 olasılıkla gidebilir v.s.
Geçiş matrisi aşağıdaki gibidir ve mevcut herhangi bir
durumdan, verilen herhangi bir duruma geçilir.
Dolayısıyla süreç ergodiktir.
1
1
2
3
4
5
6
7
8
9
2
3
4
 0 1/ 2 0 1/ 2
1 / 3 0 1 / 3 0

 0 1/ 2 0
0

0
0
1 / 3 0
 0 1/ 4 0 1/ 4

0 1/ 3 0
 0
 0
0
0 1/ 2

0
0
0
 0
 0
0
0
0

5
6
7
8
9
0
0
0
0
0 
1/ 3 0
0
0
0 
0 1/ 2 0
0
0 

1/ 3 0 1/ 3 0
0 
0 1/ 4 0 1/ 4 0 

1/ 3 0
0
0 1 / 3
0
0
0 1/ 2 0 

1 / 3 0 1 / 3 0 1 / 3
0 1 / 2 0 1 / 2 0 
n-ADIM GEÇİŞ OLASILIKLARI
P geçiş matrisi olan Markov zincirini çalıştığımızı düşünelim. (İlgilendiğimiz markov
zincirleri stasyoner(sabit) olduğundan, açıkça söylemesek de stasyoner markov
zincirleri kastetmekteyiz)
Burada ilgilendiğimiz soru eğer markov zinciri m zamanında i durumundaysa, n adım
sonra j durumunda olma ihtimali nedir?
Stasyoner markov zinciri ile ilgilendiğimizden dolayı bu olasılık m’den bağımsızdır.
Öyleyse
P(Xm+n=j/ Xm=i) = P(Xn=j/ X0=i)= pij(n)
pij(n) n-adımda i’den j’ye geçiş olasılığıdır.
pij(1) = pij olduğu açıktır.
Şimdi pij(2) ‘ye karar verelim. Bu durumda sistem durum i’dedir ve 2 adım sonra durum
j’ye gelecektir.
Önce Durum i’den mümkün olan durumlardan birine geçeriz (durum k). Sonra Durum
k’den durum j’ye geçeriz (Şekil 3). Bu mantık bize aşağıdaki eşitliği gösterir.
pij(2) =
𝑘=𝑠
𝑘=1
𝑖 ′ 𝑑𝑒𝑛 𝑘 ′ 𝑦𝑒 𝑔𝑒ç𝑖ş 𝑜𝑙𝑎𝑠𝚤𝑙𝚤ğ𝚤 ∗ (k’den j’ye geçiş olasılığı)
P matrisinin tanımını kullanarak
pij(2) =
(3)
𝑘=𝑠
𝑘=1 pik ∗ pkj
pi1
1
pi2
i
yazabiliriz.
pik
pis
2
⁞
k
⁞
s
p1j
p2j
psj
pkj
j
Şekil 3
pij(2) = Pi1 *p1j + Pi2 *p2j
+ … + Pis *psj
pij(2) =
𝑘=𝑠
𝑘=1 pik ∗ pkj
(3)
(3)’ün sağ tarafı P matrisinin sıra i ‘ si ile P matrisinin kolon j’sinin skalar çarpımıdır.
Bundan dolayı pij(2)  P2 matrisinin ij’ inci elemanıdır. Bu durumu genellersek :
n >1 için
pij(n)  Pn matrisinin ij’ inci elemanıdır
(4)
Eğer n=0 ise pij(0) = P(X0=j/ X0=i ) öyleyse aşağıdaki doğru olmalıdır.
1 Eğer j=i ise
pij(0) =
0 eğer j ≠ i ise
Eşitlik (4) ‘ün kullanımı Örnek 4 te gösterilmiştir.
ÖRNEK 4: KOLA ÖRNEĞİ
Bütün kola endüstrisinin iki tip kola ürettiğini kabul edelim. Eğer bir insanın kola 1
satın aldığı verilmişse, gelecek alışınında kola 1 olması %90’dır. Eğer bir insanın en son
kola 2 aldığı verilmişse gelecek alışının kola 2 olması %80 olasılıkladır.
a) Eğer müşteri şimdi kola 2 alıyorsa iki alışveriş sonra kola 1 alma ihtimali nedir?
b) Eğer müşteri şimdi kola 1 alıcısıysa, üç alışveriş sonra kola 1 alması ihtimali nedir?
ÇÖZÜM
Burada her bir kişinin alışverişini markov zinciri olarak düşünürüz. Bu problem iki
durumlu markov zinciridir ve alınan kolanın tipi en son periodda alınan kolanın tipine
bağlıdır.
Durum 1 = Müşteri en son kola1 almıştır
Durum 2= Müşteri en son kola2 almıştır
Eğer Xn n.periodda alınan kola olarak tanımlarsak (Şimdiki kola alışı = X0 ) o zaman
X0 , X1 … takibeden slayttaki, geçiş matrisine sahip markov zincir olarak tanımlanabilir.
Kola1 Kola2
.90
.20
.10
.80
P=
Kola1
Kola2
a)
Aradığımız olasılığı ifade edersek
Şimdi soru a) ve b)’yi cevaplayabiliriz.
P(X2=1/ X0=2 ) = p21(2) = P2’nin ( ij=2-1)’inci elemanı
P2 =
.90
.20
.10 .90
.80 .20
.10 .83
=
.80 .34
.17
.66
p21(2) = .34
İki alış veriş sonra şimdi kola1 içen müşteri .34 olasılıkla kola 2 içer.
Bu durumu temel olasılık teorisini kullanarak da bulabilirdik.
p21(2) = (Gelecek alış kola1 ve 2. alış kola1) + (Gelecek alış kola2 ve 2. alış kola1)
= p21* p11 + p22 * p21 = .20 * .90 + .80*.20 = .34
Bu durum takibeden slaytta grafik olarak gösterilmiştir.
Şekil 4: İki Period sonra kola2
alıcısının kola1 alma olasılığı
.20 * .90 + .80*.20 = .34
P22= .80
Kola2
P21=.20
Kola2
Kola2
P21= .20
Zaman 0
Kola1
Zaman 1
P11= .90
Zaman 2
b) Bu soruda aradığımız p11(3)’tür.
p11(3) = P3’ün ij. Elemanı (1-1’inci)
P3 = P * (P2 ) =
.90
.20
p11(3) = .781 olur.
.10
.83
∗
.80
.34
.17 .781
=
.66 .438
.219
.562
Dolayısıyla
Pek çok durumda Markov Zincirinin Zaman 0’da hangi durumda olduğunu
bilmemekteyiz.
qi = Zincirin Zaman 0’da i durumunda olma olasılığı olsun. O zaman sistemin n
zamanında durum j’de olma olasılığını aşağıdaki mantıkla bulabiliriz.
q1
p1j(n)
1
2
q2
Şekil 5: Başlangıç durumun bilinmediği
durumda n zamanında j durumunda
olma olasılığı
p2j(n)
⁞
qi
i
⁞
qs
pij(n)
j
psj(n)
s
Zaman 0
Zaman n
Zaman n’de durum j’de olma olasılığı
= 𝑖=𝑠
𝑖=1 𝐷𝑢𝑟𝑢𝑚𝑢𝑛 𝑏𝑎ş𝑙𝑎𝑛𝑔𝚤ç𝑡𝑎 𝑖 𝑜𝑙𝑚𝑎 𝑜𝑙𝑎𝑠𝚤𝑙𝚤ğ𝚤 ∗ (n adımda i’den j’ye geçiş olasılığı)
=
𝑖=𝑠
𝑖=1 q i ∗ pij
(𝑛) = q (Pn matrisinin j. Kolonu)
(5)
q= q 1 q 2 … q 𝑠
SORU : Kola Örneği Devam
Başlangıçta müşterilerin %60’ı kola 1 içiyor ve %40’ı kola2 içiyorsa, 3 zaman(adım)
sonra müşterilerin ne kadarı kola1 içer.
CEVAP:
q= .60 .40
Zaman 3’de kola1 içme olasılığı = q
(P3 matrisinin 1. Kolonu)
.781
= .6438
.438
Böylece 3 zaman sonra 64% müşteri kola1 içer
= .60
.40 ∗
n-adım geçiş olasılıklarının büyük n değerleri için davranışını göstermek için bazı n
değerleri için kola örneğinin n-adım geçiş olasılıkları tablo 2’de verilmiştir.
n
1
2
3
4
5
10
20
30
40
P11(n)
.90
.83
.78
.75
.72
.68
.67
.67
.67
P12(n)
.10
.17
.22
.25
.28
.32
.33
.33
.33
P21(n)
.20
.34
.44
.51
.56
.65
.67
.67
.67
P22(n)
.80
.66
.56
.49
.44
.35
.33
.33
.33
Tablo 2: Kola Örneğinde n-adım geçiş olasılıkları
n büyüdükçe P11(n) ve P21(n) değerleri .67’ye yaklaşıyor ve sabitleniyor. Bunun anlamı başlangıç
durum ne olursa olsun uzun vadede kola1 alma olasılığı(yüzdesi) .67 dir.
n büyüdükçe P12(n) ve P22(n) değerleri .33’e yaklaşıyor ve sabitleniyor. Bunun anlamı başlangıç
durum ne olursa olsun uzun vadede kola2 alma olasılığı(yüzdesi) .33 dür.
Problemlerin Markov Zincirleri ile Formülize Edilmesi:
P
P 0,7
O 0,1
A 0,1
Şu anda (n=0) Planlamada olan bir
mühendisin iki yıl sonra (n=2) Onarım
Bölümünde olma ihtimali nedir?
O
0,1
0,8
0
Planlama
Planlama
Planlama Onarım
0.70
0.10
0.70
Araştırma Planlama
0.20
0.10
n=0. Adım
Onarım 0.10
Onarım
0.80
A
0,2
0,1
0,9
Araştırma Planlama
0.10
0.10
Araştırma
0.20
Onarım Araştırma
0
0.90
P->P->O = 0,7*0,1=0,07; P->O->O = 0,1*0,8=0,08; P->A->O = 0,2*0=0
Şartlı ihtimallerin toplamı = 0,07 + 0,08 + 0 = 0,15
n=1. Adım
n=2. Adım
Problemlerin Markov Zincirleri ile Formülize Edilmesi:
Planlama Bölümünde çalışan mühendisin
ikinci yılda Planlama, Onarım ve Araştırma
Bölümlerine atanma olasılıkları:
Vi  Vi
n
n 1
.P
0.7 0.1 0.2
2
1
V1  V1 .P  (0.7 0.1 0.2) . 0.1 0.8 0.1  (0.52 0.15 0.33)
0.1 0 0.9
P
P 0,7
O 0,1
A 0,1
O
0,1
0,8
0
A
0,2
0,1
0,9
Problemlerin Markov Zincirleri ile Formülize Edilmesi:
Daha genel olarak bu problemde, n=2 yıl
P
O
A
P 0,7 0,1 0,2
sonraki bütün geçiş ihtimallerini bilmek
O 0,1 0,8 0,1
A 0,1
0
0,9
istersek P matrisinin karesi alınır:
0.7 0.1 0.2 0.7 0.1 0.2 0.52 0.15 0.33
P 2  0.1 0.8 0.1 . 0.1 0.8 0.1  0.16 0.65 0.19
0.1 0 0.9 0.1 0 0.9 0.16 0.01 0.83
n. Adım Sonunda Her Bir Grupta Kaç Kişi Bulunur?
m  n.P
n
n=(n1, n2, …): dönem başı mevcutlar vektörü
m=(m1, m2, …): dönem sonu mevcutlar vektörü
n. Adım Sonunda Her Bir Grupta Kaç Kişi Bulunur?
Dönem başı personel durum mevcutları n=(100, 80, 120)
vektörü ile verilirse 2. yıl sonunda gruplar arasındaki
dağılım şöyle bulunabilir:
0.52 0.15 0.33
m  (100 80 120) . 0.16 0.65 0.19  (84 68 148)
0.16 0.01 0.83