EDB NEw Template

Büyük veri ile neler yaptık?
Devrim Gündüz
Principal Systems Engineer @ EnterpriseDB
devrim.gunduz@EnterpriseDB.com
Twitter : @DevrimGunduz @EnterpriseDB
© 2013 EnterpriseDB Corporation. All rights reserved.
1
Kısaca...
●
EnterpriseDB
–
Kuzey Amerika merkezli bir veritabanı şirketi
–
PostgreSQL tabanlı, Oracle uyumlu ticari bir
veritabanı sunucusu var
–
Gartner's Magic Quadrant 2013 raporundaki
“Challenger”
–
http://www.EnterpriseDB.com
30. BilişimKurultayı Ankara
Büyük Veri ile Neler
2
Yaptık?
Sunumu hazırlarken...
Çok çalıştım, gecelerimi gündüzüme kattım.
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
3
Sunumu hazırlarken...
●
Çok çalıştım, gecelerimi gündüzüme kattım.
●
Binlerce makale okudum
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
4
Sunumu hazırlarken...
●
Çok çalıştım, gecelerimi gündüzüme kattım.
●
Binlerce makale okudum
●
...
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
5
Sunumu hazırlarken...
●
Çok çalıştım, gecelerimi gündüzüme kattım.
●
Binlerce makale okudum
●
...
●
Laptop!
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
6
Bunu yazmadan olur
mu?
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
7
Big data
Big data is like ...
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
8
Big data
Big data is like ...
HAYIR! :-)
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
9
Aslında...
●
Klasik şeyleri her yerde duyuyoruz.
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
10
Aslında...
●
Klasik şeyleri her yerde duyuyoruz.
●
Herkesin verisi büyük!
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
11
Aslında...
●
Klasik şeyleri her yerde duyuyoruz.
●
Herkesin verisi büyük!
●
2002'de 50 MB'lık veri için Oracle sunucusu!
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
12
Aslında...
●
Klasik şeyleri her yerde duyuyoruz.
●
Herkesin verisi büyük!
●
2002'de 50 MB'lık veri için Oracle sunucusu!
●
Peki sorun ne?
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
13
Aslında...
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
14
Gerekli veri, gereksiz veri (ben çizdim)
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
15
Sonuçta:
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
16
Büyük verileri işlerken...
●
Büyük donanımlar (gereksiz)
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
17
Büyük verileri işlerken...
●
Büyük donanımlar (gereksiz)
●
Pazarlama kurbanı şirketler
–
“Açık kaynak koddan destek alamazsınız” ;)
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
18
Büyük verileri işlerken...
●
Büyük donanımlar (gereksiz)
●
Pazarlama kurbanı şirketler
–
●
“Açık kaynak koddan destek alamazsınız” ;)
Yüksek maliyetli çözümler
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
19
Büyük verileri işlerken...
●
İlişkisel (relational) veritabanları
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
20
Büyük verileri işlerken...
●
İlişkisel (relational) veritabanları
●
NoSQL?
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
21
Büyük verileri işlerken...
●
İlişkisel (relational) veritabanları
●
NoSQL?
●
Çözümler hibrid olmalı (birazdan...)
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
22
Büyük verileri işlerken...
Özgür Yazılım, Özgür Dünya!
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
23
“Biz” neler yaptık?
Avrupa!
•
ABN Amro
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
24
“Biz” neler yaptık?
Avrupa!
•
ABN Amro
•
Santander
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
25
“Biz” neler yaptık?
Avrupa!
•
ABN Amro
•
Santander
•
BBVA
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
26
“Biz” neler yaptık?
Avrupa!
•
ABN Amro
•
Santander
•
BBVA
•
Erste Gruppe
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
27
“Biz” neler yaptık?
Avrupa!
•
ABN Amro
•
Santander
•
BBVA
•
Erste Gruppe
•
The Cloud Networks
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
28
“Biz” neler yaptık?
Avrupa!
•
ABN Amro
•
Santander
•
BBVA
•
Erste Gruppe
•
The Cloud Networks
•
...
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
29
“Biz” neler yaptık?
Amerika!
•
Statefarm (Fortune 500'de 44.)
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
30
“Biz” neler yaptık?
Amerika!
•
Statefarm (Fortune 500'de 44.)
•
Sony Online Entertainment
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
31
“Biz” neler yaptık?
Amerika!
•
Statefarm (Fortune 500'de 44.)
•
Sony Online Entertainment
•
Mastercard
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
32
“Biz” neler yaptık?
Amerika!
•
Statefarm (Fortune 500'de 44.)
•
Sony Online Entertainment
•
Mastercard
•
NASA
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
33
“Biz” neler yaptık?
Amerika!
•
Statefarm (Fortune 500'de 44.)
•
Sony Online Entertainment
•
Mastercard
•
NASA
•
Lockheed Martin
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
34
“Biz” neler yaptık?
Amerika!
•
Statefarm (Fortune 500'de 44.)
•
Sony Online Entertainment
•
Mastercard
•
NASA
•
Lockheed Martin
•
...
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
35
“Biz” neler yaptık?
Türkiye!
•
Türksat
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
36
“Biz” neler yaptık?
Türkiye!
•
Türksat
•
Sebit
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
37
“Biz” neler yaptık?
Türkiye!
•
Türksat
•
Sebit
•
RTÜK (SKAAS)
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
38
“Biz” neler yaptık?
Türkiye!
•
Türksat
•
Sebit
•
RTÜK (SKAAS)
•
Büyük bir GSM operatörü
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
39
“Biz” neler yaptık?
Türkiye!
•
Türksat
•
Sebit
•
RTÜK (SKAAS)
•
Büyük bir GSM operatörü
•
Ak Yatırım
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
40
“Biz” neler yaptık?
Türkiye!
•
Türksat
•
Sebit
•
RTÜK (SKAAS)
•
Büyük bir GSM operatörü
•
Ak Yatırım
•
TJK
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
41
“Biz” neler yaptık?
Türkiye!
•
Türksat
•
Sebit
•
RTÜK (SKAAS)
•
Büyük bir GSM operatörü
•
Ak Yatırım
•
TJK
•
Fizy
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
42
“Biz” neler yaptık?
Türkiye!
•
Türksat
•
Sebit
•
RTÜK (SKAAS)
•
Büyük bir GSM operatörü
•
Ak Yatırım
•
TJK
•
Fizy
•
Biletix
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
43
Neden PostgreSQL, neden EnterpriseDB?
•
Turhan Menteş'in açılış konuşmasındaki mesaj
•
Yerli kaynaklar
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
44
Neden PostgreSQL, neden EnterpriseDB?
•
•
Turhan Menteş'in açılış konuşmasındaki mesaj
•
Yerli kaynaklar
Özkan Dalbay
•
Yerli (kendi) veritabanı sunucumuz
•
Özgür Yazılım var?
•
(DostgreSQL)
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
45
Neden PostgreSQL, neden EnterpriseDB?
•
•
•
Turhan Menteş'in açılış konuşmasındaki mesaj
•
Yerli kaynaklar
Özkan Dalbay
•
Yerli (kendi) veritabanı sunucumuz
•
Özgür Yazılım var?
•
(DostgreSQL)
Maliyet
•
Herşey değil!
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
46
“Biz” neler yaptık?
•
TB'larca veriyi bellekte sıralama!
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
47
“Biz” neler yaptık?
•
TB'larca veriyi bellekte sıralama!
•
Yüzlerce işlemciyi paralel kullanma
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
48
“Biz” neler yaptık?
•
TB'larca veriyi bellekte sıralama!
•
Yüzlerce işlemciyi paralel kullanma
•
Disk üzerindeki veriyi daha büyük blocksize ile saklama
seçeneği
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
49
“Biz” neler yaptık?
•
TB'larca veriyi bellekte sıralama!
•
Yüzlerce işlemciyi paralel kullanma
•
•
Disk üzerindeki veriyi daha büyük blocksize ile saklama
seçeneği
Düşük maliyet
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
50
“Biz” neler yaptık?
•
TB'larca veriyi bellekte sıralama!
•
Yüzlerce işlemciyi paralel kullanma
•
Disk üzerindeki veriyi daha büyük blocksize ile saklama
seçeneği
•
Düşük maliyet
•
Yerli mühendisler
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
51
“Biz” neler yaptık?
•
Hibrid ortamlar
•
SQL, NoSQL
•
FDW
•
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
Hadoop, MongoDB, Oracle, PostgreSQL!
52
“Biz” neler yaptık?
•
Hibrid ortamlar
•
SQL, NoSQL
•
FDW
•
•
Hadoop, MongoDB, Oracle, PostgreSQL!
JSON / Hstore / XML
30. BilişimKurultayı Ankara
Büyük Veri ile Neler Yaptık?
53
Sorular?
30. BilişimKurultayı Ankara
Büyük Veri ile 54
Neler Yaptık?
Teşekkürler!
30. BilişimKurultayı Ankara
Büyük Veri ile 55
Neler Yaptık?
Büyük veri ile neler yaptık?
Devrim Gündüz
Principal Systems Engineer @ EnterpriseDB
devrim.gunduz@EnterpriseDB.com
Twitter : @DevrimGunduz @EnterpriseDB
© 2013 EnterpriseDB Corporation. All rights reserved.
56