anlık 100 bin arama sorgusunu hangi db kaldırır arkadaşlar yada hangi sistem diyelim
|
|
anlık 100 bin sorguyu hangi db kaldırır
- Konbuyu başlatan yozgatlı
- Başlangıç tarihi
Fiziksel olarak aynı anda herhangi bir veritabanı yada sistemde sadece 1 sorgu yapabilirsiniz.
Anlıktan kastınız nedir? Aynı anda 100 bin kişi sitede online olmuş olması mı?
Güçlü bir makina ve ayarları iyi yapılmış MySQL ile 1 saniyede 10 bin sorguyu rahatlıkla yaparsınız. Bu rakam veritabanı yapısına bağlı olarak 100 binlere çıkabilir.
Anlıktan kastınız nedir? Aynı anda 100 bin kişi sitede online olmuş olması mı?
Güçlü bir makina ve ayarları iyi yapılmış MySQL ile 1 saniyede 10 bin sorguyu rahatlıkla yaparsınız. Bu rakam veritabanı yapısına bağlı olarak 100 binlere çıkabilir.
aynı anda 100 bin kişi arama sorgusu yapılacak araştırma yapıyorum şu an arama motoru projem var en iyi sistemi seçmek istiyorum sonradan sorun yaşamamak için
Şimdi anlaşıldı. Bu o kadar basit bir konu değil.
Sorduğunuz soru çok havada kalıyor. Bu sorunuzun cevabı veritabanı seçiminizi belirleyemez.
Arama motoru yapıyorsanız veri çok olacaktır. Eğer ciddi bir arama motoru yapıyorsanız sizin için önemli olması gereken kriterler:
1. Çok veriyi sorunsuz depolama
2. Çok veriye çok hızlı erişim
3. Paralel sorguları destekleme özelliği
4. Yaygın (distributed) yapıyı desteklemeli
5. Full Text Search desteklemesi
Bunlar göz önüne alındığında incelemenizi tavsiye edebileceklerim:
1. Sybase IQ
2. Terradata
3. Oracle RAC
"Firebird" diye bir veri tabanını buldum iyi diyorlar bu konuda bilginiz varmı
100 bin ne mysql dayanmaz cünkü acık kaynak bir vt o yüzden mssql bence dene derim sonucta destek microsoft tarfından ve gelişitiriliyor.
Firebird, Interbase kodları üzerine hazırlanmış bir sistem, masaüstü uygulamalar için (client-server) kullanılabilecek orta halli bir database sistemidir, bahsedilen uygulama için uygun bir veritabanı değildir.Firebird en çok kullanan Delphi ile program yazanlardır.
Sybase IQ benimde favorim olan bir databasedir (database sorgularında satır yerine sütun mantığını kullanır, performansı gerçekten de çok iyidir)
Sybase IQ benimde favorim olan bir databasedir (database sorgularında satır yerine sütun mantığını kullanır, performansı gerçekten de çok iyidir)
Bu büyük bir haksızlıktır, bu forumda geçmişte de MySQL için olumsuz bildirimlerde bulunulduğundan MySQL yeteneklerinin birçok kişinin farkında olmadığını düşünüyorum.
Sybase IQ için şurayı okumak yeterli sanırım;
Yapı Kredi Bankası DataWarehouse Uygulaması
YKB Oracle 8i üzerinde geliştirdiği DataWarehouse uygulamasını yedi hafta içerisinde Sybase IQ ya taşıyarak, on aylık geri ödeme süresi ile yatırım geri dönüş maliyetinde %154 kazanç sağlamış oldu. Türkiye' nin ilk özel bankası olan Yapı Kredi Bankası, 500 şubeye sahip olmakla beraber ve leasing, faktoring, sigorta, Yatırım Bankacılığı gibi çeşitli finans kurumlarında uluslararası iştiraki olan bir bankadır. Aynı zamanda kredi kartları iş hacminde de lider bir banka konumundadır. Bu kredibiliteyi, büyümeyi ve müşteri memnuniyetini sürsürebilmek için bilgi teknolojilerine yatırım yapan lider kurumlardan biridir.
Mevcut datawarehouse larında 25 farklı operasyonel sistemden gelen bir terabyte tan fazla veri mevcut bulunmaktaydı. Önceden tanımlı ve ayarlanmış sorguların sonuçları 24 saatten uzun süren bir süre zarfında alınmakta idi. Data setlerinin büyüklüğü sorgulama işlemini hem güçleştiriyor hem de zaman kaybına yol açıyordu. Ad-hoc sorgular hemen hemen imkansız hale gelmekte idi. YKB bu sistemi performansı artırarak, düşük maliyetler çerçevesinde ihtiyaçlarını karşılamak üzere değiştirmeye karar verdi. Çözüm alternatiflerini değerlendirirken, üç farklı vendor ı üç günlük analiz ve Proof-of-concept çalışması yapmak üzere davet etti. Hedefleri, 8 hafta içerisinde production ortamına geçiş yapmak üzere, en hızlı ve doğru bir şekilde migration planını çıkarabilmek olmuştu. Sorgulama da hızlanma, veri depolamada en düşük kaynaka ve performans önem verdikleri kriterler arasında yer almakta idi. Ve sonuç olarak YKB, Sybase IQ ürününü seçti. YKB uygulama grubu ile iki Sybase danışmanı tarafından oluşturulan bir proje grubu sayesinde, yeni sistem yedi hafta içerisinde hayata geçirildi. Yeni oluşturulan datawarehouse uygulaması, kolon tabanlı çalışma metodolojisine dayalı olup, yüksek bir performans göstermeyi başardı. Sorgu cevap sürelerinde mükemmelliğe erişildi: Sorguların %88.4 bir saniye yada daha az sürede gerçekeşmektedir, %7 si 1-10 saniye içerisinde, %1.7 si 10-30 saniye arasında gerçekleşmektedir.
Ayrıca, yeni kurulan sistem tamamı ile SQL uyumlu olduğu için, veritabanı yönetcilerinin kısa sürede bu sisteme hakim olması oldukça kolay olmuştur. YKB eskiden bir terabyte yer tutan verilerini, artık Sybase IQ üzerinde 350 gigabyte lar seviyesine indirmiştir. 12 CPU lu sistem yerine 3 CPU lu bir sistem üzerinde DW uygulamalarını çalıştırmaktadırlar. YKB bünyesinde satış, pazarlama ve kredi kartları çalışanları kolay ve hızlı bir şekilde yeni sisteme olaşabilmekte ve kompleks ad-hoc sorgular çalıştırabilmektedirler.
Yapı Kredi Bankası DataWarehouse Uygulaması
YKB Oracle 8i üzerinde geliştirdiği DataWarehouse uygulamasını yedi hafta içerisinde Sybase IQ ya taşıyarak, on aylık geri ödeme süresi ile yatırım geri dönüş maliyetinde %154 kazanç sağlamış oldu. Türkiye' nin ilk özel bankası olan Yapı Kredi Bankası, 500 şubeye sahip olmakla beraber ve leasing, faktoring, sigorta, Yatırım Bankacılığı gibi çeşitli finans kurumlarında uluslararası iştiraki olan bir bankadır. Aynı zamanda kredi kartları iş hacminde de lider bir banka konumundadır. Bu kredibiliteyi, büyümeyi ve müşteri memnuniyetini sürsürebilmek için bilgi teknolojilerine yatırım yapan lider kurumlardan biridir.
Mevcut datawarehouse larında 25 farklı operasyonel sistemden gelen bir terabyte tan fazla veri mevcut bulunmaktaydı. Önceden tanımlı ve ayarlanmış sorguların sonuçları 24 saatten uzun süren bir süre zarfında alınmakta idi. Data setlerinin büyüklüğü sorgulama işlemini hem güçleştiriyor hem de zaman kaybına yol açıyordu. Ad-hoc sorgular hemen hemen imkansız hale gelmekte idi. YKB bu sistemi performansı artırarak, düşük maliyetler çerçevesinde ihtiyaçlarını karşılamak üzere değiştirmeye karar verdi. Çözüm alternatiflerini değerlendirirken, üç farklı vendor ı üç günlük analiz ve Proof-of-concept çalışması yapmak üzere davet etti. Hedefleri, 8 hafta içerisinde production ortamına geçiş yapmak üzere, en hızlı ve doğru bir şekilde migration planını çıkarabilmek olmuştu. Sorgulama da hızlanma, veri depolamada en düşük kaynaka ve performans önem verdikleri kriterler arasında yer almakta idi. Ve sonuç olarak YKB, Sybase IQ ürününü seçti. YKB uygulama grubu ile iki Sybase danışmanı tarafından oluşturulan bir proje grubu sayesinde, yeni sistem yedi hafta içerisinde hayata geçirildi. Yeni oluşturulan datawarehouse uygulaması, kolon tabanlı çalışma metodolojisine dayalı olup, yüksek bir performans göstermeyi başardı. Sorgu cevap sürelerinde mükemmelliğe erişildi: Sorguların %88.4 bir saniye yada daha az sürede gerçekeşmektedir, %7 si 1-10 saniye içerisinde, %1.7 si 10-30 saniye arasında gerçekleşmektedir.
Ayrıca, yeni kurulan sistem tamamı ile SQL uyumlu olduğu için, veritabanı yönetcilerinin kısa sürede bu sisteme hakim olması oldukça kolay olmuştur. YKB eskiden bir terabyte yer tutan verilerini, artık Sybase IQ üzerinde 350 gigabyte lar seviyesine indirmiştir. 12 CPU lu sistem yerine 3 CPU lu bir sistem üzerinde DW uygulamalarını çalıştırmaktadırlar. YKB bünyesinde satış, pazarlama ve kredi kartları çalışanları kolay ve hızlı bir şekilde yeni sisteme olaşabilmekte ve kompleks ad-hoc sorgular çalıştırabilmektedirler.
acik kapali mesaji hakikaten cok baglantisiz olmus, ki sayet acik kodlu ve 100 binlerce kisi tarafindan gelistirilen sistemler 10 kisilik gruba oranla cok daha guvenli, surekli guncellenen ve surekli olarak gelistirilen sistemlerdir. tabi bunun performansla hic bir ilgisi olamaz.
Bu makalede bahsi geçen Citadel Investment Group da 2 sene çalıştım, Sybase IQ üzerinde Dünyadaki en çok veriyi tutan şirket. 1 tabloda 300 milyar satır tutuyorduk ve 1 saniyenin altında sorgular yapılabiliyordu.
Aynı Şekilde Terradata da oldukça güçlü bir sistem.
MSSQL, "Oracle RAC, SybaseIQ ve Terradata" gibi bir yapıya sahip değil, datawarehouse u kaldıramıyor henüz.
:8
Ben böyle bir şeyi ilk defa duyuyorum ve gerçekten şaşkınlık içerisindeyim. Böyle bir veritabanında ne tutulur diye düşündüm, bulamadım.
buna yakın bir datada ben görmüştüm oracle'da bir textil firmasının 12 yıllık datalarının raporlarını .. ciddi bir birikimdi.
Finans bilgileri, daha detay bilgi veremiyorum.
Sabret 66 gün sonra MSSQL Server 2008 çıkıyor 
http://www.microsoft.com/windowsserver2008/default.mspx
http://www.microsoft.com/windowsserver2008/default.mspx
Sabret 66 gün sonra MSSQL Server 2008 çıkıyor
http://www.microsoft.com/windowsserver2008/default.mspx
önce bi SP1 çıksında sonra düşünürüz
maalum kendileri mikropsoft oluyorlar SP çıkmadan güven olmuyor kendilerine
Bir yazılım yada veritabanının açık kaynak yani open source olması onun açıklar ile dolu olduğu ve güvenilmez olduğu anlamına gelmez. Açık kaynak kelimesi de zaten çok yanlış anlamda kullanılıyor maalesef.
Tecrübelerime göre büyük bir işte Sybase ve ORACLE kullanmak gerekiyor.
Hepsini kullanmış ve beğeni olarak benden sıralama istersen Sybase, ORACLE, MS SQL derim.
Ayrıca MySQL dünyada en çok kullanılan veritabanıdır ve diğer db lere göre bazı eksiklikleri olmakla birlikte yeni versiyonlarında bu eksiklikler gideriliyor.
Büyük bir iş yapmak için de DB ler konusunda en az 3-5 detaylı kitap okumalı ve bu kitapları çok iyi anlamalısınız. DB dediğin sonsuz bir dünya çünkü...
Kolay gelsin nitekim zor bir iş...
Tecrübelerime göre büyük bir işte Sybase ve ORACLE kullanmak gerekiyor.
Hepsini kullanmış ve beğeni olarak benden sıralama istersen Sybase, ORACLE, MS SQL derim.
Ayrıca MySQL dünyada en çok kullanılan veritabanıdır ve diğer db lere göre bazı eksiklikleri olmakla birlikte yeni versiyonlarında bu eksiklikler gideriliyor.
Büyük bir iş yapmak için de DB ler konusunda en az 3-5 detaylı kitap okumalı ve bu kitapları çok iyi anlamalısınız. DB dediğin sonsuz bir dünya çünkü...
Kolay gelsin nitekim zor bir iş...
SP çıksada güvenilmiyorki, SP, SP1-SP2, SP3... SP~... adı üstünde microp...önce bi SP1 çıksında sonra düşünürüz
maalum kendileri mikropsoft oluyorlar SP çıkmadan güven olmuyor kendilerine
Boşverin mikrosoft'u. En güzeli linux ve açık kaynak kodu. En azından müdahalelere açık. bu sebeple daha kolay düzenlenip geliştirilebilir. Açık kaynak kodlu yazılımlar en güvenli yazılımlardır. Bir arkadaşımız demiş zaten. 100000 kişi ile 10 kişi güvenliği aynı oranda sağlayamazlar. Ör. Linux. Ben sadece 1 tane virüs yazılabildiğini onunda her linux te çalışmadığını duymuştum. (Suse,Redhat, Debian, Fedora gibi temel linuxler özelleştirilerek, Ubuntu vb sistemler üretiliyor. Bu sebeple virüs her sistemde çalışamıyor)
Google hangi veritabanını kullanıyor acaba? bayağı kısa sürede sorgu yapabiliyor. Dünya çapında aynı anda binlerce kişinin kullandığını düşünürseniz, bahsi geçen mevzuya öyle bir veritabanı yardımcı olabilir.