Dengesiz Veri Ambarları İçin Düşük Maliyetli ve Yüksek Performanslı Veri Tabanı Sistemi Çözümleri

Abstract

1970'lerden itibaren RDBMS veritabanları, yalnızca OLTP sistemlerinde değil, aynı zamanda analitik sistemlerde de en yaygın kullanılan veritabanı türü olmuştur. Bu durum, hem teknik faktörler hem de veritabanı sistemlerinin ihtiyaçlara göre tarihsel gelişimiyle açıklanabilir. 1980'lerden önce analitik ihtiyaçlar doğrudan OLTP sistemleri üzerinden karşılanıyordu. Ancak 1980'lerden sonra, Inmon ve Kimball modelleri temel alınarak analitik veritabanları geliştirildi. Bu modeller, geleneksel 3NF modeline alternatif olarak ortaya çıktı ve OLTP sistemlerinden bağımsız, farklı platformlarda çalışan sistemler haline geldi. Kolon bazlı veritabanı uygulamaları 1969'dan itibaren var olmasına rağmen [1,2], son 15 yıla kadar yaygınlaşmamıştır. Bu veritabanlarının giderek daha fazla tercih edilmesinin temel nedeni, verinin olağanüstü boyutlara ulaşması ve hızla artmaya devam etmesidir. Mimari yapıları sayesinde, özellikle veri ambarı (DWH) çözümlerinde daha başarılı sonuçlar sunmaktadırlar. Bu tezde öncelikle, kolon bazlı veritabanlarının RDBMS sistemlerinden daha başarılı olup olmadığını inceleyeceğiz. Eğer daha başarılılarsa, ne ölçüde daha iyi performans sunduklarını, hangi koşullarda avantaj sağladıklarını ve en önemlisi, bu üstün performansın temel nedenlerini araştıracağız. İkinci olarak, bu karşılaştırmanın maliyet boyutuna odaklanacağız. Çalışmamız, kolon bazlı veritabanlarının iş dünyasında nasıl uygulanabileceğini de göz önünde bulundurmaktadır. Bu nedenle, maliyetlerini RDBMS sistemleriyle kıyaslayacağız. Performans artışı ile maliyet arasında bir korelasyon olmalıdır; ideal senaryoda, kolon bazlı veritabanları sadece daha iyi performans sunmakla kalmayıp, aynı zamanda RDBMS sistemlerine kıyasla daha düşük maliyetli olmalıdır. Eğer bu mümkünse, en iyi seçenek bu olacaktır. Bir diğer önemli konu ise, gerçek bir veri ambarı (DWH) uygulaması üzerinde inceleme yaparak, teorik sonuçların iş dünyasındaki istisnalar nedeniyle doğrulanmasının zor olduğu durumları anlamaktır. Bu nedenle, Star Schema Benchmark (SSBM) [3] yerine, bir GSM şirketinin boyutsal modelleme (özellikle takımyıldızı/galaksi alt tipi) kullanan veri ambarı üzerinde çalışarak karşılaştırma yapacağız. Anahtar Kelimeler: (Kolon, database, RDBMS, DWH, MPP) Bilim Dalı Sayısal Kodu: 92432Since the 1970s, RDBMS databases have been the dominant choice, not only for OLTP systems but also for analytical applications. This dominance is driven by both technical factors and the historical evolution of database systems based on emerging needs. Before the 1980s, analytical requirements were primarily handled directly through OLTP systems. However, after the 1980s, analytical databases emerged as standalone systems based on Inmon and Kimball models, offering an alternative to the traditional 3NF approach and operating on separate platforms. Although columnar database applications have existed since as early as 1969 [1,2], they did not gain significant popularity until the last 15 years. Their growing adoption is largely due to the exponential increase in data volume, which continues to expand rapidly. Thanks to their unique architecture, columnar databases have demonstrated superior performance in data warehouse (DWH) solutions. This thesis first investigates whether columnar databases outperform traditional RDBMS systems. If they do, we aim to determine the extent of their superiority, the conditions under which they perform better, and the key factors contributing to their improved performance. Secondly, we address the cost aspect of this comparison. Since our research is concerned with real-world business applications, we will evaluate the financial implications of using columnar databases compared to RDBMS solutions. There should be a correlation between their cost and performance gains; ideally, columnar databases would not only offer better performance but also come at a lower cost than RDBMS, which would be the preferable outcome if achievable. Another critical aspect of our study is examining a real-world DWH implementation to ensure a practical and comprehensive comparison. In business environments, various exceptions and complexities make it difficult to validate theoretical results. To address this, we analyze a GSM company's DWH, which utilizes dimensional modeling (specifically the constellation/galaxy subtype) rather than relying solely on the Star Schema Benchmark (SSBM) [3]. Keywords: (Columnar, RDBMS, database, DWH, MPP) Numeric Code of the Field: 92432