Skip to content
TalosBilişim
ObservabilityApril 7, 2026· 4 min read

The engineering cost of keeping observability data in-house

Why costs become predictable when you host your own APM, and what operational load you take on in return.

T

Talos Mühendislik

Gözlemlenebilirlik Ekibi

English translation of this article is in progress — content shown below is in Turkish.

Trace, metric ve log verisini kendi veri merkezinizde tutmaya karar verdiğinizde ikinci bir üretim sistemi işletmeye de karar vermiş olursunuz. Bu sistemin de diski dolar, sürümü eskir. Diğerlerinden farkı, onlar bozulduğunda ayakta kalması gerekenin bu olmasıdır. Karar çoğu zaman verinin kurum dışına çıkmaması ya da bütçenin yıl içinde oynamaması gibi haklı gerekçelerle verilir. İşin bu tarafı konuşulmadan başlanırsa bir süre sonra elinizde kimsenin sahiplenmediği bir cluster kalır.

Maliyet öngörülebilir olur, sıfır olmaz

Yönetilen gözlemlenebilirlik hizmetlerinde ücret genellikle kullanımla ölçeklenir: host sayısı, yazılan veri hacmi, aktif seri sayısı gibi birimler üzerinden. Bu modelin iyi yanı işletme yükünü hiç almamanızdır. Zor yanı, bir deployment'ın eklediği tek bir label'ın ay sonundaki tutarı değiştirebilmesidir.

Kendi barındırdığınızda kalemler değişir: sunucu ya da ayırdığınız cluster kapasitesi, depolama ve bu sistemi ayakta tutan insanların zamanı. İlk ikisini baştan alırsınız, bu yüzden yıl içinde sürpriz yapmazlar. Üçüncüsü en çok hafife alınan kalemdir, çünkü bu iş çoğu zaman birinin asıl işinin üstüne biner.

Öngörülebilirliğin bir yan etkisi de var. Cardinality patladığında fatura büyümez, ama ingest geri basar, sorgular yavaşlar ya da veri düşer. Sınırınız artık bütçe olmaktan çıkıp kapasite olur. Bence bu makul bir takas, ama sınıra olay anında çarpmak ay sonunda fark etmekten daha can sıkıcıdır.

Depolama, saklama süresi ve cardinality

Boyutlandırmada herkes hazır bir rakam ister ve dürüst cevap, kendi verinizi ölçmeden bunun bilinemeyeceğidir. Kavram olarak hesap basit. Trace tarafında saniyedeki span sayısını ortalama span boyutuyla, sampling oranıyla, saklama süresiyle ve replica sayısıyla çarparsınız. Metric tarafında belirleyici olan aktif seri sayısı ve toplama sıklığıdır. Log tarafında günlük ham hacim, sıkıştırma oranı ve saklama süresi. Bu çarpanları tahmin etmek yerine ölçün: temsil edici birkaç servisi bir süre yazdırıp diskte ne kadar yer tuttuğuna bakmak, her tablodan daha güvenilir sonuç verir. Üstüne büyüme payı ve olay anı payı koyun, çünkü hata fırtınası sırasında servisler normalden çok daha fazla log ve hatalı span üretir.

Saklama süresini sinyal başına ayrı düşünmek gerekir. Ham trace'lere çoğunlukla olaydan sonraki günlerde bakılır, uzun tutmak pahalıdır. Metric'ler kapasite planlaması ve yıllık karşılaştırma için daha uzun süre işe yarar, eski veriyi seyrelterek tutmak maliyeti düşürür. Log'larda süreyi çoğu kurumda mühendislik ihtiyacından çok mevzuat ve iç denetim belirler. Bu kısmı kendi başınıza kararlaştırmayın, uyum ve hukuk tarafıyla birlikte yazın. Verinin kurum içinde durması da kişisel veri sorununu tek başına çözmez, log'un içine ne düştüğü ayrı bir konudur (KVKK ve observability yazısında buna değinmiştik).

Cardinality, kendi barındırılan kurulumların en sık tökezlediği yerdir. Bir metric'e kullanıcı kimliği, istek kimliği ya da ham URL yolu label olarak eklendiğinde seri sayısı kontrolsüz büyür ve bunun bedelini bellek ile index boyutu öder. Savunma iki katmanlı olmalı. Backend'de tenant ya da ekip başına seri ve ingest limiti tanımlayın ki bir ekibin hatası herkesin panelini götürmesin. Collector'da da istenmeyen attribute'ları veri depoya ulaşmadan atın. Uygulamaları OpenTelemetry SDK ile enstrümante edip her şeyi tek bir Collector katmanından geçirmenin asıl faydası burada ortaya çıkar: sampling, filtreleme ve yönlendirme uygulama koduna dokunmadan tek yerden yönetilir.

receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317
      http:
        endpoint: 0.0.0.0:4318

processors:
  memory_limiter:
    check_interval: 1s
    limit_percentage: 80
    spike_limit_percentage: 20
  batch: {}

exporters:
  otlphttp:
    endpoint: https://apm.example.internal:4318

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [memory_limiter, batch]
      exporters: [otlphttp]

memory_limiter processor zincirinin başında durmalı. Aksi halde Collector, backend yavaşladığında biriken veriyle birlikte belleği tüketip kendisi düşer. Aynı Collector'a ikinci bir exporter ekleyerek veriyi bir süre iki hedefe birden yazabilirsiniz. Mevcut bir sistemden geçiyorsanız eski ve yeni tarafı böyle yan yana çalıştırıp panelleri ve uyarıları karşılaştırmak, tek seferde geçmekten daha güvenlidir.

Sürüm yükseltme ve izlemeyi izlemek

Açık kaynak bileşenlerle kurulan bir yığında trace, metric ve log için ayrı depolar, önlerinde Collector, arkalarında nesne depolama ve bir görselleştirme katmanı bulunur. Her birinin kendi sürüm takvimi, kendi yapılandırma değişiklikleri ve zaman zaman depolama biçimi geçişleri vardır. Yükseltmeyi ertelemek kolaydır, çünkü sistem çalışıyordur. Birkaç sürüm geride kaldığınızda ise ara sürümlerden tek tek geçmeniz gerekebilir. Ben olsam yükseltmeyi takvime bağlar, üretimle aynı yapılandırmayı taşıyan küçük bir test ortamında önce orada denerim. Panelleri, uyarı kurallarını ve Collector yapılandırmasını git'te tutmak da aynı işin parçasıdır.

İzleme sisteminin kendisini kimin izleyeceği sorusu çoğu zaman en sona kalır. Yığın, izlediği cluster'ın içinde çalışıyorsa cluster gittiğinde uyarıyı gönderecek olan da gitmiştir. Bunun için ayrı bir yerde duran, küçük ve sıkıcı bir ikinci izleme yeterlidir. Buna ek olarak sürekli ateşleyen bir uyarı kuralı tanımlayıp sustuğunda haber veren bir dış mekanizmaya bağlamak gerekir (Prometheus dünyasında Watchdog adıyla bilinen yöntem).

Sonra nöbet konusu gelir. İzleme altyapısının diski dolduğunda kimin telefonu çalacak, o kişi ingest tarafını tanıyor mu, elinde yazılı bir müdahale adımı var mı?

Bizim bu alandaki ürünümüz TalosAPM metric, log ve trace'i tek panelde toplar ve kurum içinde çalışır. Bu yazıdaki işletme yükü onu kurduğunuzda da ortadan kalkmaz, yalnızca bakmanız gereken parça sayısı azalır.

Bu yolun uymadığı ekipler

Az sayıda sunucunuz varsa ve altyapıya bakan bir iki kişiyseniz, kendi APM'inizi işletmek büyük ihtimalle kazandırdığından fazla zaman alır. Verinin kurum dışında durması sizin için bir kısıt değilse yönetilen bir hizmet bu durumda daha akılcı olur. Kendi barındırılan kurulum, verinin içeride kalması bir zorunluluk olduğunda ya da hacim işletme emeğini karşılayacak kadar büyüdüğünde anlam kazanır. O noktada da yukarıdaki işlerin her birine bir sahip atamadan başlamayın. Kurulum işin kısa kısmıdır, asıl emek sonraki yıllarda harcanır.

#APM#Self-hosted#OpenTelemetry#TalosAPM#TCO