Where the difference between blue-green and canary shows up in practice
Rollback, database changes and traffic control under both strategies, with an Argo Rollouts example.
Talos Mühendislik
Platform Ekibi
English translation of this article is in progress — content shown below is in Turkish.
Kubernetes'in varsayılan rolling update'i çoğu servis için yeterlidir: pod'lar sırayla yenilenir, readiness probe'u geçmeyen pod trafik almaz. Yetmediği yer, pod'un hazır görünmesiyle sürümün doğru çalışmasının birbirinden ayrıldığı durumlar. Yeni sürüm ayağa kalkar, probe'a 200 döner ve her onuncu ödeme isteğinde hata verir. Rolling update bunu fark etmeden bütün pod'ları değiştirir. Blue-green ve canary bu boşluğa iki ayrı yerden yaklaşıyor.
Blue-green'de geçiş anı
Blue-green'de yeni sürümü eskisinin yanına tam kapasiteyle kurarsınız. Eski sürüm trafiği taşımaya devam ederken yenisine ayrı bir adresten erişip testlerinizi koşarsınız, sonra trafiği tek hamlede çevirirsiniz. Kubernetes'te bunun en yalın hali Service'in selector'ını değiştirmektir.
Çekici tarafı sadeliği. Belirli bir anda kullanıcıların hepsi tek sürümü görür, rollback de aynı anahtarı geri çevirmektir. Bedeli, geçiş süresince iki katı kapasite ayırmanız. Cloud'da bu kısa süreli bir fatura kalemi, kendi veri merkezinizde ise node'larda o kadar boş yer bulunması demek.
Anında rollback sözünün iki koşulu var. Eski ReplicaSet hâlâ ayakta olmalı; Argo Rollouts geçişten sonra eskisini scaleDownDelaySeconds kadar bekletip kapatır ve varsayılan değer otuz saniyedir, gerçek bir geri dönüş penceresi istiyorsanız bunu uzatmanız gerekir. İkinci koşul veriyle ilgili: trafiği eski sürüme geri çevirdiğinizde, yeni sürümün o arada yazdığı kayıtlar yerinde durur ve eski kod onlarla karşılaşır.
Geçiş anının kendisi de sanıldığı kadar keskin olmaz. Uzun ömürlü bağlantılar (WebSocket, gRPC stream, bağlantı havuzu tutan istemciler) selector değişince kendiliğinden yeni pod'lara taşınmaz, eski pod kapanana kadar eski sürümle konuşmaya devam eder.
Canary'de neyi ölçtüğünüz
Canary yeni sürümü trafiğin küçük bir dilimine açar, bakar, dilimi büyütür. Risk o dilimle sınırlı kalır ve iki kat kapasite gerekmez. Karşılığında iki sürüm uzun süre yan yana çalışır ve "bakar" kısmının birisi ya da bir şey tarafından gerçekten yapılması gerekir.
Trafiği yüzdeyle bölmek için bir yönlendirme katmanı şart: ingress controller, service mesh ya da Gateway API. Bu yoksa Argo Rollouts ağırlığı pod sayısı oranıyla yaklaşık olarak tutturur ve on replica'lı bir serviste yüzde beşi elde edemezsiniz.
Argo Rollouts'ta strateji Rollout kaynağının spec.strategy alanında tanımlanır, kaynağın geri kalanı bir Deployment'la aynıdır:
strategy:
canary:
canaryService: odeme-api-canary
stableService: odeme-api-stable
trafficRouting:
nginx:
stableIngress: odeme-api
steps:
- setWeight: 5
- pause: {duration: 10m}
- analysis:
templates:
- templateName: basari-orani
args:
- name: service-name
value: odeme-api-canary
- setWeight: 25
- pause: {duration: 10m}
- setWeight: 50
- pause: {}
Sondaki pause: {} süresizdir, biri kubectl argo rollouts promote odeme-api diyene kadar bekler. Aradaki analysis adımı ise bakma işini insandan alır:
apiVersion: argoproj.io/v1alpha1
kind: AnalysisTemplate
metadata:
name: basari-orani
spec:
args:
- name: service-name
metrics:
- name: basari-orani
interval: 1m
count: 5
failureLimit: 1
successCondition: result[0] >= 0.99
provider:
prometheus:
address: http://prometheus.monitoring.svc:9090
query: |
sum(rate(http_requests_total{service="{{args.service-name}}",status!~"5.."}[5m]))
/
sum(rate(http_requests_total{service="{{args.service-name}}"}[5m]))
Analiz başarısız olursa rollout iptal edilir ve trafik stable sürüme döner. Sorgudaki metrik ve label adları örnek, kendi metriklerinizde başka adlarla duruyor olabilir.
Bu şablonda asıl düşünülmesi gereken eşik ve trafik hacmi. Eşiği kafadan yazmak yerine servisin SLO'sundan türetmek gerekir; SLO ve SLI tasarımı yazısı bunun için iyi bir başlangıç. Canary'ye düşen trafik azsa oran anlamını yitirir: dakikada üç istek alan bir dilimde tek hata analizi düşürür, hiç istek gelmezse sorgu boş döner ve analiz hataya düşer. Düşük trafikli servislerde canary'nin verdiği güven çoğu zaman istatistiksel olarak karşılıksızdır. Orada blue-green ve geçiş öncesi iyi bir smoke test bence daha dürüst bir seçim.
Canary'nin kapsamadığı işler de var. Trafik bölme yalnızca istek alan kısmı ilgilendirir. Aynı image'dan çalışan kuyruk tüketicileri, zamanlanmış işler ve migration'lar yüzdeyle bölünmez; yeni sürümün consumer'ı ayağa kalktığı anda kuyruktan payına düşeni almaya başlar.
İkisinin de çözmediği veritabanı şeması
Şema değişikliği genellikle blue-green'in zayıf noktası olarak anlatılır, oysa canary'de de iki sürüm aynı veritabanına yazar, üstelik daha uzun süre. İki stratejide kural aynı: şema değişikliği bir önceki uygulama sürümüyle çalışmaya devam edecek biçimde yapılır.
Kolon eklerken önce nullable eklenir, uygulama yeni kolonu yazmaya başlar, eski veriler doldurulur, kısıt en son konur. Kolon silerken sıra tersine döner: önce kodun o kolonu okumayı bıraktığı sürüm yayılır, kolon bir sonraki sürümde düşer. Tek rollout'ta hem kolonu yeniden adlandırıp hem kodu değiştirmeye kalkarsanız seçtiğiniz stratejinin önemi kalmaz, rollback zaten çalışmayacaktır.
Servis başına karar
Yoğun trafik alan, metrikleri düzgün toplanan ve hata oranı anlamlı ölçülebilen servislerde ben canary'yi tercih ederim, çünkü sorunu kullanıcıların küçük bir kısmı görürken yakalar. Trafiği az olan, istemcileri iki sürümü aynı anda görmeye dayanamayan ya da geçiş öncesi elle doğrulama isteyen servislerde blue-green daha az iş çıkarır. Aynı kurumda ikisinin birden kullanılması olağan.
Argo Rollouts'u kurmak, izlemek ve Deployment'ları Rollout'a çevirmek ayrı bir iş kalemi. Rolling update'in yettiği servislere bu yükü bindirmeyin.