Çok cluster'lı GitOps'ta Argo CD ile Flux arasında seçim yapmak
Argo CD ve Flux'un birden fazla cluster'ı yönetirken ayrıştığı yerler: kimlik bilgisinin nerede durduğu, Helm'i nasıl işledikleri ve tenant modeli.
Talos Mühendislik
Platform Ekibi
Tek cluster'da Argo CD ile Flux arasındaki fark büyük ölçüde zevk meselesi. İkisi de Git'teki manifest'i cluster'a uygular, sapmayı düzeltir, Helm ve Kustomize ile çalışır. Asıl fark cluster sayısı arttığında ortaya çıkıyor ve çoğu karşılaştırmanın öne koyduğu "birinin arayüzü var, ötekinin yok" meselesinden daha derinde duruyor.
Kimlik bilgisi ve ağ yönü
Argo CD'nin yaygın kurulumunda tek bir yönetim cluster'ı vardır ve öteki cluster'lar ona kaydedilir. argocd cluster add hedef cluster'da bir service account açar, onun token'ını yönetim cluster'ında bir secret olarak saklar. Bundan sonra bütün uygulama işlemleri merkezden hedefe doğru gider.
# Argo CD: merkez, hedef cluster'ın API server'ına bağlanır
argocd cluster add prod-eu-1 --name prod-eu-1 --label env=prod
# Flux: her cluster kendi dizinini repodan kendisi çeker
flux bootstrap github --owner=example-org --repository=fleet \
--path=clusters/prod-eu-1
Bu modelin getirisi açık. Bütün cluster'ların durumunu tek ekranda görürsünüz, ApplicationSet'in cluster generator'ı sayesinde yeni kaydettiğiniz bir cluster'a doğru etiketi vermeniz platform stack'inin oraya kurulması için yeter. Bedeli iki tane. Yönetim cluster'ı bütün hedeflerin API server'ına ağ üzerinden erişebilmeli, ki bu şube, fabrika ya da müşteri ağındaki cluster'larda her zaman mümkün olmaz. Ayrıca o cluster, çoğu kurulumda çok geniş yetkili token'ların hepsini bir arada tutar. Orayı ele geçiren her yeri ele geçirir, bu yüzden yönetim cluster'ını üretimdeki en hassas sistem gibi korumanız gerekir. Yük tarafında application-controller cluster'lara göre shard edilebiliyor, ama izlenen kaynak sayısı büyüdükçe merkezin belleğini ve Git/manifest üretim yükünü ayrıca planlamak gerekiyor.
Flux'ta controller'lar her cluster'ın içinde çalışır ve kendi yapılandırmasını Git'ten ya da bir OCI registry'den kendisi çeker. Dışarıdan içeriye açık bir bağlantı gerekmez, cluster'ın repoya çıkabilmesi yeterlidir. Merkezde saklanan bir kimlik bilgisi olmadığı için tek noktadan hepsini kaybetme riski de yoktur. Merkez erişilemez olsa bile her cluster elindeki son durumu korumaya devam eder.
Bunun karşılığında merkezi görünümü kaybedersiniz. "Hangi cluster hangi commit'te, hangisinde reconcile hata veriyor" sorusunun cevabını Flux hazır vermez. Her cluster'ın metriklerini toplayıp notification-controller'ın uyarılarını bir yere yönlendirerek o tabloyu kendiniz kurarsınız. Üçüncü parti arayüzler var; hazır bir arayüz sizin için önemliyse Argo CD bu konuda daha kapsamlı.
Bu ayrım mutlak sayılmaz. Argo CD'yi her cluster'a ayrı kurabilirsiniz, o zaman tek ekranı kaybedersiniz. Flux da Kustomization ve HelmRelease içindeki kubeConfig alanıyla uzak cluster'a uygulayabilir, o zaman Argo CD'nin merkezde kimlik bilgisi biriktirme sorununu devralırsınız. Yine de araçların varsayılan yönü farklı ve ekipler çoğunlukla varsayılanla yaşar.
Helm'e yaklaşım farkı
Geçiş planlarında en çok gözden kaçan fark bu. Argo CD bir Helm chart'ını şablon olarak işler: manifest'leri üretir ve kendi sync mekanizmasıyla uygular. Cluster'da bir Helm release kaydı oluşmaz, helm list boş döner, Helm hook'ları Argo CD'nin kendi hook'larına eşlenir. Flux'un helm-controller'ı ise gerçek bir Helm kurulumu yapar. Release kaydı cluster'da durur, yükseltme başarısız olursa Helm'in kendi rollback'i devreye girebilir, helm test çalıştırılabilir.
İkisi de savunulabilir. Argo CD'nin yolu her şeyi aynı diff ve sync modeline indirger. Flux'un yolu chart yazarının varsaydığı davranışa daha yakındır, lookup kullanan ya da hook sırasına güvenen chart'larda daha az sürpriz çıkarır. Bir araçtan ötekine geçerken "manifest'ler zaten aynı" demek Kustomize için aşağı yukarı doğru, Helm ile kurulan uygulamalar içinse her birini ayrıca denemeniz gerekir.
Tenant modeli ve image güncelleme
Argo CD'de ekipleri ayırmanın aracı AppProject. Bir projeye hangi repolardan, hangi cluster ve namespace'lere, hangi kaynak türlerinin kurulabileceğini yazarsınız, SSO gruplarını da proje rollerine bağlarsınız. Model Argo CD'ye özgü ama tek yerde ve okunaklı.
Flux ayrı bir yetki modeli getirmez, Kubernetes RBAC'ine yaslanır. Her tenant'ın Kustomization nesnesi spec.serviceAccountName ile belirli bir service account adına uygulanır, o hesabın yetkisi neyse tenant'ın yapabileceği odur. Bunun gerçekten bir sınır oluşturması için controller'ları --no-cross-namespace-refs ve --default-service-account bayraklarıyla çalıştırmanız gerekir, varsayılan kurulumda bu kilitler açık gelir. Öğrenecek yeni bir kavram yok, ama kuralların dağınık durduğunu kabul etmek lazım.
Image güncellemesi çoğu yazıda Flux'un hanesine yazılıyor. Flux'un image-reflector ve image-automation controller'ları registry'yi izleyip yeni tag'i Git'e commit eder. Argo CD tarafında aynı işi ayrı bir proje olan Argo CD Image Updater yapıyor. Dolayısıyla bu tek başına belirleyici bir fark sayılmaz. Bence iki durumda da tag'i CI'ın bir pull request ile güncellemesi daha izlenebilir bir yol, çünkü neyin neden değiştiği kod incelemesinden geçer.
Ben olsam şöyle karar verirdim. Cluster'lar aynı ağda, aynı ekibin elindeyse ve uygulama ekipleri durumu bir arayüzden görmek istiyorsa Argo CD'yi merkezi kurar, yönetim cluster'ının güvenliğine ciddi emek ayırırdım. Bu durumda Application'ları düzenlemek için app-of-apps deseni iyi bir başlangıç. Cluster'lar farklı ağlara dağılmışsa, bir kısmına dışarıdan erişilemiyorsa ya da merkezde o kadar yetki biriktirmek güvenlik ekibini rahatsız ediyorsa Flux'un çekme modeli daha az sürtünme çıkarır. Hangisini seçerseniz seçin, geçiş döneminde aynı kaynağı iki aracın birden yönetmesine izin vermeyin. İkisi de kendi bildiği durumu doğru kabul eder ve birbirinin değişikliğini geri alır.