Cilium ile Calico arasında seçim yaparken bakılacak yerler
İki CNI'ın veri yolu, policy modeli, BGP desteği ve işletme yükü açısından nerede ayrıştığı ve hangi koşulda hangisinin daha az sürpriz çıkardığı.
Talos Mühendislik
Platform Ekibi
CNI kararı cluster kurulurken birkaç dakikada verilir, sonra yıllarca onunla yaşanır. Çalışan bir cluster'da CNI değiştirmek mümkün (Cilium belgelerinde node node ilerleyen bir geçiş yöntemi anlatılıyor), ama bakım penceresi ve yeniden yazılacak policy'ler düşünüldüğünde kimsenin gönüllü olacağı bir iş sayılmaz. Cilium da Calico da olgun projeler ve ikisi de Kubernetes NetworkPolicy'yi uygular. Kurulum aracının varsayılanını kabul etmeden önce ayrıştıkları yerlere bakmaya değer.
Paketin kernel'de izlediği yol
Cilium baştan eBPF üzerine kuruldu. Pod'un ve node'un ağ arayüzlerine eBPF programları bağlar; policy kararı, servis yük dengelemesi ve NAT bu programların içinde, map'lere bakılarak verilir. İsterseniz kube-proxy'yi hiç kurmaz, servis yönlendirmesini de Cilium'a bırakırsınız.
Calico'da veri yolu bir seçimdir. Yıllardır kullanılan standart yol iptables üzerinden gider. Yeni sürümlerde nftables seçeneği eklendi, ayrıca Calico'nun kendi eBPF veri yolu var ve o da kube-proxy'nin yerini alabiliyor. "Cilium eBPF kullanır, Calico iptables" diye yapılan ayrım bu yüzden artık eksik kalıyor.
iptables'ın bilinen sınırı, kuralların zincir halinde sırayla değerlendirilmesi ve servis ile policy sayısı arttıkça kural kümesini güncellemenin ağırlaşmasıdır. eBPF aynı işi tablo aramasıyla yapar. Bunun uygulamanızın gecikmesine ne kadar yansıyacağı kernel sürümüne, ağ kartına, encapsulation'a ve trafiğin şekline bağlı; fark sizin için önemliyse internetteki grafikler yerine kendi yükünüzle ölçün. Orta büyüklükte bir cluster'da veri yolu çoğu zaman ilk darboğaz olmaz.
eBPF'in bedeli kernel bağımlılığı. Cilium her sürümde asgari bir kernel sürümü ister, bazı özellikler daha yenisini gerektirir. Eski bir kurumsal dağıtımda çalışan node'larınız varsa önce belgedeki o tabloya bakın.
Policy'nin yazılış biçimi
Kubernetes'in kendi NetworkPolicy kaynağında deny kuralı ve kural sırası yoktur; yalnızca izin verirsiniz, gerisi kapalı kalır. İki proje de bunun üstüne kendi CRD'lerini koyuyor ve karakterleri burada belli oluyor.
Calico'nun NetworkPolicy ve GlobalNetworkPolicy kaynakları güvenlik duvarı yönetmiş birine tanıdık gelir. Kuralların sırası (order) vardır, Allow yanında Deny, Log ve Pass eylemleri bulunur, aynı policy'yi node'un kendi arayüzlerine de uygulayabilirsiniz.
Cilium kimlik üzerinden çalışır. Pod'un label kümesinden sayısal bir kimlik türetir ve policy'yi IP adresi yerine bu kimliğe göre uygular. Asıl fark katman 7'de çıkıyor. CiliumNetworkPolicy ile HTTP method'una ve path'ine, DNS adına göre kural yazabilirsiniz:
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
name: siparis-api-okuma
namespace: siparis
spec:
endpointSelector:
matchLabels:
app: siparis-api
ingress:
- fromEndpoints:
- matchLabels:
app: web
toPorts:
- ports:
- port: "8080"
protocol: TCP
rules:
http:
- method: GET
path: "/api/v1/siparisler.*"
Bu kural aynı namespace'teki web pod'larının siparis-api'ye yalnızca GET ile ve yalnızca o path altında erişmesine izin verir (path bir düzenli ifadedir). Kurala uymayan istek ağ düzeyinde düşürülmez, proxy'den 403 döner. L7 kuralı yazdığınız anda o trafik node üzerindeki Envoy proxy'den geçmeye başlar. Bunun gecikmeye ve belleğe bir maliyeti var, o yüzden L7 kuralını gerçekten ihtiyaç duyan birkaç yola yazmak bence daha sağlıklı. Calico'nun açık kaynak sürümünde de uygulama katmanı policy'si bulunuyor, ancak kapsamı daha dar; sizin için belirleyiciyse güncel belgeye bakın.
Dışarıya sabit kaynak IP ile çıkmak (karşı tarafın güvenlik duvarında IP'nize izin verilecekse) sık gelen bir başka ihtiyaç. Cilium açık kaynak sürümde egress gateway sunuyor, yüksek erişilebilir biçimi ticari sürümde. Calico'da egress gateway Tigera'nın ticari ürünlerinde yer alıyor. Lisans sınırları sürümle oynadığı için bunu da doğrulayın.
BGP ve fiziksel ağ
Kendi veri merkezinizde çalışıyorsanız pod IP'lerinin ağın geri kalanından doğrudan erişilebilir olmasını isteyebilirsiniz. Calico bu işi uzun zamandır yapıyor: node'lar BGP konuşur, raf üstü switch'lerle peer olur, pod ağını encapsulation olmadan duyurur. Encapsulation olmadığı için ağ ekibi pod'ları sıradan yönlendirilen adresler olarak görür.
Cilium'un da BGP control plane'i var; pod CIDR'larını ve LoadBalancer IP'lerini duyurmak için yeterli. Calico'nunkine göre daha genç olduğundan, karmaşık bir peering topolojiniz varsa önce laboratuvarda denemenizi öneririm.
Görünürlük ve işletme yükü
Cilium'la birlikte gelen Hubble akış düzeyinde görünürlük sağlar: hangi pod hangi pod'la konuştu, hangi policy kararıyla, L7 açıksa hangi HTTP isteğiyle. Paket yakalama aracı sayılmaz, paketin içeriğini göstermez. Yine de bir isteğin neden yerine ulaşmadığını çoğu zaman tek komutla gösterir:
hubble observe --namespace siparis --verdict DROPPED
Cilium'un service mesh özellikleri de sık anılıyor. Servisler arası karşılıklı kimlik doğrulamanın olgunluk düzeyini belgeden kontrol edin; Cilium kurunca Istio'nun mTLS'ine gerek kalmayacağı varsayımıyla yola çıkmayın.
İşletmede Cilium'un hareketli parçası daha fazla: agent, operator, kullanıyorsanız Envoy ve Hubble bileşenleri. Sorun çıktığında bakacağınız yer de değişiyor; iptables-save çıktısını okumaya alışkın bir ekip eBPF map'lerini ve Cilium'un kendi araçlarını öğrenmek zorunda kalır.
Seçerken ağır basanlar
Ağ ekibiyle BGP üzerinden konuşan ve policy'yi güvenlik duvarı mantığıyla yöneten bir kurumda ben olsam Calico'yu seçerdim; Windows node'u olan cluster'larda da Calico'nun desteği işi kolaylaştırır. L7 policy'ye ya da akış görünürlüğüne gerçekten ihtiyaç duyan, node'larında güncel kernel çalıştıran ve yeni bileşenleri öğrenmeye vakit ayırabilecek bir ekipte Cilium'u seçerdim. Arada kaldıysanız ekibinizin gece üçte hangisinde daha hızlı sorun bulacağını düşünün.
Hangisini seçerseniz seçin varsayılan kapalı bir NetworkPolicy düzenini ilk günden kurmak, sonradan eklemekten çok daha ucuzdur; bunun namespace açılırken otomatik üretilmesini Kyverno yazısında anlattım.