What we ran into moving from OpenShift to Rancher in the lab
The differences that surfaced around Routes, SCCs, DeploymentConfigs, ImageStreams, operators and storage while moving a set of applications from OpenShift to RKE2 in a lab.
Talos Mühendislik
Platform Ekibi
English translation of this article is in progress — content shown below is in Turkish.
OpenShift üzerinde çalışan bir uygulamanın manifest'lerini RKE2 cluster'ına kubectl apply ile gönderdiğinizde ilk hata büyük ihtimalle no matches for kind "Route" olur. Bu işin kolay tarafı, çünkü en azından hata veriyor. Asıl uğraştıranlar, OpenShift'in sizin yerinize yaptığı ve manifest'te hiç görünmeyen işler.
Biz bunu lab'de denedik: OpenShift'te çalışan bir uygulama setini Rancher ile yönetilen bir RKE2 cluster'ına taşıdık ve nerede takıldığımızı not ettik. Baştan söyleyeyim, lab üretimi birebir temsil etmiyor. Gerçek trafik yok, veri küçük, değişiklik takvimi ve onay süreci yok. O yüzden bu yazıda süre ya da efor rakamı yok, yalnızca iki platform arasındaki teknik farkların pratikte nasıl karşımıza çıktığı var.
Route'tan Ingress'e
Edge sonlandırmalı basit bir Route'un Ingress karşılığını yazmak zor değil:
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: api
spec:
ingressClassName: nginx # cluster'ınızdaki IngressClass adı
tls:
- hosts:
- api.lab.example.com
secretName: api-tls
rules:
- host: api.lab.example.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: api
port:
name: http
Fark ayrıntılarda. Route'ta sertifika vermezseniz router'ın varsayılan wildcard sertifikası kullanılır; Ingress'te secretName ile bir secret göstermeniz ya da controller'ın varsayılan sertifikasına güvenmeniz gerekir. passthrough ve reencrypt sonlandırmanın Ingress API'sinde standart bir alanı yok, karşılığı controller'a özgü annotation ya da ayarlarla kuruluyor ve bazı controller'larda passthrough'un ayrıca açılması gerekiyor. haproxy.router.openshift.io/... ile başlayan annotation'lar da hedefte bir şey ifade etmiyor. RKE2'nin birlikte geldiği ingress controller sürüme göre değişebildiği için, annotation yazmadan önce cluster'da hangisinin çalıştığına bakın.
Reencrypt kullanan servislerde bir şey daha çıktı: pod'ların TLS sertifikası OpenShift'in service CA'sından, service.beta.openshift.io/serving-cert-secret-name annotation'ı ile geliyordu. Hedefte bu annotation'ı okuyan kimse yok, secret oluşmuyor ve pod volume'u bekleyerek kalıyor.
SCC'nin manifest'te görünmeyen etkisi
En çok vakit alan yer burasıydı. OpenShift'te restricted-v2 SCC altındaki bir pod, image'daki USER ne olursa olsun namespace'e ayrılmış aralıktan bir UID ile çalışır; fsGroup da aynı şekilde atanır. Yani SCC yalnızca denetlemez, pod'u değiştirir. Upstream'deki Pod Security Admission ise yalnızca doğrular. Eksik alanı sizin yerinize doldurmaz, pod'u reddeder.
Bunun iki sonucu oldu. Namespace'e pod-security.kubernetes.io/enforce: restricted etiketini koyduğumuzda, securityContext alanı hiç yazılmamış manifest'lerin hepsi reddedildi. Şu alanları açıkça eklemek gerekti:
spec:
securityContext:
runAsNonRoot: true
seccompProfile:
type: RuntimeDefault
containers:
- name: api
securityContext:
allowPrivilegeEscalation: false
capabilities:
drop: ["ALL"]
İkincisi daha sinsi. Etiketi koymadığınız namespace'te aynı pod'lar sorunsuz ayağa kalkar, ama image'ın USER satırı root ise artık root olarak çalışırlar. Hata vermediği için gözden kaçmaya çok müsait. Volume kullanan pod'larda fsGroup atanmadığı için yazma izni hataları da gördük.
Bir de kapsam farkı var. SCC'ler RBAC üzerinden tek tek service account'lara verilebilirken PSA namespace düzeyinde çalışır. Tek bir iş yüküne istisna tanımak gibi ince kurallar için bir policy motoru gerekiyor; o tarafı Pod Security ve Kyverno yazısında anlattık.
DeploymentConfig, ImageStream ve BuildConfig
DeploymentConfig'in pod şablonu Deployment ile aynı olduğu için dönüşümün büyük kısmı mekanik: apiVersion ve kind değişir, selector düz bir map'ten matchLabels biçimine geçer. Mekanik olmayan kısım, Deployment'ta karşılığı bulunmayan özellikler. Image ve config değişikliğinde otomatik rollout başlatan trigger'lar yok; image etiketini manifest'e CI ya da GitOps aracı yazmak zorunda. pre, mid ve post lifecycle hook'ları da yok; bunları içeriğine göre init container'a, Job'a ya da kullandığınız dağıtım aracının hook mekanizmasına taşıdık. Dönüşümün mekanik kısmı otomatikleştirilebiliyor; TalosMigrate OpenShift'e özgü kaynakları hedef platforma dönüştürmek, her adımı uygulamadan önce önizletmek ve geçişten sonra fark analiziyle doğrulamak için geliştirdiğimiz araç.
ImageStream tarafında iki ayrı iş çıktı. image-registry.openshift-image-registry.svc:5000/... ile başlayan adresleri yeni registry'ye çevirmek bariz olanı. Daha az bariz olanı, local lookup açık ImageStream'lere yaslanıp image'ı yalnızca api:latest diye yazan manifest'ler: hedefte bu ad Docker Hub'da aranıyor ve pod ImagePullBackOff ile kalıyor. Ayrıca OpenShift, dahili registry için pull yetkisini service account'lara kendisi tanımlar. Hedefte ya imagePullSecrets vermek ya da RKE2 node'larında registries.yaml ile registry kimlik bilgisini tanımlamak gerekiyor.
BuildConfig'in upstream'de karşılığı yok, build cluster dışına ya da bir pipeline aracına taşınıyor. Dockerfile stratejisi kullanan build'ler kolay geçti. S2I kullananlar için Dockerfile yazdık; sonrasında build'in ne yaptığı tek dosyadan okunabiliyor.
Operator'lar ve storage
OpenShift'te operator'lar OLM üzerinden, Subscription ve OperatorGroup nesneleriyle kurulur. RKE2'de OLM hazır gelmez. Hedefe OLM kurabilirsiniz, ama biz operator'ları kendi Helm chart'larıyla kurmayı daha sade bulduk. Her iki durumda da operator'ın hedefte kurulan sürümünün CRD'leriyle mevcut custom resource'ların uyuştuğunu tek tek kontrol etmek gerekiyor.
Storage'da StorageClass adları ve arkadaki CSI sürücüsü farklı olduğu için PVC'ler yeniden bağlanmıyor, verinin taşınması gerekiyor. CSI snapshot'ları farklı storage arka uçları arasında genellikle taşınamadığından Velero'yu dosya sistemi düzeyinde yedekleme ile kullandık. Veritabanlarında ise volume kopyalamak yerine veritabanının kendi yedekleme ve replikasyon araçlarını kullanmak bence daha güvenli; tutarlılığı veritabanı sizden iyi bilir.
Lab'in göstermedikleri
Kesinti penceresi, DNS geçişi, iki cluster'ın bir süre yan yana çalışması ve geri dönüş planı gibi konular lab'de anlamlı biçimde sınanamıyor. EgressIP gibi CNI'a bağlı özelliklere de girmedik; karşılığı hedefte seçtiğiniz CNI'a göre değişiyor. Bunları gerçek trafik ve gerçek veriyle, hedef ortamın kendi kısıtları içinde ayrıca denemek gerekiyor.