İçeriğe geç
TalosBilişim
Veritabanı21 Nisan 2026· 3 dk okuma

Sorgu fingerprint'i ile yavaş sorgu ailelerini bulmak

Sorgu normalizasyonunun nasıl çalıştığı, pg_stat_statements ve pt-query-digest'in bunu nasıl yaptığı ve fingerprint'e bakarken nelerin gözden kaçabileceği.

T

Talos Mühendislik

Veritabanı Ekibi

Slow query log'una bakıp en uzun süren sorguyu düzeltmek tatmin edicidir ama çoğu zaman yanlış sorguyu düzeltirsiniz. Günde bir kez çalışan kırk saniyelik bir rapor sorgusu, saniyede yüzlerce kez çalışan beş milisaniyelik bir sorgudan çok daha az veritabanı zamanı harcar. İkincisini log'da göremezsiniz, çünkü tek tek hiçbiri yavaş değildir ve her biri farklı bir müşteri numarasıyla geldiği için metin olarak da birbirine benzemez.

SELECT * FROM orders WHERE customer_id = 12345 AND status = 'shipped';
SELECT * FROM orders WHERE customer_id = 67890 AND status = 'pending';

Bu iki satır veritabanı açısından aynı iştir. Fingerprint, sorgudaki sabit değerleri yer tutucuyla değiştirip geriye kalan iskelete bir kimlik vermekten ibarettir. İskelet aynıysa kimlik aynıdır ve istatistikler o kimlik altında toplanır.

Normalizasyonun iki yolu

Birinci yol metin üzerinde çalışmaktır. Percona Toolkit'teki pt-query-digest sorguyu küçük harfe çevirir, yorumları atar, sayı ve string sabitlerini ? ile değiştirir, boşlukları teke indirir ve ortaya çıkan metnin hash'ini alır. IN (1, 2, 3) ile IN (10, 20) ayrı ailelere düşmesin diye IN listelerini eleman sayısından bağımsız olarak in(?+) biçimine indirger. Veritabanına dokunmadan, yalnız log dosyasıyla çalışabilmesi güzel yanıdır. Zayıf yanı sorguyu anlamamasıdır: aynı sorgunun yalnız takma adı farklı yazılmış iki hali ayrı fingerprint alır.

İkinci yol veritabanının kendi parser'ına yaslanmaktır. PostgreSQL'de pg_stat_statements sorgunun parse ve analiz aşamasından çıkan ağacını sabitleri atlayarak özetler ve buna queryid der. Boşluk, büyük-küçük harf, yorum farkları kendiliğinden kaybolur. Karşılığında queryid tabloların iç kimliğine bağlıdır: aynı metin farklı schema'lardaki aynı adlı tablolara giderse farklı değer üretir ve bu değer sunucular ya da major sürümler arasında taşınabilir bir kimlik sayılmaz.

Diğer veritabanlarında da aynı fikrin karşılığı var. MySQL, Performance Schema'daki events_statements_summary_by_digest tablosunda DIGEST ve DIGEST_TEXT tutar. Oracle'da SQL_ID sorgu metninin birebir hash'idir, yani bind variable kullanmayan bir uygulamada her sabit yeni bir SQL_ID demektir; yalnız sabitleri farklı olan sorguları bir araya getiren alan V$SQL içindeki FORCE_MATCHING_SIGNATURE kolonudur.

PostgreSQL'de pratikte

pg_stat_statements bir extension olarak gelir ama shared_preload_libraries içine eklenip sunucu yeniden başlatılmadan çalışmaz. Ardından ilgili veritabanında CREATE EXTENSION pg_stat_statements; yeterlidir. En çok zaman harcayan aileler:

SELECT queryid,
       calls,
       round(total_exec_time::numeric, 1) AS total_ms,
       round(mean_exec_time::numeric, 2)  AS mean_ms,
       query
FROM pg_stat_statements
ORDER BY total_exec_time DESC
LIMIT 10;

Kolon adları PostgreSQL 13 ve sonrası içindir. Sıralamayı toplam süreye göre yaptım; ortalamaya göre sıralarsanız yine o günde bir çalışan rapor sorgusunu bulursunuz.

Görünümdeki sayılar son sıfırlamadan beri biriken toplamlardır. Bir ailenin geçen haftaya göre yavaşlayıp yavaşlamadığını görmek için görünümün düzenli aralıklarla kopyasını alıp iki kopya arasındaki farka bakmanız gerekir. Bunu birkaç satırlık bir cron işiyle kendiniz yapabilirsiniz, hazır araçlar da var; TalosDB de bu alanda çalışan ürünlerden biri.

Fingerprint'in göstermedikleri

Fingerprint hangi aileye bakmanız gerektiğini söyler, neden yavaş olduğunu söylemez. pg_stat_statements plan saklamaz. Bir ailenin ortalama süresi bir haftada on katına çıktıysa olağan şüpheliler değişen plan, eskimiş istatistik ya da kaybolan bir index'tir, ama doğrulamak için plana ihtiyacınız var. auto_explain modülünü makul bir auto_explain.log_min_duration eşiğiyle açmak bu boşluğu doldurur, bedeli log hacmidir.

Normalizasyonun attığı sabitler bazen meselenin ta kendisidir. status = 'shipped' tablonun büyük kısmını, status = 'pending' birkaç satırı getiriyorsa bu ikisi aynı fingerprint altında çok farklı planlarla çalışır ve ortalama süre ikisini de anlatmaz. Burada stddev_exec_time ve max_exec_time kolonları işe yarar: ortalaması düşük ama sapması yüksek bir aile, parametreye göre davranışı değişen bir sorguya işaret eder.

Görünümün bir de kapasitesi vardır. pg_stat_statements.max varsayılan olarak 5000 kayıt tutar, dolunca en az çalıştırılanlar atılır. ORM'in dinamik olarak ürettiği binlerce farklı sorgu biçimi ya da çoğu sürümde her biri ayrı kayıt açan değişken uzunluktaki IN listeleri bu sınırı hızla doldurur ve seyrek çalışan sorguların istatistikleri sessizce kaybolur. pg_stat_statements_info görünümündeki dealloc sayacı sürekli artıyorsa sınırı yükseltmenin zamanı gelmiştir.

#Database#Performance#TalosDB#SQL