LLM Parametrelerini Anlama: Sıcaklık (Temperature), Top-p ve Maksimum Belirteç (Max Tokens) Kılavuzu
Bugün, Büyük Dil Modelleri (Large Language Models - LLM'ler) ve bunların üzerine inşa edilmiş yapay zeka destekli ajanlar (agent'lar), Doğal Dil İşleme (Natural Language Processing - NLP) alanındaki çığır açan gelişmelerin ön saflarında yer almaktadır. Bu güçlü araçların başarısı, büyük ölçüde model parametrelerinin ve arama konfigürasyonlarının hassas bir şekilde ayarlanmasına bağlıdır. Geliştiriciler ve kullanıcılar, bu parametreleri yöneterek LLM ajanlarının yaratıcılığı, yanıt uzunluğunu, yanıt çeşitliliğini ve bilgi getirme süreçlerinin verimliliğini etkili bir şekilde kontrol edebilirler.
LLM'lerin performansını en üst düzeye çıkarmak, yalnızca modelin ham gücünden daha fazlasını gerektirir; aynı zamanda belirli kullanıcı ve uygulama ihtiyaçlarına göre ince ayar yapılmasına da bağlıdır. Bu durum özellikle, optimum parametre yapılandırmasının çok önemli bir rol oynadığı Bilgi Getirmeyle Güçlendirilmiş Üretim (Retrieval-Augmented Generation - RAG) sistemleri ve sohbet ajanları gibi gelişmiş uygulamalarda kritik bir öneme sahiptir. Bu bağlamda, Sıcaklık (Temperature), Top-p ve Frekans Cezası (Frequency Penalty) gibi temel hiperparametrelerin matematiksel temellerini anlamak ve aralarındaki etkileşimleri doğru yorumlamak esastır.
Yaratıcılık (Sıcaklık / Temperature)
Sıcaklık (Temperature) parametresi, büyük dil modelleri tarafından metin üretimi sırasında uygulanan rastgelelik derecesini belirler. Teknik olarak bu parametre, softmax fonksiyonunda kullanılan logit değerleri üzerinde bir ölçeklendirme faktörü görevi görür ve τ (tau) sembolü ile gösterilir.
τ (sıcaklık) değeri düştükçe, model daha kesin ve belirlenmiş (deterministik) çıktılar üretme eğiliminde olur. Tersine, τ değeri arttıkça, modelin tahmin olasılıkları daha eşit bir şekilde dağılır ve bu da daha düşük olasılıklı kelimelerin seçilme şansını artırır.
Düşük sıcaklık değerlerinde model oldukça deterministik davranır. Bu gibi durumlarda genellikle en olası kelimeleri seçerek tutarlı ve tahmin edilebilir yanıtlar üretir. Bu özellik, düşük sıcaklık ayarlarını teknik yazım, kod tamamlama veya matematiksel problemleri çözme gibi yüksek doğruluk gerektiren görevler için ideal hale getirir.
Yüksek sıcaklık değerleri, modeli daha yaratıcı ve beklenmedik seçimler yapmaya teşvik eder. Bu değerler olasılık dağılımını düzleştirerek, daha az olası kelimelerin seçilme ihtimalini artırır. Sonuç olarak, üretilen metin daha çeşitli ve yenilikçi hale gelir; ancak mantıksal olarak daha az tutarlı olma potansiyeline de sahiptir. Yüksek sıcaklık ayarları yaratıcı yazarlık, şiir yazma veya beyin fırtınası etkinlikleri için son derece uygundur.
Sıcaklık ayarlarının pratik etkileri:
Çok Düşük Sıcaklık: Bu modda model, her adımda en olası kelimeyi seçen ve açgözlü kod çözme (greedy decoding) olarak bilinen yöntemi kullanarak çalışır. Örneğin, modele “Hava çok sıcak, bu yüzden ben de...” şeklinde bir yönlendirme yapıldığında, model neredeyse her zaman yaklaşık %98 olasılıkla “klimayı açtım” gibi bir yanıt verecektir. Bu tür bir kullanım, tutarlılık ve güvenilirliğin kritik olduğu müşteri hizmetleri chatbot'ları için idealdir.
Orta Sıcaklık: Bu, birçok modern model için varsayılan ayardır ve orijinal olasılık dağılımını korur. Tutarlı ancak aşırı derecede tahmin edilebilir olmayan yanıtlar üreterek bir denge kurar. Orta sıcaklık, hem akıcılık hem de tutarlılık sunarak birçok günlük kullanım senaryosu için idealdir.
Yüksek Sıcaklık: Bu ayarda, model çok daha deneysel, yaratıcı ve zaman zaman şaşırtıcı hale gelir. 2025 yılında yapılan bir araştırmaya göre, τ=1.8 ayarıyla üretilen şiirlerin yaklaşık %40'ı insanlar tarafından yazılanlardan ayırt edilememiştir.
Yüksek sıcaklık ayarları özellikle yaratıcı yazarlık, hikaye anlatımı ve sanat odaklı projelerde tercih edilir.
Maksimum Belirteç (Response Length - Max Tokens)
Maksimum Belirteç (Max Tokens) parametresi, büyük dil modelleri tarafından üretilen bir yanıtın maksimum uzunluğunu tanımlamak için kullanılır. Dil modelleri, metni işlerken ve üretirken, girdileri ve çıktıları belirteç (token) adı verilen daha küçük birimlere ayırır. Max Tokens değeri, modelin tek bir yanıtta kullanabileceği maksimum belirteç sayısına üst sınır koyar. Modelin bu sınırın tamamını kullanması zorunlu değildir (daha kısa yanıtlar üretebilir) ancak belirlenen sınırı asla aşamaz.
Max Tokens parametresini kontrol etmek birkaç nedenden dolayı önemlidir: API kullanım maliyetlerini azaltmak, yanıt hızını artırmak ve yanıtları kullanıcının ihtiyaç duyduğu ayrıntı düzeyine göre uyarlamak. Kullanıcı deneyimi açısından, aşırı uzun yanıtların önüne geçilmesine yardımcı olarak okunabilirliği ve kullanılabilirliği de artırır.
Max Tokens değerinin çok düşük ayarlanması, modelin yanıtlarını vaktinden önce kesmesine neden olabilir. Örneğin, karmaşık bir soruya yalnızca kısa ve yüzeysel bir yanıt verebilir. Bu durum, modelin eksiksiz ve bilgilendirici bir yanıt sunamadan çıktısını sonlandırmak zorunda kalabileceği; detaylandırma, özetleme veya derinlemesine analiz gerektiren görevlerde ciddi bir sınırlama oluşturabilir.
Öte yandan, Max Tokens değerinin çok yüksek ayarlanması da sorunlara yol açabilir. Daha yüksek belirteç sınırları, modelin teknik dokümantasyon, hikaye anlatımı veya derinlemesine analiz gibi görevler için yararlı olan daha kapsamlı ve ayrıntılı yanıtlar sunmasını sağlarken; aşırı yüksek değerler modelin gereksiz yere uzun yanıtlar üretmesine, konudan uzaklaşmasına veya içeriği tekrarlamasına neden olabilir. Bu durum, modelin uzun uzadıya anlamsız veya uydurma çıktılar ürettiği halüsinasyonlara yol açabilir.
Top P
Nükleer örnekleme (nucleus sampling) olarak da bilinen Top-p, büyük dil modellerinin kelime üretimi sırasında hangi belirteçlerin kullanılabileceğini dinamik olarak belirlemesini sağlayan bir seçim yöntemidir. Modelin olasılık dağılımını kümülatif bir eşik değerine (p) göre sınırlandırır. Basitçe ifade etmek gerekirse Top-p parametresi, modelin en yüksek olasılıktan başlayarak kümülatif toplam olasılık belirlenen p değerine ulaşana kadar belirteçleri seçmesini sağlar.
Örneğin, Top-p = 0.9 olarak ayarlandığında model, en olası kelimeden başlayarak combined (birleşik) olasılıkları %90'a ulaşan tüm belirteçleri hesaba katar. Geriye kalan daha düşük olasılıklı belirteçler tamamen hariç tutulur. Bu, modelin sabit sayıda aday yerine olasılık dağılımına göre değişen dinamik bir belirteç kümesinden seçim yapmasına olanak tanır.
Düşük bir Top-p değeri, modelin yalnızca çok sınırlı bir yüksek olasılıklı kelime kümesinden seçim yapmasına neden olur. Bu durum, metnin daha kısıtlı veya formüle dayalı görünmesine yol açsa da daha tutarlı ve tahmin edilebilir çıktılar üretilmesini sağlar. Bu tür ayarlar; modelin güvenli ve beklenen kelime seçimleri yapmasının istendiği teknik yazımlarda, kritik talimatlarda veya hassas bilgiler içeren senaryolarda tercih edilir.
Yüksek bir Top-p değeri, modelin daha geniş bir belirteç kümesini değerlendirmesine olanak tanıyarak daha çeşitli, yaratıcı ve beklenmedik kelime seçimleri yapmasını sağlar. Bu ayarlar özellikle hikaye yazma, yaratıcı içerik üretimi veya ucu açık beyin fırtınası gibi görevlerde kullanışlıdır. Ancak modele daha fazla özgürlük verildikçe, konudan bağımsız veya alakasız kelime seçimlerinin yapılması olasılığı da artar.
Düşük Top-p: Bir hikaye anlatımı senaryosunda, “Büyücü kapıyı açtı ve gördü ki...” cümlesini tamamlaması istendiğinde, modelin “bir ejderha” veya “kötü bir ruh” gibi tahmin edilebilir, klişe bir son seçmesi muhtemeldir. Bu durum yaratıcılığı azaltsa da tutarlılık ve güvenilirlik sağlar.
Orta-Yüksek Top-p: Aynı örnekte, modelin seçebileceği seçenek yelpazesi genişleyerek “uzun zamandır kayıp olan arkadaşı” veya “unutulmuş bir çocukluk oyuncağı” gibi daha yaratıcı ve şaşırtıcı tamamlamalar üretmesine olanak tanır. Bu da anlatının zenginliğini ve orijinalliğini artırır.
Çoğu uygulama için 0.8 ile 0.95 arasındaki bir Top-p aralığı, çeşitlilik ile tutarlılık arasında dengeli bir ödünleşim sunar. 1.0 değeri, modeli tüm olasılık dağılımına açarak tam yaratıcı potansiyelini ortaya çıkarır; ancak aynı zamanda beklenmedik veya konu dışı çıktılar üretme riskini de artırır. En iyi yöntem, ideal Top-p ayarını bulmak için kendi özel kullanım senaryonuzda farklı değerlerle denemeler yapmaktır.
Varlık Cezası (Presence Penalty)
Varlık cezası (Presence penalty), bir kelime veya belirteç modelin çıktısında en az bir kez göründüğünde devreye giren bir cezalandırma mekanizmasıdır. Bu ceza, kelimenin kaç kez tekrarlandığına değil, yalnızca daha önce kullanılıp kullanılmadığına bağlıdır. Diğer bir deyişle, bir kelime yalnızca bir kez kullanılmış olsa bile modelin bu kelimeyi tekrar seçme olasılığı otomatik olarak düşürülür. Teknik olarak bu işlem, belirtecin logit değerinden sabit bir katsayı çıkarılarak gerçekleştirilir.
Bu parametre, üretilen bir metin içinde aynı kelimelerin veya özel terimlerin farkında olmadan tekrarlanmasını önlemek için son derece kullanışlıdır. Örneğin, yaratıcı bir yazım görevinde, her cümlede sürekli olarak “büyülü” kelimesinin kullanılması okuyucuyu yorabilir ve içeriği monotonlaştırabilir. Bu gibi durumlarda, varlık cezası modeli kelime dağarcığını çeşitlendirmeye ve alternatif ifadeler kullanmaya teşvik eder.
Varlık cezasını artırmak, modelin tekrarlayan ifadelerden kaçınmasına yardımcı olur. Model, daha önce kullandığı bir kelimeyi tekrar kullanmak yerine bir eş anlamlısını, ilgili bir terimi veya alternatif bir ifadeyi seçmeye daha yatkın hale gelir. Bu da özellikle çeşitliliğin istendiği senaryolarda metinsel zenginliği artırır.
Öte yandan, varlık cezası sıfıra yakın ayarlandığında model daha serbest davranır ve aynı kelimeyi birden fazla kez tekrarlayabilir. Bu durum teknik belgelerde veya bir terimin kasıtlı olarak tekrarlanmasının önemli olduğu senaryolarda faydalı olabilir. Örneğin, bir ürün kılavuzunda netlik ve tutarlılık sağlamak için “veri güvenliği” teriminin sürekli tekrarlanması gerekli olabilir.
Yüksek Varlık Cezası: Diyelim ki bir kullanıcı modelden “bir kediyi tarif etmesini” istiyor. Model, “kedi” kelimesini bir kez kullandıktan sonra bunu tekrarlamaktan kaçınır ve bunun yerine “bu sevimli hayvan”, “feline (kedigillerden)” veya “minik dostumuz” gibi ifadeler kullanır. Hatta kedinin yaşam alanını, davranışlarını ve daha fazlasını tarif ederek anlatıyı genişletebilir. Sonuç, daha zengin ve tekrarsız bir metin olur.
Düşük Varlık Cezası: Aynı senaryoda model şu şekilde bir çıktı verebilir:
“Bu kedi çok sevimli bir kedidir çünkü kedi, kedi annesinin yanına sokulmuştur.”
Bu tür tekrarlar yaratıcı içeriğin kalitesini düşürebilir, ancak teknik belgelerde veya şiirsel yapılarda kasıtlı olarak tercih edilebilir.
Frekans cezası teknik yazılarda tekrarları azaltmada daha etkiliyken, varlık cezası yaratıcı yazılarda daha güçlü bir çeşitlilik sağlama eğilimindedir.
Frekans Cezası (Frequency Penalty)
Frekans cezası (Frequency penalty), bir kelime veya ifadenin büyük dil modeli tarafından daha önce ne sıklıkta kullanıldığına bağlı olarak tekrar seçilme olasılığını azaltan bir cezalandırma mekanizmasıdır. Teknik olarak, bir belirteç ne kadar çok tekrarlanırsa, sonraki adımlarda seçilme olasılığı o kadar düşer.
Tekrarlama sayısına bakılmaksızın bir kelimenin metinde sadece bulunmasını cezalandıran ve yukarıda bahsedilen varlık cezasının aksine, frekans cezası özellikle bir kelimenin kaç kez tekrarlandığını dikkate alır. Yani bir kelime ne kadar sık tekrarlanırsa, bir sonraki kullanımına uygulanan ceza da o kadar artar.
Yüksek bir frekans cezası, modelin aynı kelimeleri tekrar tekrar kullanmasını engellemeye yardımcı olur. Bu, metin boyunca daha zengin bir kelime dağarcığını teşvik eder ve gereksiz tekrarları azaltarak okunabilirliği artırır. Özellikle anlık tekrarları (örneğin “çok çok güzel”) veya anlamsız döngüleri önlemek için oldukça kullanışlıdır. Öte yandan, frekans cezası düşük bir değere veya sıfıra ayarlanırsa model tekrarları cezalandırmaz. Bu, belirli senaryolarda istenir bir durum olabilir. Örneğin, belirli terimlerin sürekli vurgulanması gereken teknik belgelerde veya kasıtlı tekrarların kullanıldığı şiirsel ve sanatsal metinlerde düşük değerler tercih edilir.
Yüksek Frekans Cezası:
Modelden bir alışveriş listesi oluşturmasını istediğimizde, yüksek frekans cezası kullanmak aynı kelimeleri tekrarlamasını önler. Örneğin, sürekli “süt” kelimesini listelemek yerine: “1. Ekmek, 2. Süt, 3. Peynir, 4. Yumurta” çıktısı verir. Benzer şekilde, kısa bir şiir yazarken yüksek frekans cezası, modeli aynı kelimeyi tekrar tekrar yazmak yerine eş anlamlılarını veya farklı kelimeleri kullanmaya teşvik eder; bu da daha zengin ve dinamik bir metin üretilmesini sağlar.
Düşük Frekans Cezası:
Aynı alışveriş listesi örneğinde, düşük frekans cezası ile model tekrara karşı daha hoşgörülü olur. Bu durumda liste, tekrarlanan ürünleri de içerecek şekilde: “1. Ekmek, 2. Süt, 3. Süt, 4. Yumurta...” şeklinde olabilir. Ayrıca tekrarlarla vurgu yapılması gereken şiirlerde veya sloganlarda düşük değerler seçilir. Örneğin: “senin için, senin uğruna, senin hayallerin için...” şeklindeki kasıtlı tekrarlar korunabilir.
Frekans cezası genellikle varlık cezasıyla birlikte kullanılır ve metinde ideal bir tekrar seviyesine ulaşmak için bu iki parametre birlikte ayarlanabilir. Bu parametrelerin doğru şekilde dengelenmesi, metnin mesajını net bir şekilde iletirken aynı zamanda akıcı ve okunabilir kalmasını sağlar. Dolayısıyla, özel içeriğiniz için en uygun ayarı bulmak adına farklı değerlerle denemeler yapmak büyük önem taşımaktadır.
Sayıları Metne Dönüştür
Sayıları Metne Dönüştür parametresi, büyük dil modellerinin metin oluştururken veya işlerken sayıları yazıyla ifade etmesini sağlayan bir ayardır. Bu özellik aktif hale getirildiğinde, model sayıları rakamla değil, kelimelerle çıktı olarak verir. Örneğin, “2025” sayısı “iki bin yirmi beş” şekline dönüştürülür.
Bu parametrenin temel amacı, belgelerdeki sayılar ve metinler arasındaki tutarlılığı artırmak, olası biçimlendirme karmaşasını önlemek ve modelin sayıların anlamsal önemini daha iyi kavramasına yardımcı olmaktır. Bu nedenle, özellikle metinden sese (TTS) uygulamalarında, resmi belgelerde, sözleşmelerde veya okunabilirliğin kritik olduğu diğer doğal dil senaryolarında tercih edilir.
Sayıları Metne Dönüştür özelliği etkinleştirildiğinde, model çıktıları daha pürüzsüz, doğal ve tutarlı bir görünüm kazanır. Örneğin, özellik açıkken “3 elma” yerine “üç elma” ifadesi kullanılır. Bu, tüm metnin kesintisiz bir düz yazı olarak okunacağı veya sese dönüştürüleceği senaryolarda kullanıcı deneyimini önemli ölçüde iyileştirir.
Parametre devre dışı bırakıldığında ise sayılar rakam olarak bırakılır. Hassas sayısal veriler içeren durumlarda, teknik metinlerde, yazılım kılavuzlarında, finansal raporlarda rakamlar metni daha anlaşılır ve takip edilmesi kolay hale getirdiğinden bu yaklaşım tercih edilir.
İnsanlar tarafından okunması amaçlanan metinlerde (örneğin sözleşmeler, sesli asistan yanıtları, makaleler, içerik üretimleri): Bu parametrenin aktif tutulması önerilir.
Teknik belgelerde, yazılım kılavuzlarında, finansal raporlarda veya kesin sayısal değerlerin kritik olduğu bağlamlarda: Bu parametrenin devre dışı bırakılması önerilir.
Top K
Top-k, büyük dil modelinin metin üretimi sırasında bir sonraki kelimeyi seçerken değerlendirdiği seçenek sayısını sabit bir k değeri ile sınırlandırır. Model, her adımda olası tüm belirteçleri olasılıklarına göre en yüksekten en düşüğe doğru sıralar ve aday havuzuna yalnızca en yüksek olasılıklı ilk k belirteci dahil eder. Bu ilk k seçeneğin dışındaki diğer tüm belirteçler göz ardı edilir. Bu sayede seçilebilir seçenekler kümesi daraltılarak daha kontrollü ve tutarlı çıktılar elde edilir.
Teknik olarak, Top-k örnekleme yöntemi, açgözlü arama (greedy search) ile tamamen rastgele seçim arasında bir denge noktası sunar. k = 1 olduğunda, model tamamen deterministik davranır; her zaman en yüksek olasılıklı kelimeyi seçer ve diğer tüm alternatifleri eler. k değeri arttıkça daha geniş bir seçim seti oluşur, bu da sürece daha fazla rastgelelik ve çeşitlilik kazandırır.
Top-k değerini düşük tutmak, modeli küçük ve dar bir havuzdan kelime seçmeye zorlar. Model yalnızca en yüksek olasılıklı kelimeler arasından seçim yapacağı için bu durum metin tutarlılığını artırabilir. Ancak, k değeri çok küçük olursa yaratıcılık sınırlanabilir, bu da tekrarlayan veya birbirine aşırı benzeyen ifadelere yol açabilir.
Top-k değerini yükseltmek ise modelin kelime seçerken değerlendirdiği seçenek yelpazesini genişletir. Bu, daha çeşitli, yaratıcı ve beklenmedik kelime seçimlerini mümkün kılar. Ancak, daha büyük bir havuzdan seçim yapmak bazen alakasız veya bağlam dışı kelimelerin seçilme olasılığını da artırabilir.
Düşük Top-k Değeri:
Bir kullanıcı k = 1 ayarıyla “Güneş neden parlar?” diye sorduğunda, model her zaman en yüksek olasılıklı aynı yanıtı verecektir: “Güneş, nükleer füzyon nedeniyle parlar.” Bu durum özellikle teknik belgeler, yasal metinler, matematiksel hesaplamalar veya kesin ve tutarlı yanıtlar gerektiren görevlerde tercih edilir.
Yüksek Top-k Değeri:
Aynı soru için model, her adımda 50 farklı kelime seçeneği arasından seçim yapabilir ve böylece her seferinde biraz daha farklı ifadeler üretebilir. Örneğin: “Güneş, çekirdeğindeki hidrojen füzyonunun ürettiği ve bizim ışık olarak gördüğümüz enerjiyi yayar” veya “Güneş'in parlaklığı, merkezinde birleşen atomların muazzam miktarda enerji üretmesinin bir sonucudur.” Bu sayede farklı kelimeler kullanılırken aynı temel bilgi korunmuş olur.
Top-k parametresinin etkisini hikaye tamamlama görevlerinde de gözlemleyebiliriz. Örneğin, “Kahraman ormana girdi ve...” cümlesini devam ettirirken, düşük bir k değeri genellikle tahmin edilebilir, yaygın sonlara yol açacaktır. Yüksek bir k değeriyle ise model, “kayıp bir antik kenti keşfetti” gibi beklenmedik ve yaratıcı seçeneklerle devam edebilir.
Düşük Top-k: Teknik belgelerde, yasal metinlerde, matematiksel hesaplamalarda veya kesin yanıtlar gerektiren görevlerde tercih edilir.
Orta ve Yüksek Top-k: Yaratıcı içeriklerde, hikayelerde, sohbet robotlarında veya yanıtlarda çeşitlilik ve yaratıcılık gerektiren senaryolarda daha iyi sonuçlar verir.
Tipik olarak Top-k parametresi, hem tutarlılığı hem de dinamik ve yaratıcı çıktıları aynı anda elde etmek amacıyla Top-p parametresiyle birlikte kullanılır. Bu iki parametrenin dengelenmesi, modelin aşırı tahmin edilebilirlik ile aşırı rastgelelik arasındaki ideal noktayı yakalamasını sağlar.
Birleştirerek Parçalama (Merge Chunking)
Birleştirerek parçalama (Merge chunking), LLM tabanlı temsilcilerin bilgi getirme süreçlerinde kullanılan özel bir metin ön işleme yöntemidir. Özellikle uzun belgelerin ve kapsamlı metinlerin işlenmesinde kullanılan bu teknik, temel iki adımdan oluşur:
İlk aşamada, uzun belgeler belirli bir stratejiye göre daha küçük metin parçalarına (chunk'lara) bölünür. Bu bölme işlemi genellikle sabit uzunlukta paragraflar veya cümle grupları şeklinde gerçekleştirilir.
İkinci aşamada ise bu küçük metin parçaları anlamsal benzerliklerine göre yeniden birleştirilir. Amaç, bölme sırasında kaybolabilecek bağlamsal bütünlüğü geri kazandırmak ve arama sonuçlarında ilgili bilgileri daha büyük, daha anlamlı bloklar halinde sunmaktır. Bu sayede bir yandan metnin işlenebilirliği kolaylaştırılırken, diğer yandan bilgi bütünlüğü korunmuş olur.
Birleştirerek parçalama etkinleştirildiğinde, model bölünen metin segmentlerini daha büyük ve anlamsal olarak tutarlı bloklar halinde kullanır. Bu, temsilcinin bilgiye erişmesini ve onu anlamasını kolaylaştırır. Örneğin, bir belgeyi 100 kelimelik parçalara ayırdığınızı hayal edin. Önemli bir açıklama iki farklı parçaya bölündüyse, birleştirerek parçalama yöntemi bu iki parçanın anlamsal olarak ilişkili olduğunu algılayabilir ve bunları yeniden birleştirebilir. Bu sayede model, bilginin tamamını tek seferde görerek daha doğru ve kapsamlı bir yanıt verebilir. Bu özellik devre dışı bırakılırsa, model yalnızca sabit uzunluktaki küçük parçalarla çalışmak zorunda kalır ve bu da bağlam bölünmesine yol açabilir. Bir başlık ve açıklamasının farklı parçalarda kaldığı durumlarda model bunları ayrı ayrı değerlendirecek, bu da eksik veya kopuk içeriklere neden olacaktır.
Bağlamsal bütünlüğün kritik olduğu uzun belgelerde (hukuki metinler, tanımlar, hikayeler vb.) birleştirerek parçalama oldukça faydalıdır. Bu metinlerde bağlamın korunması önemlidir ve anlamsal bütünlüğü korumak için küçük parçaların yeniden birleştirilmesi sonuçların kalitesini artırır.
Her bir parçanın zaten bağımsız ve anlamlı olduğu durumlarda (örneğin sıkça sorulan sorular (SSS), kısa maddeli açıklamalar), birleştirerek parçalamaya gerek yoktur. Anlamsal ilişkisi zayıf olan parçaları gereksiz yere birleştirmek sistem performansını olumsuz etkileyebilir.
Sonuç olarak birleştirerek parçalama; doğru uygulandığında büyük belgelerin verimli bir şekilde işlenmesini sağlayan, anlamsal bütünlüğü koruyan ve arama sonuçlarının kalitesini artıran güçlü bir tekniktir. Ancak etkili kullanım için, birleştirilen parçaların gerçekten anlamsal bir ilişkiye sahip olduğundan emin olunması şarttır.
Yeniden Sıralamayı Etkinleştir (Enable Reranking)
Yeniden sıralama (Reranking), LLM tabanlı temsilcilerin bilgi getirme veya arama sonuçlarını ikinci bir aşamada yeniden değerlendirerek daha doğru ve alakalı hale getirmesi sürecidir. Bu parametre etkinleştirildiğinde, temsilci getirilen sonuçları doğrudan olduğu gibi kullanmaz; bunun yerine ek bir değerlendirme sürecinden geçirerek sorguyla en iyi eşleşen parçalara yeniden öncelik verir. Devre dışı bırakıldığında ise temsilci, sonuçları ilk getirildikleri sırayla kullanır.
Yeniden sıralama aşamasında, yeniden sıralama modelleri (rerankers) ilk getirilen sonuçları sorguyla daha derin bir düzeyde anlamsal olarak eşleştirir ve en iyi eşleşen içeriği en üst sıralara taşır. Bu süreç, özellikle büyük ve heterojen bilgi tabanlarında kritik bir öneme sahiptir.
Yeniden sıralamanın etkinleştirilmesi, bir temsilcinin arama ve bilgi getirme performansının doğruluğunu önemli ölçüde artırabilir. İlk arama sıralaması genellikle yüzeysel kriterlere (anahtar kelimeler veya basit benzerlik skorları gibi) dayandığından, arama sonucunda sorguyla en alakalı içerik her zaman en üstte çıkmayabilir. Bu gibi durumlarda, gerçekten alakalı olan içerikler daha alt sıralarda kalabilir. Yeniden sıralama bu parçaları yeniden değerlendirir ve bağlama en uygun içeriği en tepeye taşır. Bu sayede modelin doğru bağlam ve bilgilerle çalışması sağlanır.
Bu parametre devre dışı bırakıldığında ise temsilci yalnızca ilk sıralamayla çalışmak zorunda kalır ve potansiyel olarak daha az alakalı içeriklerden yanıt üretmek zorunda kalabilir. Bu durum model yanıtlarının kalitesini düşürebilir veya eksik bilgilere yol açabilir.
Yeniden sıralama, özellikle büyük ve heterojen veri kümeleriyle çalışırken son derece yararlıdır. Bu tür senaryolarda ilk arama sonuçlarının kalitesini garanti etmek zordur; bu da yeniden sıralamayı, özellikle yanıt odaklı soru-cevap sistemlerinde yanıt kalitesini büyük ölçüde artırabilen kritik bir adım haline getirir.
Bununla birlikte, veri kümeniz küçükse ve ilk arama adımı zaten yüksek doğruluk oranına sahipse, yeniden sıralamanın sağlayacağı ek fayda sınırlı olabilir. Bu durumda, ek adımların getireceği ekstra maliyet ve zaman kaybı göz önünde bulundurularak yeniden sıralama devre dışı bırakılabilir.
Yüksek doğruluk ve güvenilirlik gerektiğinde (örneğin akademik araştırmalar, yasal sorgular, tıbbi içerikler): Yeniden sıralamanın etkinleştirilmesi önerilir.
Yeterince iyi olan ilk sonuçlara hızlı erişim gerektiğinde (örneğin küçük ölçekli bilgi tabanları, SSS'ler): Yeniden sıralamayı kapalı tutmak daha pratik olabilir.
Arama Sınırı (Search Limit)
Arama Sınırı (Search Limit), LLM tabanlı bir temsilcinin bir sorguyu yanıtlamak için bir arama işlemi sırasında getirebileceği maksimum sonuç sayısını belirleyen parametredir. Bu parametre, temsilcinin harici kaynaklardan (web aramaları, API çağrıları veya vektör tabanlı doküman sorguları gibi) en fazla kaç sonuç çekeceğini kontrol eder. Arama Sınırı, sistemin bilgi getirme kapsamını (recall) doğrudan etkiler. Daha fazla sonuç getirmek, alakalı bilgiyi bulma olasılığını artırır ancak beraberinde potansiyel olarak gereksiz birçok sonucu da getirebilir. Bu nedenle, bu parametrenin doğru ayarlanması temsilcinin genel performansı açısından son derece önemlidir.
Arama Sınırı değerini yüksek tutmak, temsilcinin bilgi getirme sürecinde daha geniş bir sonuç kümesi elde etmesini sağlar. Bu durum, ihtiyaç duyduğunuz bilginin ilk birkaç sonuç arasında olmayabileceği, özellikle büyük ve karmaşık bilgi tabanlarında veya web aramalarında avantajlıdır. Bu gibi durumlarda, yüksek bir Arama Sınırı, daha derin sıralardaki belgelerden bile kritik bilgilerin yakalanmasına yardımcı olur. Ancak bu durum, getirilen sonuçlar arasında alakasız ve gereksiz içeriklerin bulunma olasılığını da artırır. Sonuç olarak, bu parçaların daha sonra filtrelenmesi veya yeniden sıralanması gerekebilir. Ayrıca LLM'lerin sınırlı bir bağlam penceresi (context window) olduğundan, modele çok fazla gereksiz veri beslemek performansı olumsuz etkileyebilir.
Düşük bir Arama Sınırı değerinde ise temsilci yalnızca en olası ilk birkaç sonucu inceler. Bu, arama hızını ve odağını artırırken, doğru yanıtın ilk sonuçlar arasında yer almaması durumunda cevabın gözden kaçırılması riskini de artırır. Başka bir deyişle, düşük bir Arama Sınırı daha yüksek kesinlik (precision) ancak daha düşük kapsam (recall) sağlarken; yüksek bir Arama Sınırı daha yüksek kapsam ancak daha düşük kesinlik sunar.
Kapsamı artırmak için orta-yüksek düzeyde bir Arama Sınırı tutmak ve ardından yalnızca en alakalı birkaç sonucu seçip LLM'ye iletmek için yeniden sıralama veya filtreleme yöntemlerini kullanmak idealdir. Bu, modelin bağlam yükünü en aza indirirken arama kapsamını maksimuma çıkarır.
Düşük bir Arama Sınırı, hızlı yanıtların ve düşük maliyetlerin istendiği senaryolarda tercih edilebilir; ancak doğru yanıtın ilk birkaç sonuç arasında olmama riskini göz önünde bulundurmak önemlidir.
Çok yüksek bir Arama Sınırı, büyük bilgi tabanlarında (örneğin wiki sayfaları, çok sayfalı belge koleksiyonları) veya sorguların belirsiz olduğu durumlarda yararlı olabilir. Ancak, etkili bir filtreleme veya yeniden sıralama adımı olmadan kullanıldığında LLM'yi çok fazla alakasız veriyle aşırı yükleyebilir.
Sonuç olarak, veri kümenizin boyutuna, sorgu türlerine ve LLM'nizin bağlam kapasitesine bağlı olarak, en uygun noktayı bulmak için bu parametre üzerinde ayarlamalar ve testler yapmanız en iyi yoldur.
Arama Eşiği (searchThreshold)
Arama eşiği veya searchThreshold parametresi, bir sorgu için döndürülen sonuçların ne kadar alakalı olması gerektiğini belirleyen bir benzerlik skorudur. Genellikle 0 ile 1 arasında bir değer alır ve özellikle vektör tabanlı arama sistemlerinde kullanılır. Örneğin, searchThreshold 0.8 olarak ayarlandığında, yalnızca benzerlik skoru 0.8 veya daha yüksek olan sonuçlar dikkate alınır ve bu skorun altındaki eşleşmeler filtrelenir. Bu eşik, düşük kaliteli veya alakasız içeriklerin LLM'ye iletilmesini önleyerek, modelin yalnızca konuyla gerçekten ilgili bilgilerle çalışmasını sağlar. Bu sayede çıktıların doğruluğu ve bağlamsal tutarlılığı artırılır.
Yüksek eşik değeri (0.8+): Modele yalnızca benzerlik skoru çok yüksek olan içerikler gönderilir. Sonuç olarak, konuyla ilgisi az olan içerikler elenerek modelin yanıltıcı bilgilerle karşılaşma olasılığı azaltılır. Ancak, eşik çok yüksek ayarlanırsa, hiçbir içerik bu gereksinimi karşılamayabilir ve model “bu konuda bilgi bulunamadı” gibi bir yanıt verebilir.
Düşük eşik değeri (0.4–0.6): Daha fazla sonuç döndürülerek daha geniş bir kapsam (yüksek recall) sağlanır. Ancak, alakasız veya zayıf ilişkili sonuçların modelin bağlamına dahil edilme olasılığı da artar. Bu durumda model gereksiz bilgilere odaklanabilir, yanlış çıkarımlar yapabilir veya güvenli olmayan yanıtlar üretebilir. Özellikle veri kaynaklarının düşük kaliteli içerik barındırdığı durumlarda bu durum halüsinasyonlara yol açabilir.
Sonuç olarak searchThreshold değeri, arama kalitesi ile kapsamı dengelemek açısından kritik bir parametredir. Veri kümenize, kullanıcı beklentilerine ve sistemin hata toleransına göre bu değeri ayarlamanız önerilir.
Top N
Top N, arama veya yeniden sıralama işlemlerinin ardından LLM temsilcisinin bağlamına (context) dahil edilecek sonuç sayısını belirleyen parametredir. İlk olarak, searchLimit kullanılarak geniş bir sonuç havuzu oluşturulur, ardından reranking (yeniden sıralama) aracılığıyla en alakalı içerikler üst sıralara taşınır. Top N, bu adaylardan kaç tanesinin gerçekten modele iletileceğini kontrol eder. Bu sayı genellikle modelin bağlam penceresi kapasitesine (örneğin 4K, 8K veya 32K belirteç sınırları) ve görevde arzulanan bilgi derinliğine göre belirlenir. “N” terimi genellikle yeniden sıralanmış ve filtrelenmiş içerik miktarı için kullanılır.
Düşük Top N değeri:
Model yalnızca çok alakalı birkaç parçaya erişebilir. Bu, daha az bilgi kalabalığı ve daha net yanıtlar anlamına gelir. Ancak, bu parçalardan biri eksik veya yanıltıcıysa modelin yanıtı da sınırlı kalabilir.
Yüksek Top N değeri:
Modelin daha geniş bir içerik kümesinden yanıt üretme şansı olur. Bu durum özellikle çok açılı analizler veya karşılaştırmalı yanıtlar için yararlıdır. Ancak, farklı kaynaklardan gelen bilgiler çelişkiliyse modelin odaklanması zorlaşabilir ve alakasız bilgilerin sürece dahil olması riski artar.
Doğruluk odaklı, tek yanıtlı sorular için Top N değeri düşük tutulmalıdır.
Özetleme, karşılaştırma veya çok perspektifli analiz gerektiren sorular için daha yüksek bir Top N değeri kullanılabilir. LLM'nin bağlam sınırı her zaman göz önünde bulundurulmalıdır. Örneğin, 4096 belirteç sınırına sahip bir modele 10 ayrı belge sunarsanız, bazı belgeler yalnızca kısmen işlenebilir veya model her bir belgeye yeterince dikkat ayıramayabilir.
Tipik bir RAG (Retrieval-Augmented Generation) senaryosunda aşağıdaki işlem adımları uygulanır:
Geniş bir arama yapılır → searchLimit kullanılarak geniş bir aday içerik kümesi toplanır.
Sıralama yapılır → En alakalı içerik, reranking ile üst sıralara taşınır.
Seçim yapılır → En iyi birkaç içerik parçası, Top N kullanılarak LLM'ye gönderilir.
Bu yapı, büyük ölçekli veri taraması yoluyla yüksek bilgi getirme kapsamını korurken, LLM'nin çalıştığı içerik hacmini sınırlayarak hem kaliteyi hem de hızı artırır.
Yeniden Sıralama Eşiği (Rerank Threshold)
Yeniden sıralama eşiği (Rerank threshold), bir yeniden sıralama modelinin her bir belge için hesapladığı alaka düzeyine göre hangi sonuçların filtreleneceğini veya LLM bağlamına dahil edileceğini belirleyen sınır değerdir. Bu skorlar genellikle 0 ile 1 arasında normalize edilir ve 1'e yakın bir değer, belgenin sorguyla çok güçlü bir bağı olduğunu gösterir. Yeniden sıralama eşiği, bu skorlar üzerinde bir kesme noktası görevi görerek yalnızca yeterince alakalı kabul edilen belgelerin bağlama dahil edilmesini sağlar. Bu sayede model, yanıt üretirken yalnızca gerçekten anlamlı içeriklerle çalışır.
Yüksek yeniden sıralama eşiği:
Model yalnızca yüksek puan alan, doğrudan alakalı belgeleri işler. Bu, gereksiz bilgi yükünü azaltır ve modelin odağını artırır. Ancak eşik çok katı olursa, küçük skor farkları nedeniyle değerli belgeler dışarıda bırakılabilir. Örneğin, bir belge 0.78 puan aldığı için elenirse, model eksik bir yanıt üretebilir.
Düşük yeniden sıralama eşiği:
Bu durumda neredeyse tüm belgeler modelin bağlamına dahil edilir. Bu, hatalı veya alakasız içeriğin içeri sızmasına neden olabilir. LLM'nin daha sonra bu metni ayıklaması gerekir, bu da yanıt kalitesini düşürebilir veya önyargılı/yanlış çıkarımlara yol açabilir.
Yeniden sıralama eşiği değeri, sistemin kullanım amacına ve kalite beklentilerine göre dikkatle seçilmelidir. En iyi yaklaşım, farklı sorgularla test etmek, ortaya çıkan skor dağılımlarını analiz etmek ve buna göre anlamlı bir kesme noktası belirlemektir. Bu dağılım göz önüne alındığında, çoğu senaryoda orta-yüksek seviyeli bir eşik iyi bir başlangıç noktasıdır. Kritik doğruluğun gerektiği sistemlerde (tıbbi veya hukuki uygulamalar gibi) eşik yüksek tutulmalıdır. Bilgi kapsamı da önemliyse eşik biraz düşürülebilir ve ardından belge sayısının sınırlandırılmasıyla birleştirilebilir.
Yeniden sıralama eşiği ve Top N parametreleri genellikle birlikte çalışır:
Örneğin, yeniden sıralama eşiği = 0.6 ve Top N = 5 ise: İlk olarak, skoru 0.6'nın altında olan belgeler elenir.
Kalan belgeler skorlarına göre sıralanır.
En yüksek skora sahip ilk 5 belge modele gönderilir.
Bu yaklaşım hem alakasız içerikleri filtreler hem de en anlamlı belgeleri LLM'ye aktararak daha doğru ve odaklanmış yanıtlar üretmesini sağlar.
Uygulama Önerileri
Yaratıcılık ve Tutarlılığı Dengeleme
Sıcaklık (Temperature), Top-p ve Top-k parametreleri birlikte modelin çıktısındaki yaratıcılık düzeyini belirler. Çok yaratıcı ve çeşitli metinler istiyorsanız, sıcaklık değerini artırmak ve top-p alanını geniş tutmak faydalıdır.
Ancak teknik doğruluk ve kararlılık gerektiren senaryolarda sıcaklık 0.0-0.4 civarında tutulmalı, top-k ise sınırlı değerlere ayarlanmalıdır.
Tekrarları Önleme
Varlık cezası (Presence penalty) ve frekans cezası (frequency penalty), modelin aynı kelimeleri veya fikirleri tekrar tekrar üretme eğilimini kontrol etmenize olanak tanır.
Uzun yanıtlar için her iki cezanın da orta seviyelerde uygulanması, genellikle modelin sürekli aynı ifadeleri döndürmesini önlemek için yeterlidir.
Özellikle eğitici veya açıklayıcı çıktılar üretirken bu ayarların optimize edilmesi doğrudan metin kalitesini etkiler.
Yanıt Uzunluğunu ve Formatını Kontrol Etme
Max tokens bir yanıtın toplam uzunluğunu sınırlar. Çok kısa değerler yanıtın erken kesilmesine; çok yüksek değerler ise modelin konudan uzaklaşmasına neden olabilir. Sayıları metne dönüştür gibi biçimlendirme seçenekleri de hedef kitleye göre ayarlanmalıdır. İnsanlar için sayılar yazıyla sunulmalı (“on beş”), makine işlemleri için ise rakamla gösterilmelidir (“15”).
Arama ve Yeniden Sıralama Stratejisi
Bilgi getirme tabanlı sistemlerde (örneğin RAG), önce searchLimit kullanarak toplayabildiğiniz kadar çok belge toplamalı, ardından reranking modeli kullanarak bu belgeleri alaka düzeylerine göre sıralamalısınız.
Sonrasında, rerankThreshold ve Top N parametrelerini birleştirerek yalnızca en anlamlı içerikleri süzüp LLM'ye aktarmalısınız.
Bu yapı, gereksiz metin yükünü azaltırken modelin daha doğru ve odaklanmış yanıtlar üretmesini sağlar.
Bu Parametreler SkyStudio'da Nasıl Kullanılır?
Bu makalede bahsedilen tüm parametreler, SkyStudio platformu içindeki kullanıcılar tarafından doğrudan kontrol edilebilir. Bu değerler her bir asistan için ayrı ayrı tanımlanabilir, böylece sistemin davranışı görev türüne ve bağlama göre hassas bir şekilde ayarlanabilir.
Bilgi odaklı bir asistanda yüksek doğruluk ve sıkı filtreleme önceliklendirilirken, yaratıcı metin üretimine odaklanan bir senaryoda daha esnek ve geniş bir üretim alanına ihtiyaç duyulabilir. SkyStudio bu ihtiyaçları yapılandırmayı mümkün kılarak, hem ayarlarla denemeler yapmak isteyen kullanıcılara hem de güvenilir sistem çıktıları bekleyen profesyonel kullanıcılara esnek bir kontrol alanı sunar.
Bu parametrelerin sistem davranışını nasıl etkilediğini anlamak ve buna göre ince ayar yapmak, LLM tabanlı bir asistanın başarısında belirleyici bir rol oynar. SkyStudio, bu süreci basitleştirerek hem teknik hem de pratik olarak daha iyi sonuçlar elde etmenizi destekler.
