Token sayısı hesaplama

Token sayısı hesaplama aracı

Metninizi yapıştırın; araç karakter, kelime ve yaklaşık token sayısını gösterir ve verdiğiniz bağlam penceresinin ne kadarını doldurduğunu hesaplar. Yazdığınız metin tarayıcınızda işlenir, sunucuya gönderilmez ve adrese eklenmez.

Token nedir?

Yapay zeka dil modelleri metni harf ya da kelime olarak değil, token adı verilen parçalar halinde işler. Sık geçen kelimeler tek token, nadir ya da uzun kelimeler birkaç token olabilir. Noktalama işaretleri, boşluklar ve emojiler de token tutar. Girdiğiniz ve modelin ürettiği token sayısı hem maliyeti hem de bağlam penceresini (modelin aynı anda işleyebildiği toplam metin miktarı) belirler.

Tahmin nasıl yapılır?

Pratik kural olarak İngilizcede yaklaşık 4 karakter = 1 token, Türkçede yaklaşık 3 karakter = 1 token alınır. Türkçe ekli bir dil olduğu için aynı anlam genellikle İngilizceden %30–40 daha fazla token tutar. Bu araç karakter sayısını seçtiğiniz dile göre bu oranlara böler.

Örnek: 1.200 karakterlik Türkçe bir metin yaklaşık 400 token, aynı uzunlukta İngilizce metin yaklaşık 300 token eder. Kelime başına yaklaşık 1,5–2 token düşer.

Kesin sonuç için

Kesin sayı modelin kendi tokenizer'ına bağlıdır; farklı sağlayıcıların tokenizer'ları aynı metni biraz farklı sayıda tokena böler. Kod, tablo, URL, rakam ve nadir kelimeler tahminden fazla token tutabilir. Maliyet planlarken tahmine %10–20 pay bırakın ya da sağlayıcının kendi token sayma aracını kullanın.

Token sayısını öğrendikten sonra maliyeti Yapay zeka API maliyet hesaplama aracıyla hesaplayabilirsiniz. Yazınızın kelime ve karakter sayısı için ayrıca Kelime sayısı hesaplama aracı da vardır.