N-gram Çıkarıcı

Her n-gram uzunluğu size ne söyler

Araç metninizi nasıl bölüyor

• Her şey küçük harfe çevrilir, böylece “The” ile “the” aynı satırda birleşir.
• Kelime; harf, rakam veya kesme işaretinden oluşan kesintisiz bir dizidir. Diğer tüm karakterler (noktalama, simgeler, satır sonları) ayırıcı sayılır ve atılır.
• Cümle sınırları korunmaz. Bir cümlenin son kelimesiyle sonraki cümlenin ilk kelimesi yine de bir n-gram oluşturabilir; bu yüzden cümle sınırını aşan ikilileri temkinli okuyun. Bu sizin için önemliyse metni cümle cümle veya paragraf paragraf çözümleyin.
• Durak kelimeler korunur. Sizin adınıza hiçbir şey filtrelenmez; yalnızca anlamlı ifadeler istiyorsanız o satırları CSV’den sonradan silin.
• Kelimeler boşluk ve noktalamayla bulunur. Türkçe kelimeleri boşlukla ayırdığı için araç doğrudan çalışır. Ancak Türkçe sondan eklemeli bir dildir: “sayfa”, “sayfayı” ve “sayfanın” ayrı satırlara düşer. Kök bazlı bir analiz istiyorsanız metni önce Zemberek gibi bir gövdeleyiciden geçirin. Çince, Japonca ve Tayca ise kelimeleri boşlukla ayırmaz; boşluksuz bir cümlenin tamamı tek bir kelime olarak gelir, bu yüzden önce jieba, MeCab veya bir Tayca bölütleyiciyle kelimelere ayırmanız gerekir.

Durak kelimeler ne zaman kaldırılmalı

Durak kelimeler, İngilizcede “the”, “a”, “of”, “and”; Türkçede “ve”, “ile”, “bir”, “de” gibi çok sık geçen işlev kelimeleridir. Bunları bırakmak bigram listesini “of the” ve “bir de” gibi işe yaramaz ikililerle şişirir. Bu çıkarıcı onları korur; dolayısıyla anlamsal ifadeler istediğinizde bu satırları dışa aktardığınız dosyadan silin, üslubu, yazar atfını ya da işlev kelimelerinin sinyal taşıdığı dil modellerini incelerken de bırakın.

SEO kullanım durumu

“nginx config generator” ifadesini hedefleyen bir makale için şunları kontrol edin:

• Hedef bigram ve trigramınız ilk 20’de mi. “nginx config” 40. sıradaysa terimi muhtemelen yetersiz kullanıyorsunuz.
• Anahtar kelime tıkıştırmıyorsunuz. Terim büyük bir farkla 1. sıradaysa içerik spam gibi okunur.
• Anlamsal komşular var mı. “server block”, “proxy pass” ve “ssl certificate” gibi ilgili bigramlar, arama motorlarına konunun gerçekten kapsandığı güvencesini verir.

NLP ve akademik kullanım

• Dil modelleri, düzleştirme ve geri çekilme için n-gram sıklıklarını kullanır (Kneser-Ney, Good-Turing).
• Yazar atfı çalışmaları, aday yazarlar arasındaki trigram dağılımlarını karşılaştırır.
• Makine çevirisi değerlendirmesi (BLEU), aday çeviri ile referans çeviri arasındaki n-gram örtüşmesini puanlar.