Metin benzerliği denetleyici

Sonraki

Aynı gibi görünen iki destek talebi, bir rakibinkine benzeyen bir blog yazısı ya da birbirinden kopyalanmış gibi duran iki ürün açıklaması: içgüdünüz örtüştüklerini söyler ama bir sayı istersiniz. Bu denetleyici iki metni karşılaştırır ve iki puan döndürür: kelime örtüşmesi, yani iki metnin ortak sahip olduğu benzersiz kelimelerin oranı, ve karakter benzerliği, yani ham karakterlerin ne kadar örtüştüğü. Birlikte, metinlerin kelime dağarcığını mı, ifadeyi mi yoksa her ikisini mi paylaştığını gösterirler.

Benzerlik nasıl ölçülür

  1. 1

    Her iki metni yapıştırın

    Bir cümleden tam bir makaleye kadar herhangi bir uzunlukta.

  2. 2

    Kelime örtüşmesi

    Her metin küçük harfe çevrilir ve benzersiz kelimelere ayrılır. Jaccard puanı, ortak kelimelerin toplam farklı kelime sayısına bölünmesidir.

  3. 3

    Karakter benzerliği

    Araç ayrıca ham karakter dizilerini karşılaştırır ve eşleşen karakterlerin yüzdesini bildirir.

  4. 4

    Her iki puanı okuyun

    Yüksek kelime örtüşmesi ile daha düşük karakter benzerliği, aynı kelimelerin farklı sırada olduğu anlamına gelir. Yüksek karakter benzerliği, metinlerin harf harf neredeyse aynı olduğu anlamına gelir.

Her puan ne anlatır

Puan Aralık Ölçtüğü Kör noktası
Kelime örtüşmesi (Jaccard) 0-100% İki metnin ortak olduğu benzersiz kelimelerin oranı Kelime sırasını ve bir kelimenin tekrar sıklığını yok sayar
Karakter benzerliği 0-100% Ham karakter dizisinin ne kadar eşleştiği Uzunluğa ve küçük değişikliklere duyarlı
  • Kelime örtüşmesinin 100%’e yakın olması, iki metnin neredeyse aynı kelime kümesini kullandığı anlamına gelir.
  • Karakter benzerliğinin 100%’e yakın olması, metinlerin karakter karakter neredeyse aynı olduğu anlamına gelir.
  • Büyük bir fark (yüksek kelime örtüşmesi, daha düşük karakter benzerliği), farklı düzenlenmiş aynı kelime dağarcığına işaret eder.

Örnek çözüm

The quick brown fox ile The quick red fox karşılaştırması:

  • Kelime örtüşmesi: 60.00% (beş farklı kelimeden the, quick ve fox ortaktır)
  • Karakter benzerliği: 83.33% (yalnızca brown ile red farklıdır)

İki sayı birlikte hikayeyi anlatır: neredeyse aynı kelimeler ve bir kelime dışında neredeyse aynı karakterler.

Yapmadığı şeyler

Bu, yüzeysel bir dize karşılaştırmasıdır; bir intihal ya da anlam denetleyicisi değildir:

  • Kelimeleri ve karakterleri karşılaştırır, bu yüzden aynı şeyi farklı kelimelerle söyleyen iki bölüm düşük puan alır.
  • Yayımlanmış eserlerden oluşan bir veritabanı yoktur, bu nedenle bir metnin başka bir yerden kopyalanıp kopyalanmadığını söyleyemez.
  • Anlama dayalı (anlamsal) eşleştirme, bu aracın kullanmadığı bir gömme (embedding) modeli gerektirir.

Puanları neredeyse kopyalar için hızlı bir sinyal olarak kullanın, bir hüküm olarak değil.

Ön işleme ipuçları

  • Kalıp metinleri kaldırın (imzalar, üst bilgiler, alt bilgiler) karşılaştırmadan önce; her iki puanı yapay olarak şişirirler.
  • Boşlukları ve dağınık noktalama işaretlerini normalleştirin ki biçimlendirme farkları gerçek içerik eşleşmelerini bastırmasın.
  • Uzunluk farklarına dikkat edin: çok farklı uzunluklar, kısa metin uzun metnin içinde olsa bile karakter benzerliğini düşürür, bu yüzden karşılaştırılabilir bölümleri karşılaştırın.

Sık Sorulan Sorular

Yalnızca kaba bir sinyal olarak. Yapıştırdığınız iki metin arasındaki kelime örtüşmesini ve karakter benzerliğini ölçer; mevcut eserlerden oluşan bir veritabanı yoktur ve bilinmeyen bir kaynaktan yapılan kopyalamayı saptayamaz. Yüksek bir puan, daha yakından bakmaya değer neredeyse kopyaları işaret eder, o kadar.

Pek değil. Bir yeniden yazım kelimelerin çoğunu koruyorsa kelime örtüşmesi yüksek kalır. Ancak eş anlamlılarla değiştirirse her iki puan da düşer, çünkü araç anlamı değil kelimeleri ve karakterleri karşılaştırır. Gerçek başka sözcüklerle ifadeyi yakalamak anlamsal (gömme) bir model gerektirir.

Her iki puan da uzun metinlerle baş eder, ancak karakter benzerliği karşılaştırması metinler büyüdükçe yavaşlar, bu yüzden hızlı bir sonuç için her metni birkaç bin karakterde tutun.

İki metniniz karşılaştırılmak üzere sunucumuza gönderilir ve saklanmaz. Karşılaştırma, üçüncü tarafların dahil olmadığı basit bir kelime ve karakter eşleştirmesidir.

İlgili Araçlar

Araç diğer dillerde mevcuttur