Türkçe Metinleri Özelliklerine Göre Sınıflandırma: NLTK ve Spacy ile Yapılan İncelemeler

Adı : Türkçe Metinleri Özelliklerine Göre Sınıflandırma: NLTK ve Spacy ile Yapılan İncelemeler

Doğal Dil İşleme (NDI) teknolojisi ile Türkçe metinlerin özelliklerine göre sınıflandırılması oldukça önemlidir. Bu teknolojinin kullanım alanları arasında metin sınıflandırma, duygu analizi, dil modellemesi ve kelime öbekleri çıkartma gibi önemli işlemler bulunmaktadır. Türkçe metinlerinin sınıflandırılması İngilizce metinlerinden farklıdır. Çünkü Türkçe dilinin özellikleri İngilizce ile benzerlik göstermediği için farklı algoritmalara ihtiyaç duyar.

NLTK ve Spacy gibi NDI kütüphaneleri bu alanda oldukça önemli bir rol oynar. Bu yazıda, Türkçe metinleri özelliklerine göre nasıl sınıflandırabileceğimizi, ve bu işlem için kullanabileceğimiz NLTK ve Spacy kütüphanelerinin özelliklerini inceleyeceğiz.

1. Türkçe Metinleri Hangi Özellikleri ile Sınıflandırabiliriz?

Türkçe metinlerini sınıflandırmada kullanabileceğimiz birçok özellik mevcuttur. Bunlardan en önemlileri şunlardır:

Kelime Sıklığı: Her kelimenin metinde kaç kez kullanıldığını hesaplar. Bu sayede metnin içeriği hakkında bazı çıkarımlar yapabilir.

Kelime Frekansı: Kelime sıklığının aksine, her kelimenin metindeki toplam kelime sayısına oranını hesaplayarak belirli bir kelimenin önemini ölçer.

Kelime Öbeği Sıklığı: Kelime sıklığına benzer bir yöntemdir ancak kelime öbeklerine odaklanır, örneğin \"buna göre\" gibi.

Paragraf Uzunluğu: Her bir paragrafın kelime sayısını hesaplayarak, paragrafların etkisini tahmin edebiliriz.

Sözcükten Sonra Gelen Kelime: Bu yöntem bize her kelimenin metin içindeki konumunu gösterir. Örneğin, \"arkadaşım Ahmet\" açıklamasında \"arkadaşım\" kelimesinin \"Ahmet\" kelimesinden önce geldiğini görürüz.

Göreceli Zamanlar: Geçmiş, şimdiki zaman veya gelecek durumu belirleyen kelimelerin sıklığı ve kullanımı ile, metnin hangi zaman diliminde yazıldığı hakkında bilgi sahibi olabiliriz.

2. NLTK Kütüphanesi ile Türkçe Metin Sınıflandırma

NLTK (Doğal Dil İşleme Kütüphanesi) genellikle İngilizce ve benzer dillerde kullanılan bir kütüphanedir. Ancak Türkçe de dahil olmak üzere diğer diller de desteklenmektedir.

NLTK kütüphanesi, bir metnin özelliklerini elde etmek için kullanabileceğimiz birçok fonksiyona sahiptir. Örneğin, aşağıdaki kod ile bir metnin kelime sıklığını elde edebiliriz:

```
import nltk
from nltk.probability import FreqDist

nltk.download('punkt')

text = \"Merhaba, benim adım Ali. Bugün hava çok güzel.\"
tokens = nltk.tokenize.word_tokenize(text)
fd = FreqDist(tokens)

print(fd.most_common(10))
```

Bu kod bize metindeki en sık geçen 10 kelimeyi gösterir:

```
[('Benim', 1), ('güzel', 1), ('.', 1), ('hava', 1), ('çok', 1), ('Bugün', 1), (',', 1), ('adım', 1), ('Ali', 1), ('Merhaba', 1)]
```

Bu yöntemle bir metnin kelime öbekleri sıklığını da ölçebiliriz:

```
from nltk.util import ngrams

bigrams = ngrams(tokens, 2)
fd = FreqDist(bigrams)

print(fd.most_common(10))
```

Bu kod bize en sık geçen 2'li kelime öbeklerini gösterir:

```
[(('Merhaba', ','), 1), ((',', 'benim'), 1), (('benim', 'adım'), 1), (('adım', 'Ali'), 1), (('Ali', '.'), 1), (('.', 'Bugün'), 1), (('Bugün', 'hava'), 1), (('hava', 'çok'), 1), (('çok', 'güzel'), 1)]
```

NLTK kütüphanesi ile farklı özellikler de elde edilebilir, ancak detayları bu yazının kapsamı dışındadır.

3. Spacy Kütüphanesi ile Türkçe Metin Sınıflandırma

Spacy kütüphanesi de, NDI işlemleri yapmak için sıkça kullanılan bir kütüphanedir. Ancak NLTK'den farklı olarak sizlerin anladığı şekilde dil modeli ve diğer özellikleri baz alan modelleri barındıran, son zamanlarda oldukça popüler bir kütüphanedir.

Spacy kütüphanesi, Türkçe dahil olmak üzere birçok dil için destek sağlar. Türkçe doğal dil işleme yapmak için Spacy kütüphanesinin farklı bir modeline ihtiyaç duyulur. Spacy kütüphanesi, Türkçe doğal dil işleme yapmak için birkaç model sağlamaktadır. Bunlardan en yaygın model, \"spacy-stanza\" olarak adlandırılır.

Önce Spacy kütüphanesini indirmeliyiz. Bunu, terminalde şu komutu çalıştırarak yapabiliriz:

```
!pip install spacy-stanza
```

Ardından, aşağıdaki gibi bir kod bloğu yardımıyla, modeli doldurabiliriz:

```
import spacy_stanza

nlp = spacy_stanza.load_pipeline('tr')
```

Bu kod bize, Türkçe için Spacy kütüphanesinin hazır olduğunu gösterir. Bu kütüphane ile bir metni, birçok farklı özellikle analiz edebiliriz. Örneğin, aşağıdaki kod bloğu, bir metnin kelime frekansını ve kelime öbekleri sıklığını ölçer:

```
text = \"Merhaba, benim adım Ali. Bugün hava çok güzel.\"
doc = nlp(text)

fd = doc.count_by(spacy.tokens.token.Token.is_alpha)
print(fd)
```

Bu kod bize, metindeki her kelimenin frekansını gösterir:

```
{True: 7, False: 3}
```

Benzer şekilde, aşağıdaki kod bloğu ise metindeki en sık geçen 2'li kelime öbeklerini gösterir:

```
bigrams = [doc[i:i+2] for i in range(len(doc)-1)]
fd = {}
for bg in bigrams:
if not bg[0].is_stop and not bg[1].is_stop:
if str(bg) in fd:
fd[str(bg)] += 1
else:
fd[str(bg)] = 1

print(fd)
```

Bu kod bize en sık geçen 2'li kelime öbeklerini gösterir:

```
{'Merhaba, benim': 1, 'benim adım': 1, 'adım Ali': 1, 'Ali.': 1, '. Bugün': 1, 'Bugün hava': 1, 'hava güzel': 1}
```

4. Sık Sorulan Sorular

Q1. NLTK ve Spacy arasındaki fark nedir?

NLTK genellikle, basit doğal dil işleme işlemleri için kullanılır. Spacy ise daha ileri DNI işlemleri için kullanılır.

Q2. Türkçe doğal dil işleme yapmak için en iyi kütüphane hangisidir?

Türkçe için Spacy kütüphanesi en iyi seçeneklerden biridir.

Q3. Doğal Dil İşleme teknolojileri hangi alanlarda kullanılır?

Doğal Dil İşleme teknolojileri, metin sınıflandırma, duygu analizi, konuşma tanıma, kelime öbekleri daha önce bahsedildiği gibi birçok alanda kullanılmaktadır.

Bu yazıda, Türkçe metinleri özelliklerine göre nasıl sınıflandırabileceğimizi, ve bu işlem için kullanabileceğimiz NLTK ve Spacy kütüphanelerinin özelliklerini inceleyerek ele aldık. NLTK ve Spacy kütüphaneleri, Türkçe ve diğer dillerde doğal dil işlemenin etkili bir şekilde yapılabilmesi için en iyi seçeneklerden biridir."