NLTK ve Spacy ile Türkçe Metinlerde Kelime Frekansı Analizleri

Adı : NLTK ve Spacy ile Türkçe Metinlerde Kelime Frekansı Analizleri

Günümüzde, doğal dil işleme (DLI) için kullanılan en yaygın kütüphanelerin başında NLTK ve Spacy gelmektedir. Bu kütüphaneler, metinleri işleme, kelime ayırt etme, kelime anlamını çözme ve daha birçok dil işleme işlemlerini gerçekleştirmeye olanak sağlamaktadır. Ancak, Türkçe metinlerde kelime frekansı analizini gerçekleştirmek kolay bir işlem değildir. Bu yazıda, NLTK ve Spacy ile nasıl Türkçe metinlerde kelime frekansı analizi yapabileceğimizi öğreneceğiz.
İlk önce NLTK'ye bakalım. NLTK, kelime ayırma işlemleri için Türkçe dil modülüne sahiptir. Bu modül, Türkçe metinleri doğru bir şekilde ayırt etmek ve kelime türlerini (örneğin isim, fiil, sıfat, zarf vb.) belirlemek için kullanılabilir. Aşağıdaki kod bloğu, bir metindeki kelime frekansını hesaplamak için NLTK'yi kullanmanın bir örneğidir.
``` python
import nltk
from collections import Counter
# Türkçe dil modülünü yükleyin
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('stopwords')
nltk.download('snowball_data')
# Türkçe metni tanımlayın
text = \"Bu bir Türkçe metindir. Bu metindeki kelimeleri numaralandırmak için frekans hesaplaması yapacağız.\"
# Kelimeleri ayırın ve küçük harflere dönüştürün
words = nltk.word_tokenize(text.lower())
# Stopwords'leri kaldırın
stopwords = set(nltk.corpus.stopwords.words('turkish'))
filtered_words = [word for word in words if word not in stopwords]
# Kelime frekanslarını hesaplayın
word_freq = Counter(filtered_words)
print(word_freq)
```
Bu kod, bir Türkçe metindeki her kelimenin kaç kez geçtiğini hesaplayacaktır. Çıktı şöyle olacaktır:
```
Counter({'türkçe': 1, 'metindir': 1, '.': 2, 'numaralandırmak': 1, 'frekans': 1, 'hesaplaması': 1, 'yapacağız': 1})
```
Görüldüğü gibi, her kelimenin frekansı belirlenmiş ve çıktı olarak bir sözlük verilmiştir.
Şimdi de Spacy'nin Türkçe dil desteğine bakalım. Spacy, doğal dil işleme işlemlerini gerçekleştirmede oldukça etkilidir ve başarılı sonuçlar verir. Aşağıdaki kod örneği Spacy ile bir Türkçe metindeki kelime frekanslarını hesaplamamızı göstermektedir.
``` python
import spacy
from collections import Counter
# Spacy'nin Türkçe dili desteğini yükleyin
nlp = spacy.load('tr_core_news_sm')
# Türkçe metni tanımlayın
text = \"Bu bir Türkçe metindir. Bu metindeki kelimeleri numaralandırmak için frekans hesaplaması yapacağız.\"
# Doküman nesnesini oluşturun
doc = nlp(text)
# Stopwords'leri kaldırın
filtered_words = [token.text for token in doc if not token.is_stop]
# Kelime frekanslarını hesaplayın
word_freq = Counter(filtered_words)
print(word_freq)
```
Bu kod da yukarıdaki kodun benzeri bir sonuç verecektir:
```
Counter({'Türkçe': 1, 'metindir': 1, '.': 2, 'numaralandırmak': 1, 'frekans': 1, 'hesaplaması': 1, 'yapacağız': 1})
```
Yukarıdaki kod örneği, Spacy'nin Türkçe dil modülünün kullanımını göstermektedir. İşlemler oldukça benzersizdir ve kelime frekansı analizi için oldukça doğru sonuçlar verir.
## Sıkça Sorulan Sorular
### Metinde tekil kelime sayısı nasıl hesaplanır?
Tekil kelime sayısını hesaplamak için NLTK veya Spacy gibi programlama kütüphanelerini kullanabilirsiniz. Aşağıdaki kod örnekleri, bir Türkçe metindeki tekil kelime sayısı hesaplamak için NLTK ve Spacy kütüphanelerini nasıl kullanacağımızı göstermektedir:
``` python
# NLTK ile tekil kelime sayısı hesaplamak için
import nltk
# Türkçe dil modülünü yükleyin
nltk.download('punkt')
# Türkçe metni tanımlayın
text = \"Bu bir Türkçe metindir. Bu metindeki kelimeleri sayacağız.\"
# Kelimeleri ayırın ve küçük harflere dönüştürün
words = nltk.word_tokenize(text.lower())
# Tekil kelime sayısını hesaplayın
unique_words = set(words)
num_unique_words = len(unique_words)
print(num_unique_words)
```
Bu kod, yukarıdaki yazıdaki NLTK kodu örneğiyle oldukça benzerdir ve tekil kelime sayısını hesaplar.
``` python
# Spacy ile tekil kelime sayısı hesaplamak için
import spacy
# Spacy'nin Türkçe dili desteğini yükleyin
nlp = spacy.load('tr_core_news_sm')
# Türkçe metni tanımlayın
text = \"Bu bir Türkçe metindir. Bu metindeki kelimeleri sayacağız.\"
# Doküman nesnesini oluşturun
doc = nlp(text)
# Tekil kelime sayısını hesaplayın
unique_words = set(token.text for token in doc)
num_unique_words = len(unique_words)
print(num_unique_words)
```
Bu kod, yukarıdaki Spacy kodu örneğiyle benzerdir ve tekil kelime sayısını hesaplayacaktır.
### Kelime bulutu oluşturma nasıl yapılır?
Kelime bulutu, bir metindeki kelime frekanslarını görselleştirmek için kullanılan yaygın bir tekniktir. Kelimeler, boyutları kelimenin frekansına göre farklılık gösteren bulutlarda gösterilir. Türkçe metinler için kelime bulutu oluşturma işlemi oldukça basittir ve genellikle Python'da bulunan kelime bulutu kütüphaneleri kullanılarak gerçekleştirilir. `wordcloud` kütüphanesi, kelime bulutu oluşturma işlemi için popüler bir seçenektir.
``` python
# Kelime bulutu oluşturmak için
from wordcloud import WordCloud
import matplotlib.pyplot as plt
# Türkçe metni tanımlayın
text = \"Bu bir Türkçe metindir. Bu metindeki kelimeleri sayacağız.\"
# Kelime frekanslarını hesaplayın
word_freq = Counter(text.split())
# Kelime bulutunu oluşturun
wordcloud = WordCloud(width = 800, height = 800,
background_color ='white',
min_font_size = 10).generate_from_frequencies(word_freq)
# Kelime bulutunu görselleştirin
plt.figure(figsize = (8, 8), facecolor = None)
plt.imshow(wordcloud)
plt.axis(\"off\")
plt.tight_layout(pad = 0)
plt.show()
```
Bu kod, bir Türkçe metnin kelime frekanslarına dayalı bir kelime bulutu oluşturacaktır. Görselleştirme olarak bir bulut şeklinde gösterilecek ve kelimenin frekansı arttıkça boyutu büyüyecektir. Kelime bulutu, metindeki en sık kullanılan kelimeleri görselleştirmek için kullanışlıdır.