NLP Teknikleri ile Metin Madenciliği Nasıl Yapılır?

Adı : NLP Teknikleri ile Metin Madenciliği Nasıl Yapılır?

Metin madenciliği, büyük veri kümeleri içerisindeki verileri analiz etmek, paternleri ve trendleri belirlemek için kullanılan bir yöntemdir. NLP teknikleri ise doğal dil işleme tekniği kullanılarak makine öğrenme modelleri oluşturulabilen bir teknolojidir. Bu iki teknoloji birleştirilerek, insanların ürettiği metinleri analiz etmek mümkündür.
Bu yazıda, NLP teknikleri ile metin madenciliğini detaylı bir şekilde ele alacağız. İlk olarak, NLP tekniklerinin neler olduğuna bakalım.
1. Tokenizasyon: Bu teknik, cümleleri parçalara ayırarak kelime seviyesinde analiz etmek için kullanılır. Cümleler, kelimeler ve karakterler gibi farklı düzeylerde parçalara ayrılabilir.
2. Stop Words: Bu teknik, sık kullanılan kelimeleri filtrelemek için kullanılır. Bu kelimeler, analiz sonuçlarını bozabilirler ve çıktının daha doğru olması için çıkarılmalıdırlar.
3. Stemming ve Lemmatization: Bu teknikler, kelime köklerini veya temel halini bulmak için kullanılır. Kelimelerin kökleri veya temel halleri, metinlerin analizinde benzer kelime formlarının gruplandırılmasına yardımcı olabilir.
4. Part-of-Speech (POS) Tagging: Bu teknik, kelimelere gramatiksel etiketler atanarak cümlelerin yapılarının analiz edilmesine yardımcı olur.
5. Named Entity Recognition (NER): Bu teknik, metinler içerisindeki belirli kelimelerin isimleri tanıması ile kullanılır. Bu kelimelerin isimleri belirli bir kategoriye atanarak, aynı kategoride olan kelimelerin gruplandırılması mümkün olur.
Şimdi, NLP tekniklerini kullanarak metin madenciliği yapmanın örneğine bakalım. Bir sosyal medya platformunda belirli bir hashtag altında üretilmiş tweetleri analiz edelim.
Örnek: #yemeksipariş etiketi altında üretilen tweetleri analiz edelim, bu tweetler içinde ne tür yiyeceklerin sipariş edildiğini belirleyelim.
Başlamadan önce, belirtilen NLP tekniklerini kullanarak tweet analiz etmek için bir Python kütüphaneleri kullanarak örnek bir kod yazmamız gerekiyor. Bu Python kodu, belirli bir hashtag altında üretilen tweetleri çekerek, metin madenciliği yapmamıza olanak sağlayacak.
import tweepy
import pandas as pd
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer
from nltk.tag import pos_tag
from nltk.chunk import ne_chunk
#Twitter API keys
consumer_key = XXXX
consumer_secret = XXXX
access_token = XXXX
access_token_secret = XXXX
#Doğrulama işlemi
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth, wait_on_rate_limit=True)
#Sosyal medya platformunda belirli bir hashtag altında üretilen tweetleri çekme, analiz etme ve listeleme
def hashtag_analiz(hashtag):
tweets = tweepy.Cursor(api.search_tweets, q=hashtag, lang = 'tr').items()
all_tweets = [tweet.text for tweet in tweets]

#Tokenization
def tokenization(words):
return word_tokenize(words)

#Stop Words kelimeleri
stop_words = set(stopwords.words('turkish'))

#Temel halleri bulma (Lemmatization)
def lemmatization(words):
lemmatizer = WordNetLemmatizer()
return [lemmatizer.lemmatize(word) for word in words]

#Gramatiksel etiket (POS) atama
def pos_tagging(words):
return (pos_tag(words))

#isim tanıma (NER)
def named_entity_recognition(words):
return ne_chunk(pos_tag(words))

# belirli bir hashtag altında üretilen tweetleri çekilelim
print(fTüm tweetler: \
{all_tweets})

#Tokenization yapıp, stop_words filtreleme işlemi yapalım
words_token = [tokenization(word) for word in all_tweets]
words_filter = [[word for word in words if not word in stop_words] for words in words_token]

#Kelime kökünü alalım
words_lemmatize = [lemmatization(word) for word in words_filter]

#POG (Part-of-Speech) tag işlemi yapalım
pos_tag = [pos_tagging(word) for word in words_lemmatize]

#isim tanıma işlemi yapalım
named_entity = [named_entity_recognition(word) for word in pos_tag]

# Çıktı olarak sadece platformda ne tür yiyeceklerin sipariş edildiğine dair bilgi veren tweetler listeleme işlemini yapalım
food_tweet = []
for index, item in enumerate(named_entity):
for ele in item:
if isinstance(ele, tuple) and ele[1] in ['B-FOOD', 'I-FOOD']:
tweet_index = index
tweet = all_tweets[tweet_index]
food_tweet.append(tweet)
else:
continue
return food_tweet
#Örnek hashtag kullanımı
hashtag_analiz(#yemeksipariş)
Bu örnek, belirli bir sosyal medya platformunda üretilen tweetleri çekerek, doğal dil işleme teknikleri kullanarak analiz etmemizi sağlar. Kod, önce tüm tweetleri çeker ve ardından bu tweetler üzerinde tokenization, stop word filtreleme, lemmatization, POS tag, isim tanıma işlemleri yaparak, platformda ne tür yiyeceklerin sipariş edildiğine dair bilgi veren tweetleri listeler.
Sonuç olarak, NLP teknikleri ile metin madenciliği; büyük veri kümeleri içerisindeki verileri analiz etmek, paternleri ve trendleri belirlemek için kullanılabilir. Örnek olarak verilen tweet analizi gibi metin madenciliği uygulamaları sayesinde; sağlık, pazarlama, eğitim, iş dünyası gibi birçok alanda bilgilendirici sonuçlar elde edilebilir.