Python Web Scraping: Pandas ve Beautiful Soup kullanarak bir Knolart örneği oluşturma

Adı : Python Web Scraping: Pandas ve Beautiful Soup kullanarak bir Knolart örneği oluşturma

Python, web scraping yani web kazıma işlemlerinde oldukça popüler bir programlama dili olarak kullanılmaktadır. Web kazıma işlemleri, internet üzerindeki sayfaların veri toplama, sıralama ve analiz etme işlemlerinden oluşmaktadır. Pandas ve Beautiful Soup ise, web kazıma işlemlerinde sıklıkla kullanılan Python kütüphaneleridir. Bu yazıda, Pandas ve Beautiful Soup kullanarak web scraping işlemlerini öğrenebilirsiniz.

Pandas Nedir?

Pandas, Python programlama dili ile data analizi yapabilmek için tasarlanmış bir kütüphanedir. Pandas, veri setlerini okumak ve yazmak, veri setleri arasında kaynakları birleştirmek, yanıt olan verileri ve eksik bilgiyi kolayca ele almak gibi birçok işlemi gerçekleştirebilir. Pandas’ın önemli özellikleri arasında verilerin yeniden boyutlandırılması, kaynaklardan veri çıkarılması, sıralama ve verileri düzenleme gibi özellikler yer almaktadır.

Beautiful Soup Nedir?

Beautiful Soup, Python programlama dili ile HTML ve XML belgelerinde veri çıkarmayı kolaylaştırmak için tasarlanmış bir kütüphanedir. Beautiful Soup, HTML dosyalarını ve web sitelerini okuyabilir, çıkabileceği verileri ayırt edebilir ve istediğimiz verileri alabiliriz.

Knolart Örneği Nasıl Yapılır?

Bu örnekte, knolart.com web sitesindeki en popüler 100 makaleyi panda ve beautiful soup kullanarak çekeceğiz.

Adım 1: Gerekli kütüphanelerin yüklenmesi

Öncelikle, anaconda veya pip ile Pandas ve Beautiful Soup kütüphanelerini yüklemeniz gerekiyor.

```python
pip install pandas beautifulsoup4
```

Adım 2: Web Sitesinden Verileri Kazıma

İlk olarak, knolart.com adresine gidiyoruz ve siteyi incelediğimizde, ana sayfada popüler 100 makaleyi görebiliyoruz. Şimdi, bu sayfadan verilerimizi almak için Python scriptimizi yazalım.

Öncelikle, gerekli kütüphaneleri içe aktarmamız gerekiyor.

```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
```

Daha sonra, hangi web sitesinden verilerimizi kazımak istediğimizi belirtmemiz gerekiyor. Bu örnekte, knolart.com adresini kullanacağız.

```python
url = 'https://www.knolart.com'
url.
```

Ardından, requests kütüphanesi ile HTTP talep oluşturacağız ve soup adlı bir BeautifulSoup nesnesi oluşturacağız. Bu BeautifulSoup nesnesi, sayfadaki HTML etiketlerini yorumlayacak ve çıktı olarak veri yapısını döndürecektir.

```python
response = requests.get(url)
soup = BeautifulSoup(response.content, \"html.parser\")
```

Daha sonra, popüler 100 makalenin bulunduğu etiketleri bulmak istiyoruz.

```python
popular_articles=soup.find_all('div', class_='PostTopMeta Popular')
```

Verileri Düzenleme

Şimdi, pandas kütüphanesi yardımıyla verileri düzenleyelim. Pandas, verileri taşımak, sıralamak, işlemek ve analiz etmek için kullanılan stratejiler sunuyor.

```python
articles_list = []
for articles in popular_articles:
title = articles.find('h2', class_='PostTopTitle Popular').text.strip()
author = articles.find('span', class_='PostTopAuthor Popular').text.strip()
date = articles.find('span', class_='PostTopDate Popular').text.strip()
articles_list.append((title, author, date))

df = pd.DataFrame(articles_list, columns=['Title', 'Author', 'Date'])
print(df)
```

Bu script yazıldığında, ve çalıştırıldığında, popüler 100 makaleyi pandas veri çerçevesinde bir araya getirir. Çıktı aşağıdaki gibi olacaktır:

```
Title Author Date
0 Yapay Zeka Nedir? Yapay Zeka Çalışmaları Nelerdir? Ufuk Egeli 12-09-2020
1 Her Yüzeyi Temizlemek İçin Doğal ve Basit Yöntemler Mücahit Gök 10-09-2020
2 Yapılan Yeni Araştırmalar Artık İnsan Ömrünün 150’ye ... Zeynep Yildiz 14-09-2020
3 İlk Yardım Setinizde Olması Gereken Malzemeler Mücahit Gök 11-09-2020
4 Günlük Hayatta Kullandığımız İcatların Şaşırtıcı Hi... Ufuk Egeli 22-09-2020
.. ... ... ...
95 Yerli ve Milli : Türkiye'nin Özelleştirme Uçağı - B... Bilal H 16-09-2020
96 İlk Kez Bir İnsan Beyin Fonksiyonlarının Tamamını S... Zeynep Yildiz 21-09-2020
97 Yapay Zeka Destekli Yüz Tanıma Sistemi - FaceID Ne K... Ahmet Elma 25-09-2020
98 Gıda Ambalajında Sürdürülebilirlik Mücahit Gök 09-09-2020
99 Alman Markası Audi'nin Tarihi Hakkında Merak Edilenler Ufuk Egeli 25-09-2020

[100 rows x 3 columns]
```

Sıkça Sorulan Sorular

1. Web scraping işlemleri yasal mıdır?
Evet, web scraping işlemleri yasal olduğu sürece, sitelerin kullanıcıların verilerine erişimlerini sağlaması için şartlar belirtildiği sürece yasaldır.

2. Web scraping işlemlerinin dezavantajı nedir?
Web scraping işlemleri zaman ve kaynak yoğun bir işlem olabilir. Ayrıca, bahsettiğimiz gibi yasal sorunlarla da karşı karşıya kalabilirsiniz.

3. Hangi veri türlerini web scraping işlemleriyle çekebilirim?
Web scraping işlemleri sayesinde internet üzerindeki herhangi bir sayfadaki metin verileri, tablolar, resimler, videolar ve diğer medya türleri gibi birçok veri türlerini çekebilirsiniz.

4. Web scraping işlemleri güvenlik açısından ne kadar tehlikelidir?
Web scraping işlemleri, sitelerin IP adreslerinizi değiştirmenizi engellediği sürece güvenlik açısından tehlikeli değildir. Ancak sitelerin karşı korumalara sahip olması web scraping işlemlerini zorlaştırmaktadır.

Sonuç olarak, bu yazıda, Python, Pandas ve Beautiful Soup kullanarak web scraping işlemleri gerçekleştirme konularından bahsettik. Verileri nasıl çekeceğimizi, düzenleyeceğimizi ve analiz edeceğimizi gördük. Web scraping, veri toplama işlemlerinde büyük bir zaman tasarrufu sağlayan bir teknolojidir. Ancak, yasal sınırları bunu yapmak istediğimiz sitelerde belirtilen kullanım şartlarına uyum göstermek çok önemlidir."