Selenium ve Beautiful Soup ile Web Scraping

Adı : Selenium ve Beautiful Soup ile Web Scraping

Web scraping, internet sitesindeki bilgileri toplamak amacıyla yazılım kullanarak otomatik olarak veri kazıma işleminin yapıldığı bir işlemdir. Bu işlem, internet üzerinde çok sayıda bilgiye erişmek ve bu bilgilerden yararlanmak için oldukça önemlidir. Web scraping işlemi, veri madenciliği, pazar analizi, fiyat karşılaştırması, araştırmalar ve birçok başka alanda kullanılan bir tekniktir.
Web scraping işlemi için birçok farklı araç ve yazılım mevcuttur. Bu araçların arasında en popüler olanları ise Selenium ve Beautiful Soup’dur. Bu iki araç, web scraping işlemleri için oldukça fazla kullanılan araçlardan biridir.
Selenium Nedir?
Selenium, web tarayıcılarını otomatik olarak test etmek ve web scraping işlemleri için kullanılan bir araçtır. Bu araç, Python, Ruby, Java, C# ve PHP gibi farklı programlama dillerinde kullanılabilir. Selenium, dinamik web sayfalarında çok daha iyi bir kullanıcı deneyimi elde etmek için kullanılır.
Selenium, kullanıcıların web sayfaları üzerinde otomatik olarak gezinmelerini, formları doldurmalarını ve diğer etkileşimli davranışları gerçekleştirmelerini sağlayan bir otomasyon aracıdır. Bu sayede, web scraping işlemleri gerçekleştirilirken gerçek bir tarayıcı gibi etkileşim kurulabilir.
Beautiful Soup Nedir?
Beautiful Soup, web scraping işlemi için kullanılan bir Python kütüphanesidir. Bu kütüphane, web sayfalarındaki HTML ve XML kodlarını incelemek için kullanılır. Beautiful Soup, web sitesindeki metin, url adresleri, resimler ve diğer tüm veriler gibi her tür web içeriğini çıkarabilir.
Bu özellikleri nedeniyle Beautiful Soup, web scraping işlemlerinin en temel araçları arasında yer almaktadır. Beautiful Soup, web sayfalarından veri kazımı işlemlerinde kullanılan en popüler araçlardan biridir.
Örnekler:
1. Web sitesindeki tüm yazarların adlarını bulma
Bu örnekte Beautiful Soup, web sayfasındaki yayın yazarlarının adlarını bulmak için kullanılır.
```
from bs4 import BeautifulSoup
import requests
url = “https://www.website.com”
page = requests.get(url)
soup = BeautifulSoup(page.content, “html.parser”)
yazarlar = soup.find_all(“span”, class_=”yazar”)
for yazar in yazarlar:
print(yazar.get_text())
```
Bu kod, web sayfasındaki authors sınıfı olan span elementlerini bulur ve listedeki tüm yazarları görüntüler.
2. Google’da arama yaparak ilk sayfada veri kazımı işlemi gerçekleştirme
Bu örnekte, Google’da bir arama yapılır ve arama sonuçlarının ilk sayfasındaki URL’ler çıkarılır. Beautiful Soup, web sayfasının HTML kaynak kodunu almak ve bu kaynak kodundan URL’leri çıkararak ilk sayfadaki verileri getirmek için kullanılır.
```
from bs4 import BeautifulSoup
import requests
url = “https://www.google.com/search?q=veri+madencili%C4%9Fi”
page = requests.get(url)
soup = BeautifulSoup(page.content, “html.parser”)
url_list = []
links = soup.find_all(“a”)
for link in links:
url_ = link.get(href)
if url_.startswith(/url?q=):
url_list.append(url_[7:])
print(url_list)
```
Bu kod, Google arama motorunda veri madenciliği anahtar kelimesi için arama yapar ve bir sayfa listesi döndürür. Daha sonra, bu sayfalardan tüm URL adresleri alınır ve bir liste oluşturulur.
3. Dinamik sayfalar için ayrıntılı bir veri kazıması
Dinamik sayfalar, JS kodu kullanılarak oluşturulan sayfalardır. Selenium, bu tür sayfaların veri kazıması için kullanılır. Beautiful Soup, Selenium ile açılan sayfadan istenilen verileri çıkarmak için kullanılır.
```
from selenium import webdriver
from bs4 import BeautifulSoup
url = “https://www.dynamicsite.com”
driver = webdriver.Chrome()
driver.get(url)
html = driver.page_source
soup = BeautifulSoup(html, “html.parser”)
title = soup.find(“title”).get_text()
description = soup.find(“meta”, property=”og:description”)[“content”]
image = soup.find(“meta”, property=”og:image”)[“content”]
print(title, description, image)
driver.quit()
```
Bu kod, selenium kullanarak dinamik bir web sayfasını açar. Daha sonra, Beautiful Soup kullanılarak sayfa kaynağından istenilen veriler (başlık, açıklama ve görsel) çıkarılır. Son olarak, tarayıcı kapatılır.
Web scraping teknikleri, çok sayıda veri kaynağından bilgi kazanmak isteyenler için oldukça önemlidir. Selenium ve Beautiful Soup, web scraping işlemlerinin birçok farklı senaryosunda kullanılabilir. Bu sayede, veri kazıması işlemleri daha verimli hale getirilebilir.