Python Web Scraping İle Sağlık Verileri Toplama ve Analiz Etme

Adı : Python Web Scraping İle Sağlık Verileri Toplama ve Analiz Etme

Web scraping, bir web sitesindeki verileri otomatik olarak kazıma işlemidir. Bu veriler daha sonra analiz edilebilir veya başka bir web sitesine aktarılabilir. Sağlık veri toplama, sağlık ile ilgili birçok farklı bilginin toplanmasını kapsar. Bu bilgiler genellikle sağlık bilgilerinin özetleri, hastalık istatistikleri, tıbbi araştırmalar ve daha fazlasıdır.

Python, web scraping işlemleri için yaygın olarak kullanılan bir programlama dilidir. Bu nedenle, Python kullanarak sağlık verileri toplayabilir ve analiz edebilirsiniz. Bu yazıda, Python web scraping kütüphaneleri kullanarak sağlık verilerinin nasıl toplanacağını ve analiz edileceğini öğreneceksiniz.

1. Web Scraping Nedir?

Web scraping, web sitelerindeki belirli verilerin otomatik olarak toplanmasıdır. Bu veriler genellikle bir Excel veya CSV dosyasında toplanır ve analiz edilir. Python'da beautifulsoup4 ve scrapy gibi birçok web scraping kütüphanesi bulunmaktadır.

Diğer bir popüler web scraping kütüphanesi ise Selenium'dur. Selenium, web tarayıcısını otomatik olarak yöneten bir kütüphanedir. Bu kütüphane genellikle dinamik web sitelerinde veri kazıması yapmak için kullanılır. Ancak, bugünkü örneğimizde, statik bir web sitesinden veri toplayacağız.

2. Sağlık Verileri Toplama

Şimdi web scraping tekniklerini uygulayarak sağlık verilerini toplayabiliriz. Bu örnekte ncds.who.int adresinden sağlık istatistikleri alacağız.

İlk adım, Python'da requests ve BeautifulSoup gibi kütüphaneleri içe aktarmak ve web sitesini almakla başlar.

```python
import requests
from bs4 import BeautifulSoup

url = 'https://ncds.who.int/ncds/country-profile/turkey'
page = requests.get(url)

soup = BeautifulSoup(page.text, 'html.parser')
```

Bu kod örneği, requests kütüphanesini kullanarak belirtilen URL'den sayfayı alır ve daha sonra BeautifulSoup kütüphanesi ile sayfa metnine dönüştürür.

Daha sonra, sayfadaki verileri kazıyabiliriz. Bu örnekte, en yaygın ölüm nedenlerinin yüzde dağılımlarını alacağız.

```python
table = soup.find_all('table')[1]

rows = table.find_all('tr')
for row in rows:
cols = row.find_all('td')
if len(cols) > 0 and cols[0].text != 'Cause of death':
print(cols[0].text.strip(), cols[1].text.strip())
```

Bu kod örneği, web sitesindeki ikinci tabloyu bulur ve daha sonra tablodaki her satır için sırayla döner. En yaygın ölüm nedenleri ve yüzdesini yazdırır.

3. Verileri Saklama ve Analiz Etme

Verileri bir dosyada saklamak için bir CSV dosyası kullanabiliriz. Bu, verilerin saklanmasını ve analiz edilmesini kolaylaştırır. İlk olarak, pandas kütüphanesi ile bir DataFrame oluştururuz.

```python
import pandas as pd

columns = ['cause_of_death', 'percentage']

df = pd.DataFrame(columns=columns)

rows = table.find_all('tr')
for row in rows:
cols = row.find_all('td')
if len(cols) > 0 and cols[0].text != 'Cause of death':
df = df.append({'cause_of_death': cols[0].text.strip(),
'percentage': cols[1].text.strip()