NumPy ve Pandas Kullanarak Veri Birleştirme (Join, Merge)

Adı : NumPy ve Pandas Kullanarak Veri Birleştirme (Join, Merge)

Veri birleştirme, bir veya daha fazla veri kümesi arasındaki ilişkileri kullanarak bilgileri birleştirmek anlamına gelir. Veri birleştirme işlemi, birden fazla veri kümesi arasında ortak olan belirli bir sütun veya dizin üzerinde yapılabileceği gibi, adlarında veya amaçlarında farklı olan ancak belirli bir düzende düzenlenmiş veri kümeleri arasındaki birleştirme işlemi olarak da yapılabilir.

NumPy ve Pandas, veri birleştirme işleminde sıklıkla kullanılan iki araçtır. Bu yazıda, NumPy ve Pandas kullanarak veri birleştirme işlemi hakkında bilgi vereceğim ve değişik örnekler sunacağım.

Veri Birleştirme Türleri

Veri birleştirme işlemi, “merge” ve “join” olarak iki farklı şekilde yapılabilir. Merge işlemi, belirli bir anahtar sütununu kullanarak veri kümelerini birleştirme işlemidir. Join işlemi ise anahtar dizinini kullanarak veri kümelerini birleştirme işlemidir.

Pandas ile Veri Birleştirme

Pandas, veri birleştirme işlemi için “merge” ve “join” fonksiyonlarıyla birlikte “concatenate” fonksiyonunu da sağlar. Bu fonksiyonlar, farklı veri kümeleri arasında birleştirme işlemi yaparken işleme katkıda bulunur. Veri birleştirme için kullanılan en yaygın fonksiyonlar aşağıdaki gibidir:

Merge
Join
Concatenate

Merge Kullanarak Veri Birleştirme

Pandas`da merge() fonksiyonu kullanarak iki farklı DataFrame`i birleştirme işlemi yapabilirsiniz. İki DataFrame`in birleştirilebilmesi için bunların bir sütununun ortak olması gerekir. merge() fonksiyonuna birinci ve ikinci veri kümesinin ismini girerek işleme devam edebilirsiniz. Eğer bu parametreler girilmezse, Pandas bir tanımlayıcı anahtar sütunu kullanır ve bu sütunu bağlama sırasın kullanır. Bu operasyonda birleştirme tipini (left, right, inner, veya outer) belirlemeniz de gerekmektedir.

left : \"left outer join\" -- batıdaki(Left) çıkan verilerden tüm sütunları tutar ve batıdaki verilerin anahtar kelimeleri olmayan (daha sonra iptal edilen veya orijinal anahtar kelimeleri içermeyen) satırları dahil eder.

right : \"right outer join\" -- doğudaki(Right) tüm verileri tutar ve doğu verilerine dahil edillemeyen anahtar kelimeleri olmayan (daha sonra iptal edilen veya orijinal anahtar kelimeleri içermeyen) satırları dahil eder.

outer : \"full outer join\" -- batıdaki ve doğudaki tüm verileri tutar ve dahil edilemeyen satırlar için NaN veya \"yok\" değer atar.

inner : \"inner join\" -- batıdaki ve doğudaki verilerin kesişim kümesini tutar.

İki farklı DataFrame`i birleştirmeden önce tekrar hatırlamamız gereken bir şey var. İki farklı DataFrame`in ortak kullanacağı sütunların (anahtar sütunları) veri tiplerinin aynı olması gerekmektedir. Eğer veri tipleri aynı olmazsa birleştirme işlemi hata verir.

Aşağıdaki örnekte, birleştirme yapmak için iki DataFrame kullanacağız. Veri kümelerimizden ilki “orders.csv” ve diğer “order_details.csv”. Bu iki veri kümesi, sipariş tabloları ve sipariş detayları tabloları arasında bir ilişkiyi temsil eder.

orders_df:

OrderID CustomerID OrderDate
10308 2 1996-09-18
10309 37 1996-09-19
10310 77 1996-09-20
10311 59 1996-09-20
10312 23 1996-09-23

order_details_df:

OrderID ProductID Quantity
10308 2 2
10309 24 3
10310 7 6
10310 43 4
10311 72 2

Örneğin bu iki veri kümesini birleştirmek istediğimizde sadece Orders df, order_id'yi tuttuğu için sentaksımız şöyle olacaktır.

```python
orders_df.merge(order_details_df, on='OrderID')
```

Sonuç;

OrderID CustomerID OrderDate ProductID Quantity
0 10308 2 1996-09-18 2 2
1 10309 37 1996-09-19 24 3
2 10310 77 1996-09-20 7 6
3 10310 77 1996-09-20 43 4
4 10311 59 1996-09-20 72 2

Join Kullanarak Veri Birleştirme

Join işlemi de merge işlemine benzer şekilde yapılır. Join`de anahtar sütunları veya dizinleri kullanarak iki DataFrame'i birleştirebiliriz. Pandas, join() fonksiyonu ile farklı tiplerde veri birleştirme işlemleri yapmak için birkaç parametre sağlar. Bu parametreler:

how: Birleştirme yapmak üzere seçtiğimiz yöntemdir.
on: Birbirine eşleştirmek için kullanılacak anahtarlardır.
left_on - right_on: Farklı sütun adları varsa soldaki sütun adı ve sağdaki sütun adlarını eşleştirmek üzere kullanılabilir.
sort: merge ile aynı şekilde kullanılabilir.

Pandas tarafından sağlanan join tipleri ise aşağıdaki gibidir.

Inner Join
Outer Join
Left Join
Right Join
Cross Join

Inner Join

Inner join, tüm sütunların ortak anahtarlarına sahip olan iki DataFrame arasındaki ortak verileri saklar. Inner join yöntemi, “how=inner” olarak belirtilir.

Örnek olarak;

import pandas as pd
from IPython.display import display

left = pd.DataFrame({
'id':[1,2,3,4,5],
'Name': ['Ali', 'Afon', 'Ayşe', 'Baha', 'Baran'],
'branch_id':[200,210,202,202,200]})

right = pd.DataFrame({
'id':[1,2,3,4,5],
'Name': ['Cihan', 'Bir', 'Burak', 'Dilek', 'Ece'],
'branch_id':[200,210,202,201,200]})

display(left)
display(right)
```

``` python
pd.merge(left, right, on='id', how='inner')
```

Sonuç;

id\tName_x\tbranch_id_x\tName_y\tbranch_id_y
0\t1\tAli\t200\tCihan\t200
1\t2\tAfon\t210\tBir\t 210
2\t3\tAyşe\t202\tBurak\t202
3\t4\tBaha\t202\tDilek\t201
4\t5\tBaran\t200\tEce\t 200

Outer Join

Outer join yöntemi, iki DataFrame'in tüm verileri veya bir tarafındaki verileri tutarken, diğer tarafında boşluk olan çıktıya sahip olmak istiyorsak, outer birleştirme yapabiliriz. Pandas'ın yerleşik bir fonksiyonu olan join() ile yapılandırılmıştır. Dış birleştirme anahtarı, aşağıda belirtilen iki DataFrame'in birleştirilebileceği başka bir atama için kullanılır.

Örnek;

``` python
left = pd.DataFrame({
'id':[1,2,3,4,5],
'Name': ['Ali', 'Afon', 'Ayşe', 'Baha', 'Baran'],
'branch_id':[200,210,202,202,200]})

right = pd.DataFrame({
'id':[1,2,100],
'Name': ['Cihan', 'Bir', 'Burak'],
'branch_id':[200,210,202]})

pd.merge(left, right, on='id', how='outer')
```

Sonuç;

id\tName_x\tbranch_id_x\tName_y\tbranch_id_y
0\t1\tAli\t 200.0\t Cihan\t200.0
1\t2\tAfon\t210.0\t Bir\t 210.0
2\t3\tAyşe\t202.0\t NaN\t NaN
3\t4\tBaha\t202.0\t NaN\t NaN
4\t5\tBaran\t200.0\t NaN\t NaN
5\t100\t NaN\t Burak\t202.0


Left Join

Left Join, \"how = 'left'\" olarak belirtildiği için kullanılır. Left Join, özellikle bir veri kümesindeki anahtarların tüm değerlerini tutmak isteyip, diğer veri kümesindeki ilgili değerleri ikinci veri kümesindeki anahtarlar için kayıtlı olarak görmek istediklerimiz için kullanılır.

Örneğin;

``` python
left = pd.DataFrame({
'id':[1,2,3,4,5],
'Name': ['Ali', 'Afon', 'Ayşe', 'Baha', 'Baran'],
'branch_id':[200,210,202,202,200]})

right = pd.DataFrame({
'id':[1,2,100],
'Name': ['Cihan', 'Bir', 'Burak'],
'branch_id':[200,210,202]})

left.join(right, lsuffix='_l', rsuffix='_r', how='left')
```

Sonuç;

id_l\tName_l\tbranch_id_l\tid_r\tName_r\tbranch_id_r
0\t1\t Ali\t 200\t 1.0\t Cihan\t200.0
1\t2\t Afon\t210\t 2.0\t Bir\t 210.0
2\t3\t Ayşe\t202\t NaN\t NaN\t NaN
3\t4\t Baha\t202\t NaN\t NaN\t NaN
4\t5\t Baran\t200\t NaN\t NaN\t NaN


Right Join

Right Join, Left Join'ın tersi işlevi görür. \"how=right\" olarak belirtildiğinde kullanılır. Right Join, ikinci veri kümesindeki veri değerlerinin hepsini tutmaya çalışır ve ilk veri kümesindeki anahtarlar varsa ekler.

``` python
left = pd.DataFrame({
'id':[1,2,3,4,5],
'Name': ['Ali', 'Afon', 'Ayşe', 'Baha', 'Baran'],
'branch_id':[200,210,202,202,200]})

right = pd.DataFrame({
'id':[1,2,100],
'Name': ['Cihan', 'Bir', 'Burak'],
'branch_id':[200,210,202]})

left.join(right, lsuffix='_l', rsuffix='_r', how='right')
```

Sonuç;

id_l\tName_l\tbranch_id_l\tid_r\tName_r\tbranch_id_r
0\t1.0\t Ali\t 200.0\t 1\t Cihan\t200
1\t2.0\t Afon\t210.0\t 2\t Bir\t 210
NaN\t NaN\t NaN\t 100\t Burak\t202


Cross Join

Cross join, iki DataFrame’i birleştirir ve ortaya çıkan veri kümesinde her iki Dataframe’deki bütün değerleri içerir. Bu birleştirme işlemi sonucunda ortaya çıkan DataFrame’in satır sayısı, birinci DataFrame’in satır sayısı ile ikinci DataFrame’in satır sayısının carpımıdır.

Aşağıdaki örnekte, birleştirme yapmak için iki DataFrame kullanacağız. Veri kümelerimizden ilki “orders.csv” ve diğer “order_details.csv”. Bu iki veri kümesi, sipariş tabloları ve sipariş detayları tabloları arasında bir ilişkiyi temsil eder.

orders_df:

OrderID CustomerID OrderDate
10308 2 1996-09-18
10309 37 1996-09-19
10310 77 1996-09-20
10311 59 1996-09-20
10312 23 1996-09-23

order_details_df:

OrderID ProductID Quantity
10308 2 2
10309 24 3
10310 7 6
10310 43 4
10311 72 2

``` python
merged_df = pd.merge(orders_df, order_details_df, how=\"cross\")
merged_df
```

Sık Sorulan Sorular

Pandas join() fonksiyonunun merge() fonksiyonundan farkları nelerdir?

Pandas join() fonksiyonu, \"how='left'\" parametresi kullanılarak sütundaki değerlerin nasıl tamamlandığını belirleyen DataFrame'lere join() işlevi sağlar. Merge() fonksiyonu, iki DataFrame'in satırlarını birleştirmek için kullanılır.

Bir DataFrame'deki kayıtları başka bir DataFrame'e eklemek için nasıl bir yol izlersiniz?

Pandas'ın concat() fonksiyonunu kullanarak DataFrame'lerinizi birleştirebilirsiniz. Concat() parametrelerini kullanarak DataFrame'lerinizi birleştirebilirsiniz. Başka bir DataFrame'e eklenecek kayıt satırları varsa, tüm DataFrame'i birleştirmek için birleştirme işlemi yapabilirsiniz.

Aşağıdaki örnekte, kullanılacak iki DataFrame `countries` ve `customer demographics`. Her iki veri kümesinde de \"country\" sütunları vardır. merge() fonksiyonunu kullanarak veri kümelerini birleştireceğiz.

``` python
countries = pd.DataFrame({
'country': ['USA', 'Canada', 'Mexico'],
'capital': ['Washington', 'Ottawa', 'Mexico City']})

customer_demographics = pd.DataFrame(
[['USA', 25, 'Red'],
['Canada', 35, 'Blue'],
['Mexico', 21, 'Green']],
columns=['country', 'age', 'favorite_color'])

df = pd.merge(countries, customer_demographics, on='country')
df
```

Sonuç;

country\t capital\t age\tfavorite_color
0\tUSA\t Washington\t25\tRed
1\tCanada\t Ottawa\t 35\tBlue
2\tMexico\t Mexico City\t21\tGreen

.merge() fonksiyonundaki \"how\" parametresi nedir?

Pandas'ın .merge() fonksiyonu, DataFrame'leri başka bir yoluyla birleştirir. join( )'daki \"how\" parametresinden farklı olan \"how\" parametresi, nasıl birleştirileceklerini belirtmek için kullanılır.

Inner Join: Aynı anahtar değerleri içeren satırların birleştirildiği bir birleştirme
Outer Join: Her iki"