5.1 Python Dataframe en Data Opschonen met Pandas

Wanneer je begint met data-analyse in Python, is Pandas een van de krachtigste tools die je kunt gebruiken. Met Pandas (Python dataframe) kun je gegevens eenvoudig laden, manipuleren en analyseren. Het is speciaal ontworpen om met gestructureerde data te werken, zoals tabellen of spreadsheets.

In dit hoofdstuk duiken we in wat Pandas is, hoe je data laadt in een DataFrame, en hoe je die data opschoont om klaar te maken voor verdere analyse. Laten we beginnen! 🚀

Wat is Pandas? #

Pandas is een open-source Python-bibliotheek die wordt gebruikt voor gegevensmanipulatie en -analyse. Het biedt twee belangrijke datastructuren:

1. Series: Een één-dimensionale array met labels, vergelijkbaar met een kolom in een spreadsheet.
2. DataFrame: Een twee-dimensionale tabel met rijen en kolommen, vergelijkbaar met een Excel-spreadsheet of een relationele database.

Met Pandas kun je gegevens:

• Laden uit verschillende bronnen (zoals CSV, Excel, SQL, of JSON).
• Opschonen, filteren, en transformeren.
• Analyseer met eenvoudige methoden zoals groeperen, aggregeren, of sorteren.

Data Laad Je in een DataFrame #

Het eerste wat je doet bij data-analyse is het laden van je dataset in een DataFrame. Een DataFrame is een tabel waarin elke kolom een Series is, en waarmee je gemakkelijk bewerkingen kunt uitvoeren.

Data laden uit een CSV-bestand #

Voorbeeld: Een CSV-bestand laden

import pandas as pd

# Laad een CSV-bestand
data = pd.read_csv("voorbeeld.csv")

# Toon de eerste 5 rijen
print(data.head())

Wat gebeurt hier?

• pd.read_csv() leest een CSV-bestand en zet het om in een DataFrame.
• data.head() toont de eerste 5 rijen van je dataset, zodat je een idee krijgt van de structuur en inhoud.

Andere bronnen laden #

Pandas ondersteunt ook andere formaten, zoals Excel, SQL-databases, en JSON:

• Excel: pd.read_excel("bestand.xlsx")
• JSON: pd.read_json("bestand.json")
• SQL: pd.read_sql(query, connection)

Het Inspecteren van Je DataFrame #

Na het laden van je data is het belangrijk om een overzicht te krijgen van de inhoud en structuur.

1. De eerste en laatste rijen bekijken

print(data.head())  
# Eerste 5 rijen
print(data.tail())  
# Laatste 5 rijen

2. Algemene informatie over je dataset

print(data.info())

3. Dit toont het aantal rijen, kolommen, datatype van elke kolom, en of er ontbrekende waarden zijn.

print(data.describe())

Dit geeft statistieken zoals gemiddelde, mediaan, en standaarddeviatie voor numerieke kolommen.

Data Opschonen #

Gegevens zijn zelden perfect. Vaak zijn er fouten, ontbrekende waarden, of inconsistenties. Met Pandas kun je je data opschonen en voorbereiden op verdere analyse.

1. Ontbrekende waarden opsporen #

Ontbrekende waarden kunnen analyses verstoren. Gebruik isnull() om te controleren of je dataset ontbrekende waarden bevat:

print(data.isnull().sum())

Dit toont hoeveel ontbrekende waarden elke kolom bevat.

2. Ontbrekende waarden behandelen #

Afhankelijk van je data kun je ontbrekende waarden op verschillende manieren behandelen:

1. Invullen met een standaardwaarde

data.fillna(0, inplace=True)  
# Vervang ontbrekende waarden door 0

2. Verwijderen van rijen met ontbrekende waarden

data.dropna(inplace=True)

1. Invullen met het gemiddelde of mediaan

data["Leeftijd"].fillna(data["Leeftijd"].mean(), inplace=True)

3. Onnodige kolommen verwijderen #

Soms bevat je dataset kolommen die je niet nodig hebt voor je analyse. Je kunt deze eenvoudig verwijderen met drop().

Voorbeeld:

data.drop("OnnodigeKolom", axis=1, inplace=True)

• axis=1 betekent dat je een kolom verwijdert (voor rijen gebruik je axis=0).

4. Gegevens formatteren #

Zorg ervoor dat gegevens zoals datums en getallen in het juiste formaat staan. Dit voorkomt fouten in verdere analyses.

Voorbeeld: Datums omzetten naar datetime-formaat

data["Datum"] = pd.to_datetime(data["Datum"])

Voorbeeld: Strings formatteren

data["Naam"] = data["Naam"].str.strip()  
# Verwijdert spaties aan het begin/einde
data["Naam"] = data["Naam"].str.capitalize()  
# Zorgt voor hoofdletters aan het begin

Een Praktisch Voorbeeld #

Stel dat je een dataset hebt geladen uit een CSV-bestand, en je wilt deze opschonen.

Stap 1: Data laden

import pandas as pd

data = pd.read_csv("voorbeeld.csv")
print(data.head())

Stap 2: Ontbrekende waarden controleren

print(data.isnull().sum())

Stap 3: Ontbrekende waarden invullen

data["Leeftijd"].fillna(data["Leeftijd"].mean(), inplace=True)

Stap 4: Onnodige kolommen verwijderen

data.drop(["OnnodigeKolom"], axis=1, inplace=True)

Stap 5: Datum formatteren

data["Datum"] = pd.to_datetime(data["Datum"])

Waarom Pandas voor data opschonen? #

1. Efficiëntie:
   Pandas kan grote datasets snel verwerken.
2. Flexibiliteit:
   Je kunt eenvoudig verschillende operaties uitvoeren, zoals filteren, groeperen, en sorteren.
3. Integratie:
   Pandas werkt naadloos samen met andere Python-tools, zoals numpy en matplotlib.

Samenvatting #

Pandas is een krachtige bibliotheek waarmee je data eenvoudig kunt laden, inspecteren en opschonen. Door je gegevens in een DataFrame te plaatsen, kun je snel fouten opsporen en corrigeren, waardoor je klaar bent voor verdere analyse. Experimenteer met de voorbeelden en ontdek hoe Pandas je data-analyseproces kan transformeren! 🎉🚀