Datamining
Datamining er en disciplin inden for data science, der handler om at finde ikke-oplagte mønstre, sammenhænge og afvigelser i store og ofte komplekse datamængder. Metoderne trækker på statistik, databaseteknologi og maskinlæring, men adskiller sig typisk ved at arbejde uden på forhånd kendte svar eller kategorier i data.
Et supermarked kan for eksempel bruge datamining til at opdage, at kunder der lægger bleer i kurven, ofte også køber vaskeklude, og derfor vælge at placere de to varer tættere på hinanden i butikken – et klassisk eksempel på det, der kaldes “market basket analysis”.
Hvad dækker begrebet datamining over?
Datamining ligger i krydsfeltet mellem maskinlæring og databaser/datastyring, og forskningen handler om at analysere typisk store datamængder for at udtrække interessante mønstre, der kan føre til ny viden. Modsat klassisk maskinlæring retter datamining sig i mange tilfælde mod uovervåget læring, hvor der ikke findes eller kræves træningsdata på forhånd – fokus ligger på at modellere, søge i og opdage ikke-trivielle mønstre i data.
Begrebet dækker over flere delområder, som ofte arbejder med forskellige datatyper:
- Graph mining: analyse af netværk og grafstrukturerede data, for eksempel opdagelse af tætte undergrupper, beregning af centralitet og analyse af, hvordan information spreder sig i et netværk.
- Sequence mining: mønstergenkendelse og afvigelsesdetektion i sekventielle data som tidsserier og datastrømme.
- Text mining: udtrækning af meningsfulde mønstre fra tekst, herunder sentimentanalyse, emnemodellering og genkendelse af navne og begreber – et område der overlapper med NLP (Natural Language Processing).
Sådan fungerer datamining i praksis
Datamining er sjældent ét enkelt trin, men et forløb der ofte følger en fast ramme. To af de mest kendte er CRISP-DM (Cross-Industry Standard Process for Data Mining) og KDD-processen (Knowledge Discovery in Databases). Overordnet kan forløbet beskrives i tre faser:
1. Indsamling og forberedelse af data
Data hentes fra kilder som databaser, logfiler, API’er eller IoT-enheder og gennemgår en såkaldt ETL-proces (Extract, Transform, Load), hvor manglende værdier håndteres, dubletter fjernes, og data omdannes til et format, der egner sig til analyse.
2. Analyse og mønstergenkendelse
Her anvendes algoritmer til at finde relationer, tendenser, grupperinger eller afvigelser i data. Typiske teknikker omfatter:
- Klyngedannelse (clustering): grupperer data efter lighed, for eksempel til kundesegmentering.
- Klassifikation: placerer data i på forhånd definerede kategorier, fx spam over for ikke-spam.
- Regression: forudsiger kontinuerte værdier, for eksempel forventet salg.
- Association rule mining: afdækker sammenhænge mellem varer eller hændelser, som i eksemplet med bleer og vaskeklude.
- Anomali-detektion: identificerer usædvanlige mønstre, der kan pege på svindel eller fejl.
3. Fortolkning og formidling
De fundne mønstre omsættes til dashboards, rapporter eller konkrete anbefalinger, som kan bruges i forretningsmæssige beslutninger. Nogle af de underliggende beregningsmodeller kan videreudvikles til en decideret ML-model, hvis mønstrene skal bruges til løbende forudsigelser på nye data.
Hvor bruges datamining?
Datamining anvendes bredt på tværs af brancher, blandt andet fordi metoderne kan tilpasses mange forskellige typer af data og problemstillinger:
- Detailhandel: kundesegmentering, market basket analysis og anbefalingssystemer, der foreslår produkter baseret på tidligere køb.
- Finans: opdagelse af svindel ved at scanne transaktioner for mistænkelige mønstre, samt kreditvurdering baseret på historiske betalingsdata.
- Sundhedssektoren: prædiktive modeller der analyserer symptomer og prøvesvar for at vurdere risiko for bestemte sygdomme.
- Marketing: analyse af kundeadfærd for at optimere kampagner og forudsige, hvilke kunder der har størst langsigtet værdi.
- Produktion: optimering af forsyningskæder ved at analysere ordremønstre, leverandørpræstationer og sæsonudsving.
Datamining og maskinlæring – hvad er forskellen?
Datamining og maskinlæring hænger tæt sammen og bruger ofte de samme algoritmer, men perspektivet er forskelligt. Datamining handler primært om at afdække mønstre i data, der allerede findes, og bruges typisk til at forklare eller opsummere, hvad der er sket. Maskinlæring bygger derimod ofte modeller, der trænes til at forudsige eller klassificere nye, ukendte data. I praksis er de to felter komplementære: mønstre fundet gennem datamining kan danne grundlag for nye modeller, mens teknikker fra maskinlæring omvendt kan gøre selve mineringen af data mere effektiv.