Gegevens opschonen: waarom AI geen magische oplossing is

De meeste organisaties hebben dit jaar AI gekocht om hun dataproblemen op te lossen. Wat ze in plaats daarvan kregen, was een sneller, breder beeld van hoe erg die problemen al waren. In dit PIMvendors.com-webinar gaat medeoprichter Stephan Spijkers aan de slag met Susan Walsh, in de datawereld bekend als de classificatiegoeroe, om uit te leggen waar AI zijn brood verdient in product- en bedrijfsdatawerk, waar het stilletjes een puinhoop groter maakt, en waarom de oplossing nog steeds via mensen loopt en niet via prompts.

Sprekers Stephan Spijkers - Mede-oprichter, PIMvendors.com

Susan Walsh - Oprichter, The Classification Guru Ltd Negen jaar praktijkgericht dataclassificatie- en opschoningswerk voor meer dan 100 klanten wereldwijd, auteur van twee boeken over het corrigeren van vervuilde data.

AI vergroot de rommel die je al hebt De werkdruk van Susans klanten is toegenomen sinds de adoptie van AI is toegenomen, en ze herleidt dit rechtstreeks tot de technologie: AI maakt geen onderscheid tussen schone data en vuile data, het verwerkt alleen sneller en verspreidt het resultaat verder. Een bedrijf met inconsistente productnamen of niet-overeenkomende eenheden krijgt dit niet opgelost door AI. Het zorgt ervoor dat die inconsistentie wordt vermenigvuldigd in elk stroomafwaarts systeem dat ermee in aanraking komt.Geen enkel model wint elke opdracht Susan komt terug op het idee om één AI-tool te kiezen en deze voor alles te gebruiken. De modellen van GPT, Claude en Google zijn elk geschikt voor verschillende taken, en de juiste keuze hangt af van de gegevens en de taak die moet worden uitgevoerd. Ze gebruikt AI om ideeën te verfijnen en rapporten op te stellen, maar zal het niet zonder toezicht als agent laten werken, daarbij verwijzend naar het besluit van Ford om ongeveer duizend medewerkers opnieuw in dienst te nemen nadat de door AI aangestuurde automatisering tekortschoot.

Patroonmatching is geen context Het duidelijkste voorbeeld uit het gesprek: Susans team bouwde een AI-module om de namen van leveranciers te normaliseren, en voegde drie niet-verwante bedrijven (een kapper, een schoonmaakbedrijf en een advocatenkantoor, allemaal toevallig Walsh genaamd) samen tot één groep. Het model zag een herhaald woord en ging uit van een overeenkomst. Op volumeniveau, in een spreadsheet van een miljoen rijen, is zo'n fout bijna onmogelijk met het blote oog op te merken.

De oplossing is documentatie, geen eenmalige opruiming Op de vraag waar ze de beperkte AI-investering aan zou besteden, verkoos Susan documentatie boven één enkele schoonmaakbeurt. Technologie verandert elke paar jaar, maar duidelijke regels voor de manier waarop gegevens worden ingevoerd, geformatteerd en gelabeld, houden stand, ongeacht welke tool een bedrijf gebruikt. Schone gegevens zonder documentatie worden binnen enkele maanden weer vervuild.Waar AI daadwerkelijk zijn plaats verdient Beide sprekers zijn het erover eens dat AI goed presteert op controleerbare, goed gedefinieerde taken: spreadsheetformules, opzoekingen, patroondetectie in grote datasets. Het presteert slechter op basis van subjectieve, contextuele beoordelingsgesprekken, het soort classificatiewerk dat nog steeds afhangt van iemand die de business achter de gegevens begrijpt.

Begin met een draaitabel, niet met een platform Susans praktische uitgangspunt voor elk team dat met dit werk begint: zet productgegevens in een draaitabel, sorteer op beschrijving aan de hand van de productcode en zoek naar inconsistenties die iemand nooit zou ontdekken in een onbewerkte dataset, maar die eruit springt zodra de gegevens zijn geordend. Geef prioriteit aan de zakelijke impact, niet aan de hand van wat het gemakkelijkst als eerste kan worden opgelost.

Susan Walsh zal meer van deze gedachten meenemen naar Product Content Europe op 6 oktober in Utrecht, het productcontentevenement dat PIMvendors.com organiseert in samenwerking met EMM Consultancy. Early bird-tickets zijn tot en met 15 juli geopend op productcontenteurope.com.

👉 Bekijk hoe PIMvendors.com teams helpt bij het bouwen van de databasis die AI daadwerkelijk nodig heeft: pimvendors.com