Tagarchief: data quality

Park Inn and TV Tower in Berlin - Photo by Florian Wehde (Unsplash)

Training “Certified Data & Analytics Tester” (CDAT) – English spoken – Berlin (Germany)

Data & Analytics United – Certified Data & Analytics Tester  (DAU – CDAT)

As the volume and importance of data grows – we aim to increase the quality of information delivery. One way to achieve this is by having a well designed testing strategy for data centric products.

“DAU Certified Data & Analytics Tester” is a training that has been designed for test engineers, test coordinators, business analysts, data leads, data warehouse developers and business intelligence consultants.

Please join us during two days in Berlin and prepare yourself for the DAU exam.

Training days
  • 12-7-2021 09:00-17:00 CET
  • 13-7-2021 09:00-17:00 CET
​Subjects

After having drawn a common view on the world of Data & Analytics by exploring the concepts of Business Intelligence, Data Warehousing and Data & Analytics, we’ll dive into testing and test processes, focussing on the specifications required when testing data and analytics solutions. ​

We’ll explore Risk Based Testing and the special skills that are required testers dealing with data and analytics.

We will tackle the concept of how to test reports and dashboards, completeness, data quality as well as testing business rules and ETL (extract-, transform and load).

​We will explore differences between data & analytics testing and conventional testing, the specifics of Test Environments when dealing with Data & Analytics, Test Data, Ethics and Privacy Law (e.g. GDPR).

Participants learn how to apply Data Profiling in order to create better test cases and to cover the most relevant Data Quality attributes.

Exam

This training will prepare candidates for the DAU Certified Data & Analytics exam (exam voucher worth EUR 200,- included).

Price

EUR 1.195 excluding VAT incl. Exam Voucher


Yes, I'd like to take enroll in the following course:

Please contact me!

Training Data & Analytics Testing (CDAT-FL) (In House) (VOL)

Tijdens deze praktisch opgezette training leer je meer over gestructureerd testen in complexe Data & Analytics omgevingen.

Na afloop van de training ben je in staat om een teststrategie op te zetten voor Data Warehouse- , Business Intelligence- en Analytics trajecten. Je krijgt handvatten om deze uit te voeren.

De inhoud van de training is gebaseerd op industriestandaarden zoals ISTQB met een specifieke vertaling voor de Data (Analytics) omgeving.

Zie voor meer details de beschrijving van de training.


Titel:  Certified Data & Analytics Testing (Foundation Level)
Code: CDAT-FL
Duur: 4 avonden (in house)
Data: woensdag 15, 22, 29 mei en 5 juni

NB: Dit betreft een maatwerk in house trainingsreeks die specifiek gericht is op testprofessionals van SQS 

Interesse? Neem contact op met Armando Dörsek van Verified.

Datakwaliteit: invloeden, meten en maatregelen

Teams die zich bezig houden met Datawarehousing, Business Intelligence en Analytics bestaan bij de gratie van de kwaliteit van de verstrekte informatie die ze kunnen leveren. Daarbij komt de term datakwaliteit regelmatig langs.

Datakwaliteit is de “fitness for use” van de gegevens. 

Elk bedrijfsproces kan zijn eigen eisen stellen aan de data. De systemen die deze processen ondersteunen zorgen ervoor dat aan deze eisen wordt voldaan – niet meer en niet minder. Het is geen bedrijfsbrede eis: wat voor de één goed is, is voor de ander onder de maat. Bij het ontsluiten van bronnen naar een centraal systeem (datawarehouse, operational data store) zul je hiermee rekening moeten houden.

Oorzaken voor slechte datakwaliteit

Datakwaliteit kan onder meer te wensen overlaten door (1) slechte invoer bij de bron.  Medewerkers in een callcenter worden soms afgerekend op het aantal verwerkte gesprekken, niet op de kwaliteit van de ingevoerde data. Om tijdswinst te boeken kunnen zij o.a. besluiten om het niet zo nauw te nemen met de spelling bij het opvoeren van klantgegevens en om niet-verplichte velden over te slaan. Dit heeft direct weerslag op de datakwaliteit.

Datakwaliteit zal afnemen door het (2) verstrijken van de tijd. Adressen van klanten zullen als gevolg van verhuizingen enz. veranderen. Regelmatige controle op de actualiteit van dergelijke gegevens helpt bij het behouden van juistheid van deze gegevens. Ook veranderende afspraken over de notatie van o.a. kentekens, telefoonnummers en landenaanduidingen hebben hun weerslag op de datakwaliteit.

Een bijzondere maar veel voorkomende categorie is (3) conversie en migratie van data als gevolg van o.a. vervanging of integratie van geautomatiseerde systemen, bij overnames (integreren van datasets van verschillende bedrijven) of schoning (verouderde producten, verstreken bewaartermijnen).

Op voorgaande drie oorzaken kan een datawarehouse- en business intelligence team slechts indirect invloed uitoefenen. Waar het team wél direct invloed op heeft, is op de (4) kwaliteit van de verwerking: het extractie-, transformatie- en laadproces van de data en de  (5) juiste weergave  van de data in de informatieproducten.  Dit kan door goed testen en toetsen onder controle worden gebracht.

De datakwaliteit kun je uitdrukken met behulp van verschillende kwaliteitsattributen (bv. volgens TMap Next, ISO9126 of het IDQ model) in verschillende dimensies (bv. McGilvray, Olsen, Loshin of Strong, Lee & Wang).

Datakwaliteit vaststellen met behulp van Data Profiling

Voor het beperken van de schade door “slechte bronkwaliteit” zal de tester en de business analist zich moeten bekwamen in Data Profiling.

Data profiling is een methode voor data analyse die inzicht oplevert in de waarden, structuur en kwaliteit van de attributen.

Data profiling zou integraal onderdeel moeten zijn van het analyse- en ontwerpproces maar is helaas nog vaak een ondergeschoven kindje. Hierdoor wordt in menig tester of eindgebruiker geconfronteerd met kwalitatief slechte data – of is kostbare cleansing nodig ná ontvangst vanaf het bronsysteem. 

Take Aways van de Dag

  • Start met het meten van data kwaliteit en stel jezelf als organisatie doelen
  • Stem het testproces hierop af en bepaal de te behalen dekking
  • Integreer data profiling vanaf de start in het analyse-, ontwerp- en testproces. Voeg data profiling structureel toe aan het beheerproces om niet verrast te worden door wijzigingen (in data) in bronsystemen.
  • Besef dat de datakwaliteit niet statisch is maar zich zal ontwikkelen. Zorg dat het systeem niet alleen kan omgaan met de data van gisteren – maar óók van morgen!

Workshop “Data Quality” op Testnet Voorjaarsevenement 2016, Houten

Op woensdag 11 mei 2016 vindt het Voorjaarsevenement van Testnet plaats. Van 09:00-21:00 uur zal het NBC gevuld zijn met allerhande soorten testers, voor het delen van ervaringen en het opsnuiven van nieuwe kennis.

Armando Dörsek zal op deze dag met Peter Endema een workshop verzorgen: Data Profiling voor Testers.

De workshop vindt plaats tussen 15:40 uur en 17:20 uur. Neem je eigen laptop mee!

Na enige uitleg door Armando over oorzaken en gevolgen van data issues  neemt Peter de deelnemers mee in het geautomatiseerd analyseren van datasets middels een open source data profiling tool. Testers leren hiermee nieuwe vaardigheden waarmee ze eerder in het traject betrokken zullen worden en die hen nog waardevollere teamleden maakt.

Voor meer informatie over Testnet en het Voorjaarsevenement: https://www.testnet.org/testnet/p000533/bibliotheek/evenementen/voorjaarsevenement-2016-verbreed-je-basis-nieuwe-vaardigheden-voor-testers-korte-samenvatting-workshops