Categoriearchief: Testen

Online Training van CDAT in het Engels

In samenwerking met Ammerlaan IT Advies & Opleidingen verzorgt Verified in oktober 2020 de training “DaU Certified Data & Analytics Testing” in een Engelstalige online variant.

De cursus behandelt essentiële kennis en vaardigheden voor het testen en toetsen van datawarehouse-, business intelligence (rapportages, dashboards) en analytics oplossingen. De doelgroep omvat niet alleen testers maar ook ontwikkelaars, analisten en data scientists.

De deelnemers ontvangen op 4 woensdagmiddagen alle stof die nodig is voor het behalen van het examen voor CDAT.  Door te kiezen voor deze vorm bedienen we niet alleen de Engelstalige medewerkers in Nederland maar ook geïnteresseerden in het buitenland (bv. Europa,  India en het oosten van Noord- en Zuid Amerika).

Naast deze online training blijven natuurlijk ook de klassikale open inschrijvingen én de in-company training op de kalender staan. Bekijk alle trainingsdata hier.

Image showing person from above making notes next to a laptop

Photo by J. Kelly Brito on Unsplash

DaU CDAT Syllabus is gereed

Na een review door tientallen experts uit binnen- en buitenland is de Syllabus voor de training DaU “Certified Data & Analytics Tester” een feit! Jaap, Rogier en Armando hebben daarmee de basis gelegd voor het vernieuwde cursusmateriaal en de examens voor deze training.

Je kunt de Engelstalige syllabus (gratis) downloaden
op de site van Data & Analytics United.

De voorloper van DaU CDAT was reeds goed bezocht en prima beoordeeld, deze reviews hebben het materiaal naar een nog hoger niveau gebracht. Je kunt de training afronden met een examen dat via Brightest wordt afgenomen. Je diploma is tevens internationaal erkend door Data & Analytics United.

Interesse in het volgen (en/of geven) van deze training? Neem Contact met ons op of kijk eerst de introductievideo op de site van  Data & Analytics United.

Data Analytics United Logo

CDAT gaat internationaal met Brightest

Verified is trots om te melden dat we onze training “Certified Data & Analytics Tester (CDAT)” onder de vlag van Brightest gaan delen met een internationaal publiek.

Logo BrighTest.org

Brightest is een internationale organisatie die zich richt op certificeringstrajecten op het gebied van software testen. Wellicht kent u hen al van ISTQB trainingen, Selenium United, Agile United of DevOps United. Binnenkort komt daar een nieuwe loot aan de boom bij, met Data & Analytics United.

Data Analytics United Logo

Onderdeel van dit traject is een review van de Syllabus van de training “Certified Data & Analytics Tester” door een panel van experts in binnen- en buitenland. Deze syllabus is opgesteld door Rogier Ammerlaan, Jaap de Roos en Verified-oprichter Armando Dörsek. Zodra deze review succesvol is afgerond, kunt u deze (Engelstalige) syllabus terugvinden op de site van Brightest.

Bij het behalen van de DaU certificaten van Brightest kunt u aantonen dat u kennis en vaardigheden bezit die wereldwijde erkenning genieten.

Data & Analytics Testing Tools Summary (2)

Testing of Data & Analytics environments is increasingly supported by test tools. At Verified, we wonder what your experience is with one of these tools – and if you propose certain tools that have helped you ?

Please let us know, by leaving a message under this post, through the Contact FormLinkedIn or Twitter or contact us in any way you prefer. If you like, we can reply with a listing of more than 15 tools that should help testers and analysts  in testing and quality issues. 

The previous post on Test Tools can be found here.

Note: We are not sponsored in any way by the tool providers.

RTTS QuerySurge

Querysurge is a commercial product made for testing ETL, where comparison of source and target tables is the main object.

It offers dashboards, query wizards, various prefabricated queries for comparison of data, text search etc.

A trial version is available: https://www.querysurge.com/compare-trial-options

Note that for BI Testing, an add on is available. Connectors are available for Cognos, Tableau, SAP Business Objects, Microstrategy and OBIEE.  Features include comparison of reports when upgrading or migrating, querying report meta data.

ICEDQ

iCEDQ is a commercial ETL Test Tool, which runs in the cloud, on premise or hybrid.

It offers a rule engine module, which features:

  • Checksum rules (e.g. row counts)
  • Reconciliation rules (e.g. missing records)
  • Validity rules (SCD Type 2, Format Checks)
  • Script rules (e.g. execute DML/DDL, pre and post actions).

iCEDQ currently integrates with Jenkins, TFS, Jira, HP ALM and ServiceNow.

iCEDQ offers trials through their website:

https://icedq.com/download-icedq-trial

Bitwise QualiDI

QualiDI focuses on ETL testing from sources to targets.

It provides data validation and comparison of data, has a centralized repository of requirements, test cases, test results and has a API trigger based automation of test execution.

There is Business Rules Engine, enabling non-technical users to write rules instead of queries. It integrates with Bitwise Test Data Management Suite for providing test data.

QualiDi is a commercial product, a 30 day trial is available

Source: https://www.bitwiseglobal.com/innovations/qualidi/

SSIS Tester

SSIS Tester is offered by bytesoftwo and focuses on testing Microsoft SSIS.

SSIS Tester is a testing framework built on top of SQL Server Integration Services. It enables you to test packages, tasks and precedence constraints. It supports two types of tests:

  1. unit tests
  2. integration tests.

SSIS Tester helps you to develop you ETL process in the test driven manner and to identify errors early in the development process. It offers “data taps” and fake source or targe components, enabling developers to work independently. Tests target packages or particular tasks.

More information on SSIS Tester on MSDN can be found here:

http://msdn.microsoft.com/en-us/magazine/dn342874.aspx

SSIS Tester offers a free 21-day trial version:

http://www.bytesoftwo.com/download.html

Next 4 Tools

In a few weeks I will publish the next Blog post, asking for new experiences. Thanks for reading this post!

Omdat deze tekst gericht is op een internationaal publiek, heb ik ervoor gekozen om de bovenstaande tekst in het Engels op te stellen. Stelt u prijs op een vertaling naar het Nederlands? Neemt u dan aub contact met ons op.

Data & Analytics Testing Tools Summary (1)

Introduction

During the training Certified Data & Analytics Tester (Foundation Level) we provide a list of tools that can be used in testing or monitoring Business Intelligence and Data Warehouse products.

Below you can find the first 4 tools of this list, with a short description and links to the tool providers.

We are curious for your experiences when using these tools. What have they brought to your (testing) team? What is a Big Plus of using the tool – and with which features are you less impressed? Is an active user community available, or a help desk that makes a difference? Please let us know, by leaving a message under this post, through the Contact Form, LinkedIn or Twitter.

Note: We are not being sponsored by one of the products or their integration partners.

Data Cleaner

Data Cleaner is software which is used for Data Profiling.

It can also be used in the process of creating logical and physical test cases as it offers extensive support to analyze and browse through data sets.

Data Cleaner also offers features to clean, transform and export data sets. Rules can be built and reused.

Data Cleaner is free, additional (paid) features are available.

It can be downloaded to your desktop (Windows, Mac) environment from sourceforge or the community website:

https://datacleaner.org/

SAS Unit

SAS Unit is a framework for the unit testing of SAS programs (SAS EG 9.2, 9.3, 9.4).

Amongst others, SAS Unit offers features to assess test coverage of SAS Macros, running tests in batch mode, performance testing of SAS programs.

SAS Unit uses assertions to test the values of macro variables, contents of SAS data sets, relations between data sets, the existence of files incl. log files and – messages.

SAS Unit is open source software and built from SAS macros.

https://sourceforge.net/projects/sasunit/

Informatica DVO

Informatica offers a testing solution called Data Validation Option for PowerCenter (DVO).

The DataValidator for PowerCenter product was originally developed by a company DVO SOFTWARE. It is now available under the Informatica brand as Informatica PowerCenter Data Validation Option.

DVO is a custom tool built on top of Informatica PowerCenter. DVO integrates with the Informatica PowerCenter Repository and Integration Services and enables developers and business analysts to create rules to test the data being transformed during the data integration process.

Informatica mentions the following ETL Testing Use Cases: Production Validation Testing, Source to Target Testing and Application upgrades.

Amongst others, it features:

  • An easy-to-use GUI interface to test the rules created for data validations for multiple projects.
  • No programming skills needed to create validation tests.
  • A repository with reporting capabilities to provide a complete audit trail of all tests and their results.
  • Reading data definitions from PowerCenter metadata repositories and can easily deal with data definition changes.

Note that DVO tests data only, not mappings or workflows. Testing mappings is unit testing, which is different from data validation.

As DVO is a commercial product it may be attractive to Informatica Power Center users. At this moment, no free trial seems available (Feb 9, 2020).

www.informatica.com

Datagaps ETL Validator

Datagaps offers several products, e.g. ETL Validator, BI Validator, Data Flow and Test Data Manager.

The Datagaps ETL Validator comes pre-packaged with an ETL engine capable of extracting and comparing millions of records from multiple data sources while executing test cases in parallel.

ETL Validator also has a Visual Test Case Builder with drag-and-drop capabilities and a Query Builder that enables defining tests without manual typing.

Key features include enterprise collaboration, flat file testing, data profile testing, baselining, data quality testing, and database metadata testing.

Datagaps offers a free 30-day trial.

https://www.datagaps.com/etl-testing-tools/etl-validator-download

Next 4 Tools

The next page shows another 4 tools.

Omdat deze tekst gericht is op een internationaal publiek, heb ik ervoor gekozen om de bovenstaande tekst in het Engels op te stellen. Stelt u prijs op een vertaling naar het Nederlands? Neemt u dan aub contact met ons op.

SQS kiest voor training Certified Data & Analytics Testing (CDAT)

SQS is een wereldspeler op gebied van testen en kwaliteit. Zij laten een selecte groep medewerkers deelnemen aan de training  Certified Data & Analytics Testing (CDAT).

De professionals van SQS zijn reeds experts op gebied van testen en QA. Ammerlaan IT Training & Advies, DataConnected en Verified.nl stellen daarom een maatwerk programma op dat gaat starten in mei én september van dit jaar.

Ook interesse in een maatwerkprogramma? Of in de reguliere training – maar op een andere plaats of tijd? Neem vooral contact op met Armando Dörsek van Verified.nl.

 

Trainingen Data & Analytics Testing voor 2018 ingepland

Meer weten over het testen van business intelligence, data warehouse en analytics omgevingen?

Samen met Ammerlaan Training & Advies en de netwerkorganisatie DataConnected biedt Verified.nl de unieke 3-daagse training “Certified Data & Analytics Testing Foundation Level (CDAT-FL)” in Nederland aan.

Open inschrijving voor 2018 is m.i.v. heden mogelijk: de trainingen staan ingepland in april, juni en oktober. Bovendien start in mei een reeks op de woensdagavonden.

Zie de evenementenpagina’s voor meer details.

Inschrijven? Interesse in een in-house variant? Neem contact op met Verified.nl en vraag naar de mogelijkheden.

Datakwaliteit: invloeden, meten en maatregelen

Teams die zich bezig houden met Datawarehousing, Business Intelligence en Analytics bestaan bij de gratie van de kwaliteit van de verstrekte informatie die ze kunnen leveren. Daarbij komt de term datakwaliteit regelmatig langs.

Datakwaliteit is de “fitness for use” van de gegevens. 

Elk bedrijfsproces kan zijn eigen eisen stellen aan de data. De systemen die deze processen ondersteunen zorgen ervoor dat aan deze eisen wordt voldaan – niet meer en niet minder. Het is geen bedrijfsbrede eis: wat voor de één goed is, is voor de ander onder de maat. Bij het ontsluiten van bronnen naar een centraal systeem (datawarehouse, operational data store) zul je hiermee rekening moeten houden.

Oorzaken voor slechte datakwaliteit

Datakwaliteit kan onder meer te wensen overlaten door (1) slechte invoer bij de bron.  Medewerkers in een callcenter worden soms afgerekend op het aantal verwerkte gesprekken, niet op de kwaliteit van de ingevoerde data. Om tijdswinst te boeken kunnen zij o.a. besluiten om het niet zo nauw te nemen met de spelling bij het opvoeren van klantgegevens en om niet-verplichte velden over te slaan. Dit heeft direct weerslag op de datakwaliteit.

Datakwaliteit zal afnemen door het (2) verstrijken van de tijd. Adressen van klanten zullen als gevolg van verhuizingen enz. veranderen. Regelmatige controle op de actualiteit van dergelijke gegevens helpt bij het behouden van juistheid van deze gegevens. Ook veranderende afspraken over de notatie van o.a. kentekens, telefoonnummers en landenaanduidingen hebben hun weerslag op de datakwaliteit.

Een bijzondere maar veel voorkomende categorie is (3) conversie en migratie van data als gevolg van o.a. vervanging of integratie van geautomatiseerde systemen, bij overnames (integreren van datasets van verschillende bedrijven) of schoning (verouderde producten, verstreken bewaartermijnen).

Op voorgaande drie oorzaken kan een datawarehouse- en business intelligence team slechts indirect invloed uitoefenen. Waar het team wél direct invloed op heeft, is op de (4) kwaliteit van de verwerking: het extractie-, transformatie- en laadproces van de data en de  (5) juiste weergave  van de data in de informatieproducten.  Dit kan door goed testen en toetsen onder controle worden gebracht.

De datakwaliteit kun je uitdrukken met behulp van verschillende kwaliteitsattributen (bv. volgens TMap Next, ISO9126 of het IDQ model) in verschillende dimensies (bv. McGilvray, Olsen, Loshin of Strong, Lee & Wang).

Datakwaliteit vaststellen met behulp van Data Profiling

Voor het beperken van de schade door “slechte bronkwaliteit” zal de tester en de business analist zich moeten bekwamen in Data Profiling.

Data profiling is een methode voor data analyse die inzicht oplevert in de waarden, structuur en kwaliteit van de attributen.

Data profiling zou integraal onderdeel moeten zijn van het analyse- en ontwerpproces maar is helaas nog vaak een ondergeschoven kindje. Hierdoor wordt in menig tester of eindgebruiker geconfronteerd met kwalitatief slechte data – of is kostbare cleansing nodig ná ontvangst vanaf het bronsysteem. 

Take Aways van de Dag

  • Start met het meten van data kwaliteit en stel jezelf als organisatie doelen
  • Stem het testproces hierop af en bepaal de te behalen dekking
  • Integreer data profiling vanaf de start in het analyse-, ontwerp- en testproces. Voeg data profiling structureel toe aan het beheerproces om niet verrast te worden door wijzigingen (in data) in bronsystemen.
  • Besef dat de datakwaliteit niet statisch is maar zich zal ontwikkelen. Zorg dat het systeem niet alleen kan omgaan met de data van gisteren – maar óók van morgen!

Presentatie TestNet Thema-avond Werkgroep “Testen van BI/DWH”

Op 8 september 2015 stonden Ferran Rohaan (CloseSure), Brian Engel (Squerist) en Armando Dörsek (Verified) op de bühne bij de thema-avond van TestNet over het testen van Business Intelligence en Datawarehousing. Het NBC was gevuld met bijna 100 testers, waarvan ongeveer de helft nu actief is in een BI/DWH-traject.

Alle drie de sprekers maken deel uit van de werkgroep Testen van BI/DWH van TestNet en namen een stuk van de presentatie voor hun rekening.

Ferran Rohaan vertelde over enkele uitgangspunten van Business Intelligence en Datawarehousing. Hij sprak ook over de mogelijkheden die het realiseren van een Audit Trail biedt voor ontwikkelaars, testers, beheerders en auditors.

Brian Engel sprak over nut & noodzaak van testautomatisering in BI/DWH projecten en het aanbod en de selectie van testtools gericht op deze trajecten.

Armando vertelde over de werkgroep en de producten daarvan. Hij lichtte de teststrategie in BI/DWH-trajecten toe, hoe dit zich vertaalt naar een testaanpak, of bekende testspecificatietechnieken inzetbaar zijn  en welke  rollen en “skills” passen bij BI/DWH-testers.

Veel bezoekers  maakten bij de borrel gebruik van de mogelijkheid om met de presentatoren spreken over persoonlijke uitdagingen in BI-trajecten. Zo kwamen o.a. ontwikkelingen zoals Big Data, Agile/Scrum en testen aan de orde. Vervolgafspraken staan reeds genoteerd! Heeft u ook een vraag, neem dan vrijblijvend contact op met de sprekers: thema-avond-BI@verified.nl

De presentatie: Testnet-Werkgroep-BI-Testen-20150908-v1.0

 

De video:

Presentation at Nordic Testing Days 2013

The Nordic Testing Days 2013 were held in Tallinn, Estonia from 5-7 June. Together with colleague and friend Iris Groenewoudt I was invited to give a presentation on Testing in Agile Business Intelligence projects.

The presentation can be found here on the NTD website.

We had a great time in the beautiful city of Tallinn and we met many nice new colleagues in the field of Software Testing. I certainly hope to visit Tallinn again in the future.

ntd2013_presentatie (2)

 

 

 

Estonia here I come!

I am very happy to announce that I will be presenting at Nordic Testing Days 2013!

Earlier this year I responded to the Call For Papers and my presentation about “Testing in Agile Business Intelligence Projects” was selected.

The Nordic Testing Days will be held in Tallinn, Estonia from 5-7 June at the beautiful Meriton.  The program consists of one tutorial day and two conference days. You can attend one or both, or even share days with a colleague. This year’s theme is “Testers & Developers – Partners in Quality”.

Other names are: Alon Linetzki (Agile Testing), Geoff Thompson (TMMi) and Margus Simson (key note speaker).

Hope to see you at #NTD2013!

Nu als download: presentatie TestNet Event (2012)

Dank u wel voor uw interesse in de presentatie van Iris Groenewoudt en Armando Dörsek op het TestNet najaarsevenement (2012).

Artikel
Het artikel dat we in aanloop naar het Evenement hebben geschreven is nu te downloaden via de TestNet website.

Presentatie
De presentatie zoals ik die op het TestNet Najaarsevenement heb verzorgd staat hier op deze site en ook op die van TestNet.

NB: Binnenkort zullen we de uitgebreide versie van dit artikel net als verdere referenties, verwijzingen en andere downloads over dit onderwerp plaatsen.

Contact
Wilt u contact met me opnemen, schroom dan niet om het contactformulier in te vullen of mij te bellen, zie de Contactpagina.