Alle berichten van Armando Dörsek

10 Fouten in het Datalandschap (waar Testen het verschil kan maken) – Introductie

In juni 2021 heeft Armando Dörsek, onze consultant op gebied van testen, kwaliteit en compliance, een presentatie voor het KNVI verzorgd. Deze heeft als titel: “10 Beginnersfouten in het Datalandschap (waar Testen het verschil kan maken)”. De deelnemers konden door middel van stemming besluiten welke vijf (van tien) onderwerpen die avond toegelicht zouden worden.

Onderwerpen
De deelnemers konden kiezen uit de volgende onderwerpen:

  1. Meer is niet altijd beter…
    (over gebruik van productiedata)
  2. Doet u mij maar een testertje!
    (over specifieke vaardigheden en eigenschappen)
  3. Onderschatting van kaders…
    (over security en privacy)
  4. Datakwaliteit, dat kunnen we niet echt meten?
    (over data-kwaliteitsattributen)
  5. Datakwaliteit? Garbage In = Garbage Out, toch?
    (over eigenaarschap van data, datakwaliteit en effecten op data-projecten)
  6. We herstellen die data hier – omdat het kan.
    (ten koste waarvan corrigeer je data in een datawarehouse)
  7. Onze Helden: de Bugfixers
    (over de delicate balans tussen snel en goed)
  8. Slepen met Data
    (over het effect van “meerdere waarheden” – naast het risico op datalekken)
  9. Wil de Echte Klant opstaan?
    (over acceptatietesten in een dataproject)
  10. Risico’s? Eh…
    (over het nut van risicogebaseerd testen in een dataproject).

Opname
De presentatie (opname) is beschikbaar op de site van de KNVI.

Blogreeks
Op basis van de onderwerpen zal Armando Dörsek een blogreeks schrijven, te starten met de onderwerpen die bij KNVI gepresenteerd zijn.
Houd de site in de gaten!

Enroll in courses for H2-2021 and get your exam voucher for free

Trainings for the second half of 2021 are currently being planned. Verified will be organizing trainings in Berlin, Copenhagen, Utrecht and Schiphol Amsterdam. If you’re participating in one of these trainings, you’ll get a free (*) exam voucher, worth EUR 190,-.

This way, planning ahead is really beneficial!

*) Rules apply
Valid for all CDAT trainings from July through December 2021, organized by Verified and enrolled before 1 July 2021 through the Verified-website. The free voucher is part of a (paid) training and will be sent to the attendee immediately after full payment and upon completing the training.

    Yes, I'd like to enroll in the following course:

    Please contact me!

    Cursusdata 1e Half Jaar 2021

    Voor de training DAU Certified Data & Analytics Tester (CDAT) hebben we de volgende data ingepland voor het eerste half jaar van 2021.

    • 25 & 26 januari 2020, Live in Utrecht indien mogelijk (anders on line), Nederlands gesproken
    • 18 & 25 februari en 4 & 11 maart, Online sessies van 1400-1700 uur (CET), Engels Nederlands gesproken
    • 25 & 26 maart, Live in Den Haag Utrecht (indien mogelijk, anders online). Nederlands gesproken
    • 19, 20 & 21 april, Online sessies, Engels gesproken.
    • 10 & 11 mei, Live in Berlijn (indien mogelijk, anders on line). Engels gesproken.
    • 26 mei en 2, 16 & 23 juni, Online sessies van 14:00-17:00 uur (CET), Engels gesproken.
    • 8 & 9 juni, Live in Amsterdam (indien mogelijk , anders on line). Nederlands gesproken.
    • 12 & 13 juli, Live in Berlijn (indien mogelijk, anders on line). Engels gesproken.

    Zie de evenementenkalender voor details en voor het inschrijvingsformulier.

    Daarnaast blijft het mogelijk om in company trainingen  en trainingen op maat aan te vragen.  Vragen? Neem vooral contact met Verified op, we staan je graag te woord.

    Black Friday Deal voor training “Certified Data & Analytics Tester”

    Profiteer nu van de Black Friday Deal en ontvang een gratis examen t.w.v. EUR 200,- bij je inschrijving voor “Certified Data & Analytics Tester” tot en met vrijdag 27 november 2020 (CET).

    Dit betekent dat je voor de tweedaagse training inclusief het examen van Brightest nu geen EUR 1195,- maar slechts EUR 995,- betaalt (ex. BTW).

    Schrijf je nu in en vermeld in het commentaarveld “Black Friday 2020” om aanspraak te maken op deze korting.

      Ja, ik neem graag deel aan de volgende training:

      Neem alstublieft contact met mij op!

      Online Training van CDAT in het Engels

      In samenwerking met Ammerlaan IT Advies & Opleidingen verzorgt Verified in oktober 2020 de training “DaU Certified Data & Analytics Testing” in een Engelstalige online variant.

      De cursus behandelt essentiële kennis en vaardigheden voor het testen en toetsen van datawarehouse-, business intelligence (rapportages, dashboards) en analytics oplossingen. De doelgroep omvat niet alleen testers maar ook ontwikkelaars, analisten en data scientists.

      De deelnemers ontvangen op 4 woensdagmiddagen alle stof die nodig is voor het behalen van het examen voor CDAT.  Door te kiezen voor deze vorm bedienen we niet alleen de Engelstalige medewerkers in Nederland maar ook geïnteresseerden in het buitenland (bv. Europa,  India en het oosten van Noord- en Zuid Amerika).

      Naast deze online training blijven natuurlijk ook de klassikale open inschrijvingen én de in-company training op de kalender staan. Bekijk alle trainingsdata hier.

      Image showing person from above making notes next to a laptop
      Photo by J. Kelly Brito on Unsplash

      DaU CDAT Syllabus is gereed

      Na een review door tientallen experts uit binnen- en buitenland is de Syllabus voor de training DaU “Certified Data & Analytics Tester” een feit! Jaap, Rogier en Armando hebben daarmee de basis gelegd voor het vernieuwde cursusmateriaal en de examens voor deze training.

      Je kunt de Engelstalige syllabus (gratis) downloaden
      op de site van Data & Analytics United.

      De voorloper van DaU CDAT was reeds goed bezocht en prima beoordeeld, deze reviews hebben het materiaal naar een nog hoger niveau gebracht. Je kunt de training afronden met een examen dat via Brightest wordt afgenomen. Je diploma is tevens internationaal erkend door Data & Analytics United.

      Interesse in het volgen (en/of geven) van deze training? Neem Contact met ons op of kijk eerst de introductievideo op de site van  Data & Analytics United.

      Data Analytics United Logo

      CDAT gaat internationaal met Brightest

      Verified is trots om te melden dat we onze training “Certified Data & Analytics Tester (CDAT)” onder de vlag van Brightest gaan delen met een internationaal publiek.

      Logo BrighTest.org

      Brightest is een internationale organisatie die zich richt op certificeringstrajecten op het gebied van software testen. Wellicht kent u hen al van ISTQB trainingen, Selenium United, Agile United of DevOps United. Binnenkort komt daar een nieuwe loot aan de boom bij, met Data & Analytics United.

      Data Analytics United Logo

      Onderdeel van dit traject is een review van de Syllabus van de training “Certified Data & Analytics Tester” door een panel van experts in binnen- en buitenland. Deze syllabus is opgesteld door Rogier Ammerlaan, Jaap de Roos en Verified-oprichter Armando Dörsek. Zodra deze review succesvol is afgerond, kunt u deze (Engelstalige) syllabus terugvinden op de site van Brightest.

      Bij het behalen van de DaU certificaten van Brightest kunt u aantonen dat u kennis en vaardigheden bezit die wereldwijde erkenning genieten.

      Certified Data & Analytics Tester: Mijlpaal

      Borrelmoment bij grondleggers CDAT Foundation

      Ongeveer twee jaar geleden legden Jaap de Roos (DataConnected), Rogier Ammerlaan (Ammerlaan Trainingen) en Armando Dörsek (Verified.nl) de basis voor de training van Certified Data & Analytics Tester (CDAT). Na het verzorgen van een reeks trainingen in Nederland werd het tijd voor enige vernieuwing: binnenkort volgt hier meer nieuws.

      (Een tipje van de sluier: uw certificaat (er)kent men straks ook buiten Nederland…)

      Screenshot van een online meeting met afbeeldingen van Armando Dörsek (links), Rogier Ammerlaan (midden) and Jaap de Roos (rechts)
      v.l.n.r. Armando Dörsek, Rogier Ammerlaan, Jaap de Roos

       

      Data & Analytics Testing Tools Summary (2)

      Testing of Data & Analytics environments is increasingly supported by test tools. At Verified, we wonder what your experience is with one of these tools – and if you propose certain tools that have helped you ?

      Please let us know, by leaving a message under this post, through the Contact FormLinkedIn or Twitter or contact us in any way you prefer. If you like, we can reply with a listing of more than 15 tools that should help testers and analysts  in testing and quality issues. 

      The previous post on Test Tools can be found here.

      Note: We are not sponsored in any way by the tool providers.

      RTTS QuerySurge

      Querysurge is a commercial product made for testing ETL, where comparison of source and target tables is the main object.

      It offers dashboards, query wizards, various prefabricated queries for comparison of data, text search etc.

      A trial version is available: https://www.querysurge.com/compare-trial-options

      Note that for BI Testing, an add on is available. Connectors are available for Cognos, Tableau, SAP Business Objects, Microstrategy and OBIEE.  Features include comparison of reports when upgrading or migrating, querying report meta data.

      ICEDQ

      iCEDQ is a commercial ETL Test Tool, which runs in the cloud, on premise or hybrid.

      It offers a rule engine module, which features:

      • Checksum rules (e.g. row counts)
      • Reconciliation rules (e.g. missing records)
      • Validity rules (SCD Type 2, Format Checks)
      • Script rules (e.g. execute DML/DDL, pre and post actions).

      iCEDQ currently integrates with Jenkins, TFS, Jira, HP ALM and ServiceNow.

      iCEDQ offers trials through their website:

      https://icedq.com/download-icedq-trial

      Bitwise QualiDI

      QualiDI focuses on ETL testing from sources to targets.

      It provides data validation and comparison of data, has a centralized repository of requirements, test cases, test results and has a API trigger based automation of test execution.

      There is Business Rules Engine, enabling non-technical users to write rules instead of queries. It integrates with Bitwise Test Data Management Suite for providing test data.

      QualiDi is a commercial product, a 30 day trial is available

      Source: https://www.bitwiseglobal.com/innovations/qualidi/

      SSIS Tester

      SSIS Tester is offered by bytesoftwo and focuses on testing Microsoft SSIS.

      SSIS Tester is a testing framework built on top of SQL Server Integration Services. It enables you to test packages, tasks and precedence constraints. It supports two types of tests:

      1. unit tests
      2. integration tests.

      SSIS Tester helps you to develop you ETL process in the test driven manner and to identify errors early in the development process. It offers “data taps” and fake source or targe components, enabling developers to work independently. Tests target packages or particular tasks.

      More information on SSIS Tester on MSDN can be found here:

      http://msdn.microsoft.com/en-us/magazine/dn342874.aspx

      SSIS Tester offers a free 21-day trial version:

      http://www.bytesoftwo.com/download.html

      Next 4 Tools

      In a few weeks I will publish the next Blog post, asking for new experiences. Thanks for reading this post!

      Omdat deze tekst gericht is op een internationaal publiek, heb ik ervoor gekozen om de bovenstaande tekst in het Engels op te stellen. Stelt u prijs op een vertaling naar het Nederlands? Neemt u dan aub contact met ons op.

      Data & Analytics Testing Tools Summary (1)

      Introduction

      During the training Certified Data & Analytics Tester (Foundation Level) we provide a list of tools that can be used in testing or monitoring Business Intelligence and Data Warehouse products.

      Below you can find the first 4 tools of this list, with a short description and links to the tool providers.

      We are curious for your experiences when using these tools. What have they brought to your (testing) team? What is a Big Plus of using the tool – and with which features are you less impressed? Is an active user community available, or a help desk that makes a difference? Please let us know, by leaving a message under this post, through the Contact Form, LinkedIn or Twitter.

      Note: We are not being sponsored by one of the products or their integration partners.

      Data Cleaner

      Data Cleaner is software which is used for Data Profiling.

      It can also be used in the process of creating logical and physical test cases as it offers extensive support to analyze and browse through data sets.

      Data Cleaner also offers features to clean, transform and export data sets. Rules can be built and reused.

      Data Cleaner is free, additional (paid) features are available.

      It can be downloaded to your desktop (Windows, Mac) environment from sourceforge or the community website:

      https://datacleaner.org/

      SAS Unit

      SAS Unit is a framework for the unit testing of SAS programs (SAS EG 9.2, 9.3, 9.4).

      Amongst others, SAS Unit offers features to assess test coverage of SAS Macros, running tests in batch mode, performance testing of SAS programs.

      SAS Unit uses assertions to test the values of macro variables, contents of SAS data sets, relations between data sets, the existence of files incl. log files and – messages.

      SAS Unit is open source software and built from SAS macros.

      https://sourceforge.net/projects/sasunit/

      Informatica DVO

      Informatica offers a testing solution called Data Validation Option for PowerCenter (DVO).

      The DataValidator for PowerCenter product was originally developed by a company DVO SOFTWARE. It is now available under the Informatica brand as Informatica PowerCenter Data Validation Option.

      DVO is a custom tool built on top of Informatica PowerCenter. DVO integrates with the Informatica PowerCenter Repository and Integration Services and enables developers and business analysts to create rules to test the data being transformed during the data integration process.

      Informatica mentions the following ETL Testing Use Cases: Production Validation Testing, Source to Target Testing and Application upgrades.

      Amongst others, it features:

      • An easy-to-use GUI interface to test the rules created for data validations for multiple projects.
      • No programming skills needed to create validation tests.
      • A repository with reporting capabilities to provide a complete audit trail of all tests and their results.
      • Reading data definitions from PowerCenter metadata repositories and can easily deal with data definition changes.

      Note that DVO tests data only, not mappings or workflows. Testing mappings is unit testing, which is different from data validation.

      As DVO is a commercial product it may be attractive to Informatica Power Center users. At this moment, no free trial seems available (Feb 9, 2020).

      www.informatica.com

      Datagaps ETL Validator

      Datagaps offers several products, e.g. ETL Validator, BI Validator, Data Flow and Test Data Manager.

      The Datagaps ETL Validator comes pre-packaged with an ETL engine capable of extracting and comparing millions of records from multiple data sources while executing test cases in parallel.

      ETL Validator also has a Visual Test Case Builder with drag-and-drop capabilities and a Query Builder that enables defining tests without manual typing.

      Key features include enterprise collaboration, flat file testing, data profile testing, baselining, data quality testing, and database metadata testing.

      Datagaps offers a free 30-day trial.

      https://www.datagaps.com/etl-testing-tools/etl-validator-download

      Next 4 Tools

      The next page shows another 4 tools.

      Omdat deze tekst gericht is op een internationaal publiek, heb ik ervoor gekozen om de bovenstaande tekst in het Engels op te stellen. Stelt u prijs op een vertaling naar het Nederlands? Neemt u dan aub contact met ons op.

      Certified Data & Analytics Tester – ingepland voor 2020

      In 2019 hebben we een aantal succesvolle cursusreeksen uitgevoerd voor de training “Certified Data Analytics Tester”, oftewel CDAT.

      Oók een CDAT-training volgen? Goed idee! Dat kan in 2020 op diverse locaties in Nederland:

      16-04-2020 Amsterdam
      07-09-2020 Utrecht
      19-11-2020 Den Haag

      Uiteraard kunnen we in-house trainingen verzorgen, vraag naar de mogelijkheden.

      Kalender

      Verified feliciteert 6 nieuwe Certified Data & Analytics Testers

      Geslaagd: afbeelding van studenten die hun hoofddeksels in de lucht gooien

      Afgelopen week verzorgde Verified samen met Ammerlaan IT & Trainingen en DataConnected de training “Certified Data & Analytics Tester” en we zijn trots op alle deelnemers!

      Het waren dagen met goede discussies en nieuwe inzichten voor iedereen. We hebben hard gewerkt en plezier gehad met uiteindelijk een prima resultaat. Zes van de zeven deelnemers zijn in één keer geslaagd voor het examen. De docenten ontvingen een mooie 8 als beoordeling.