kwalificatie:V1.0 Handleiding Touchstone: verschil tussen versies

Uit informatiestandaarden
Naar navigatie springen Naar zoeken springen
 
(34 tussenliggende versies door 3 gebruikers niet weergegeven)
Regel 1: Regel 1:
====Testopzet DVP====
+
__NUMBEREDHEADINGS__
Bij testen waar de DVP het testobject is ziet de testopstelling er als volgt uit:
+
{{kwalificatie:V1.0_Issuebox}}
 +
<section begin="Introductie Touchstone"/>
 +
===Introductie Touchstone===
  
[[Bestand:Touchstone_DVP.png|link= |750px|Touchstone_DVP]]
+
Om FHIR-implementaties van een informatiestandaard te beproeven en te kwalificeren is de Touchstone-simulatieomgeving beschikbaar. Dit is een online platform waarmee leveranciers zelf tests kunnen uitvoeren en validatieresultaten kunnen inzien. Nictiz stelt de hiervoor benodigde testscripts beschikbaar. Deze komen overeen met de functionele testscripts bij een informatiestandaard.
 +
 
 +
Algemene opmerkingen over het gebruik van de simulator:
 +
* De simulator is niet bedoeld voor loadtesten, maar voor inhoudelijke controles tegen informatiestandaarden;
 +
* Nictiz vraagt verantwoord gebruik van deze simulator, neem bij twijfel over gebruik contact op.
 +
 
 +
====Testopzet client====
 +
Bij testen waar de FHIR-client het testobject is ziet de testopstelling er als volgt uit:
 +
 
 +
[[Bestand:Touchstone client.jpg|link= |750px]]
  
 
De opzet is hier als volgt:
 
De opzet is hier als volgt:
* De PGO/DVP is het testobject van de leverancier.
+
* De client is het testobject van de leverancier.
 
* Touchstone staat in het midden en stelt testen/testscripts, logging, validatie en overzicht beschikbaar.
 
* Touchstone staat in het midden en stelt testen/testscripts, logging, validatie en overzicht beschikbaar.
* Daarachter staat een (WildFHIR) FHIR-server met de MedMij profielen en juiste testberichten, passend bij de testscripts.
+
* Daarachter staat een FHIR-server (WildFHIR) met de FHIR-profielen en testberichten passend bij de testscripts.
  
====Testopzet DVZA====
+
====Testopzet server====
Bij testen waar de DVZA het testobject is ziet de testopstelling er als volgt uit:
+
Bij testen waar de FHIR-server het testobject is ziet de testopstelling er als volgt uit:
  
[[Bestand:Touchstone_DVZA.png|link= |550px|Touchstone_DVZA]]
+
[[Bestand:Touchstone server.jpg|link= |550px]]
  
 
De opzet is hier als volgt:
 
De opzet is hier als volgt:
 
* Touchstone stelt testen/testscripts, logging, validatie en overzicht beschikbaar. Daarnaast is Touchstone ook een FHIR-client die interacties kan versturen volgens de testscripts.
 
* Touchstone stelt testen/testscripts, logging, validatie en overzicht beschikbaar. Daarnaast is Touchstone ook een FHIR-client die interacties kan versturen volgens de testscripts.
* De DVZA is het testobject van de leverancier, in het algemeen een FHIR-server.
+
* De server is het testobject van de leverancier.
 +
<section end="Introductie Touchstone" />
 +
<section begin="Touchstone-account"/>
  
===Configureren simulator===
+
===Touchstone-account===
====Simulator====
+
====Account aanmaken====
MedMij organiseert testen zoveel mogelijk remote en via internet met behulp van een kwalificatiesimulator. MedMij gebruikt voor FHIR-testen de Touchstone simulator, zie https://touchstone.com
 
  
Het voordeel van het gebruik van deze tool is dat:
+
Leveranciers hebben een eigen bedrijfsaccount nodig voor hun organisatie op Touchstone. Er zijn [https://touchstone.aegis.net/touchstone/subscription verschillende abonnementsvormen beschikbaar], waaronder een gratis abonnement. Deze optie (Open) biedt die alle mogelijkheden om te kunnen testen en kwalificeren, maar kent wel limieten, onder meer het aantal tests dat per dag kan worden uitgevoerd.
* Testen online kunnen gebeuren;
 
* Testen kunnen plaatsvinden op het moment dat het de softwareleverancier zelf uitkomt;
 
* Testen laagdrempelig is de focus ligt op de payload en infrastructurele zaken buiten scope van de test zijn;
 
* Meerdere testen tegelijkertijd kunnen plaatsvinden;
 
* De respons voorspelbaar is;
 
* De leverancier zelf inzicht heeft in de verstuurde berichten/documenten en validatieresultaten;
 
* De leverancier de mogelijkheid heeft om zichzelf te bevragen, of berichten naar zichzelf te sturen.
 
  
De simulator biedt tijdens de ontwikkeling de mogelijkheid om vooraf gedefinieerde inhoud terug te geven (zoals beschreven in de scripts). Hiermee kan de leverancier kijken of hij de data goed ontvangt en toont. Merk op dat hier vaak vaste inhoud teruggestuurd wordt. Ook kan de simulator het systeem bevragen in geval dat het systeem een bronsysteem is.
+
Voor het aanmaken van een organisatie op Touchstone kunnen de stappen op https://touchstone.aegis.net/touchstone/userguide/html/registration/index.html gevolgd worden. Let er op dat de "Name" van de organisatie het liefst herkenbaar moet zijn voor Nictiz en dat er niet bijvoorbeeld de naam van een onderontwikkelaar wordt ingevuld. Dit vereenvoudigt het aanmeldproces.
  
De simulator verzamelt informatie die van en naar een leverancier worden gecommuniceerd in een berichtenlog. Het is voor de leverancier mogelijk om zelf de berichtenlog in te zien, inclusief validatieresultaten.
+
Let erop dat Touchstone standaard e-mailadressen en de organisatie van geregistreerde gebruikers toont. Individuele gebruikers kunnen dit in de instellingen van hun account aanpassen.
 +
====Join Org Group====
  
Algemene opmerkingen over het gebruik van de simulator:
+
Het bedrijfsaccount moet vervolgens toegang krijgen tot de Nictiz-materialen. Dit gaat door lid te worden van de relevant "Org Group(s)". De [https://touchstone.aegis.net/touchstone/userguide/html/org-groups/joining.html Touchstone-handleiding beschrijft] hoe een verzoek hiervoor kan worden ingediend. Nictiz zal vervolgens het verzoek voor toetreding goedkeuren. Merk op dat hierbij goedkeuring van één van onze medewerkers nodig is en er dus korte tijd overheen kan gaan. Nadat goedkeuring is verleend dient de gebruiker, als deze nog is ingelogd, uit te loggen en opnieuw in te loggen.
* de simulator is niet bedoeld voor loadtesten, maar voor inhoudelijke controles tegen informatiestandaarden;
+
<section end="Touchstone-account"/>
* MedMij vraagt verantwoord gebruik van deze simulator, neem bij twijfel over gebruik contact op.
+
<section begin="Testsysteem aanmaken"/>
 +
===Testsysteem aanmaken===
  
====Opzetten connectiviteit====
+
De volgende stap is om het systeem dat getest moet worden als "Test System" te registreren in Touchstone. Volg hiervoor [https://touchstone.aegis.net/touchstone/userguide/html/test-systems/creating.html de stappen in de Touchstone-handleiding].
We maken gebruik van de TouchStone-simulator. Het is voor een leverancier nodig om een eigen account aan te maken. TouchStone biedt hiervoor verschillende subscripties/licenties aan, zie https://touchstone.aegis.net/touchstone/subscription
+
<section end="Testsysteem aanmaken"/>
 +
<section begin="Uitvoeren van testen"/>
 +
===Uitvoeren van testen===
  
De Open subscriptie biedt genoeg mogelijkheden om te kunnen testen en kwalificeren maar heeft de volgende restricties:
+
Leveranciers kunnen zelfstandig de scripts die Nictiz publiceert uitvoeren en de resultaten bekijken. Hoe dit moet, [https://touchstone.aegis.net/touchstone/userguide/html/executing-tests/test-setup.html wordt uitgelegd in de Touchstone-documentatie].
* Er kan maar 1 gebruiker registreren. Bespreek in de eigen organisatie eerst goed welke gebruiker geregistreerd gaat worden.
+
<section end="Uitvoeren van testen"/>
* Er is een limiet aan het aantal testen dat per dag kan worden uitgevoerd.
+
<section begin="Tokens"/>
Neem graag contact op als hier vragen over zijn, of problemen bij worden ervaren.
+
===Mock-authenticatie met vaste tokens===
 +
De authenticatie-stap is geen onderdeel van de Touchstone-test. Authenticatie van de FHIR-requests via een Bearer-token wordt op Touchstone nagebootst door het gebruik van vaste, niet-verlopende tokens.
  
=====Organisatie aanmaken=====
+
Het gebruik hiervan verschilt per rol die wil testen of kwalificeren:
Maak een account aan voor de organisatie, zie https://touchstone.aegis.net/touchstone/userguide/html/registration/index.html
+
* Voor clients die getest worden, is er per testpatiënt uit het scenario [https://github.com/Nictiz/Nictiz-testscripts/blob/main/Configuration/QualificationTokens.json een Bearer-token gedefinieerd]. De client dient deze tokens te gebruiken in elke request naar Touchstone/WildFHIR.
Name en Email is redelijk vrij in te vullen (mits het echte namen en E-mailadressen betreft). Let er wel op dat de naam voor de Organisatie een naam moet zijn die herkenbaar is binnen MedMij als toekomstige deelnemer. Als er bijvoorbeeld een onderontwikkelaar wordt ingeschakeld en die naam wordt gebruikt tijdens registratie als Organisatie, dan is binnen MedMij de relatie naar de verantwoordelijke toekomstige deelnemende leverancier niet altijd duidelijk, waarbij de kans bestaat dat het verzoek voor Joinen van Org Groupen wordt afgekeurd.
+
* Bij servers die getest worden, wordt er tijdens het aanmaken van de test gevraagd om een Bearer-token voor elke testpatiënt. Touchstone zal deze tokens gebruiken in de requests naar de server die getest wordt. Standaard zijn hier [https://github.com/Nictiz/Nictiz-testscripts/blob/main/Configuration/QualificationTokens.json de zelfde tokens] ingevuld die ook voor client-testen gebruikt worden, het staat gebruikers vrij om deze tokens over te nemen.<br />'''Let op''': De tokens moeten gedefinieerd worden als <q>Bearer<spatie>[token]</q>, bijvoorbeeld <q>Bearer 0aed465d-aab0-4417-9b3c-e6f635892fea</q> (zonder aanhalingstekens).
Join de juiste Org Group voor testen:
+
[[Bestand:TouchstoneEnterToken.png|link=]]
Klik via Organizations, Org Groups
+
<section end="Tokens"/>
Kies de juiste Org Group om te joinen, in dit geval: '''MedMij-Testing'''
+
<section begin="Aandachtspunten"/>
  
[[Bestand:Aansluiten_org_group.png|link= |750px|Joinen van een Org Group]]
+
===Aandachtspunten===
 +
====USER_KEY en ORG_KEY weghalen in tickets====
 +
Bij het aanmaken van een ticket over Touchstone is het vaak zinvol om een deel van de (request)code mee te sturen ter verheldering van het probleem. Als deze vraag op een openbaar platform wordt gesteld (bv. een openbaar BITS/Jira-project) is het van belang dat de USER_KEYs en ORG_KEYs in deze transactie worden verwijderd (voor het opslaan van de tekst!). Deze keys zijn namelijk gebruiker/organisatie-specifiek en mogen niet voor derden zichtbaar zijn. Mocht dit toch gebeuren, laat het ons dan direct weten in het ticket. Het ticket zal dan worden verwijderd, met evt. een nieuwe clone waar de keys niet instaan zodat de vraag wel behandeld kan worden.
  
* NB: voor formele kwalificaties wordt er gebruik gemaakt van een 2e Org Group, genaamd: '''MedMij-Certify'''
+
====Volgorde van tests====
Het kwalificatiecentrum zal vervolgens het verzoek voor joinen goedkeuren. Merk op dat hierbij goedkeuring van één van onze medewerkers nodig is en er dus korte tijd overheen kan gaan. Nadat goedkeuring is verleend dient de gebruiker, als deze nog is ingelogd, uit te loggen en opnieuw in te loggen.
 
  
=====Pas eventueel privacy-settings aan=====
+
Het kwalificatiescript vraagt om een vaste volgorde voor het sturen van requests, waar de informatiestandaard mogelijk meer ruimte laat om dit ook in een andere volgorde te doorlopen. Het is daarom van belang om bij het uitvoeren van testen op de kwalificatiesimulator de interacties uit te voeren in dezelfde volgorde waarin ze worden gevraagd in de testscripts.
TouchStone toont per default e-mailadressen en de organisatie van geregistreerde gebruikers.
+
====Ophalen van references====
Pas eventueel de privacy-settings aan voor eigen gebruikers:
 
* Ga naar My Settings
 
  
[[Bestand:Aansluiten privacy settings.png|link= |750px|Aanpassen privacy settings]]
+
Antwoorden uit de kwalificatiesimulator bevatten soms references naar extra informatie. Een voorbeeld uit de BGZ: <code><reference value="Practitioner/medmij-bgz-practitioner-ts-02"/></code>
  
* Vink aan:
+
Deze references zijn los op te halen bij de kwalificatiesimulator, maar omdat er een bepaalde volgorde van interacties wordt gevraagd, kan het tussendoor ophalen van references ervoor zorgen dat een test faalt. We raden in dat geval aan om:
[[Bestand:Aansluiten privacy settings vink.png|link= |450px|Aanpassen privacy settings: Do not display my email]]
+
De references pas op te halen als de test op de kwalificatiesimulator is afgelopen. Het ophalen van references zal er dan niet meer voor zorgen dat testen falen.
* Klik  op Save Changes.
 
  
=====Testsysteem aanmaken=====
+
Indien dat niet mogelijk is:
* Maak een testsysteem aan voor de eigen applicatie, zie https://touchstone.aegis.net/touchstone/userguide/html/test-systems/index.html
 
Bij het aanmaken graag de volgende instellingen gebruiken:
 
* Specification: FHIR 3.0.2
 
* Niet aanvinken: requires OAuth2
 
NB: we versturen wel degelijk een OAuth token, maar die configuratie vindt elders plaats.
 
* Can be viewed by: My organization groups
 
* Can be executed against by: My organization groups
 
* Supported profiles: maak de keuze tussen FHIR-client of FHIR-server
 
NB: als beide ondersteund wordt, is het aan te raden om daar 2 losse testsystemen voor op te zetten.
 
  
Het kwalificatiecentrum biedt op verzoek hulp bij het koppelen van de applicatie naar de simulator.
+
Testen 2 keer uit te voeren:
Connectiviteit met de simulator wordt door de softwareleverancier en MedMij getest.
+
* De test één keer uit te voeren zonder het ophalen van references. Het doel hierbij is om aan te tonen dat de applicatie de juiste interacties kan versturen die worden gevraagd in het testscript.
 +
* De test een tweede keer uit te voeren, maar dan zonder dat hiervoor een testexecutie is gestart op de kwalificatiesimulator. Tijdens deze test kunnen dan wel alle references tussendoor worden opgehaald. Het doel van deze test is om aan te tonen dat de applicatie goed om kan goed met de inhoud verstuurd tijdens de test, inclusief de los op te halen references.
  
===Gebruik simulator===
+
====Infrastructuur====
====Uitvoeren van testen====
 
Documentatie voor het uitvoeren van de testen is hier te zien: https://touchstone.aegis.net/touchstone/userguide/html/executing-tests/index.html
 
  
De leverancier kan zelfstandig testen op basis van scripts.
 
Indien van toepassing kan de leverancier extra materialen zoals screenshots insturen via email.
 
Het kwalificatiecentrum biedt op verzoek hulp bij het testen van de scripts.
 
 
Voor het uitvoeren van de tests kan (na inloggen) linksonder uit ‘Test Definitions’ een keuze worden gemaakt van de juiste testen.
 
 
[[Bestand:Aansluiten test definitions.png|link= |250px|Aansluiten test definitions]]
 
 
Klik onder ‘Test Definitions’ door naar:
 
* FHIRSandbox
 
** Nictiz
 
*** FHIR3-0-2-MM202001-Test (dit is de MedMij 2020.01 release)
 
 
In deze map zijn verschillende testen te vinden in het kader van MedMij testen.
 
Kies hierbij de juiste inhoudelijke rol en:
 
* PHR (= PGO) of
 
* XIS (= zorgaanbieder)
 
 
Selecteer de testen uit die map (meestal alle testen) dus select all, '''Create Test Setup'''.
 
 
[[Bestand:Aansluiten create test setup_20210318.png|link= |750px|Aansluiten create test setup]]
 
 
Bij het testen van '''PGO''' systemen moet de volgende informatie worden opgegeven:
 
* '''Origin''': Het eigen PGO test systeem.
 
* '''Destination''': Kies hierbij voor ‘Nictiz – Nictiz WildFHIR V202001 - FHIR 3.0.2’ (voor HTTP verkeer) of
 
* '''Destination''': Kies hierbij voor ‘Nictiz – Nictiz WildFHIR MedMij V202001-TLS - FHIR 3.0.2’ (voor HTTPS/TLS verkeer)
 
NB: voor HTTPS/TLS wordt er gebruik gemaakt van Let's Encrypt certificaten.
 
 
Bij het testen van '''XIS''' systemen moet de volgende informatie worden opgegeven:
 
* '''Origin''': AEGIS.net, Inc - TouchstoneFHIR
 
* '''Destination''': Het eigen XIS test systeem.
 
 
Daarna: '''execute'''
 
 
[[Bestand:Aansluiten create test setup execute.png|link= |750px|Aansluiten create test setup execute]]
 
 
 
Zie verder de documentatie van Touchstone voor het inzien van test resultaten:
 
https://touchstone.aegis.net/touchstone/userguide/html/executing-tests/index.html
 
 
====Volgorde van testen====
 
Het kwalificatiescript vraagt om een vaste volgorde voor het uitvoeren van testen, waar de informatiestandaard mogelijk meer ruimte laat om dit ook in een andere volgorde te doorlopen.
 
Het is daarom van belang om bij het uitvoeren van testen op de kwalificatiesimulator de interacties uit te voeren '''in dezelfde volgorde''' waarin ze worden gevraagd in de testscripts.
 
 
====Aandachtspunten Infrastructuur====
 
 
Bij het gebruik van Touchstone willen we de volgende punten onder de aandacht brengen:
 
Bij het gebruik van Touchstone willen we de volgende punten onder de aandacht brengen:
 
* Touchstone maakt geen gebruik van tweezijdige TLS-authenticatie.
 
* Touchstone maakt geen gebruik van tweezijdige TLS-authenticatie.
  
====Testen en ophalen van references====
+
====Vragen over uitvoer van testscript====
Antwoorden uit de kwalificatiesimulator bevatten soms references naar extra informatie.
 
Een voorbeeld uit de BGZ:
 
<code><reference value="Practitioner/medmij-bgz-practitioner-ts-02"/></code>
 
 
 
Die references zijn los op te halen bij de kwalificatiesimulator.
 
Merk op dat omdat er een bepaalde volgorde wordt gevraagd tijdens uitvoer van de testen, het tussendoor ophalen van references mogelijk kan ervoor zorgen dat een test faalt.
 
We raden in dat geval aan om:
 
* De references pas op te halen als de test op de kwalificatiesimulator is afgelopen. Het ophalen van references zal er dan niet meer voor zorgen dat testen falen.
 
Indien dat niet mogelijk is:
 
* Testen 2 keer uit te voeren:
 
** De test één keer uit te voeren zonder het ophalen van references. Het doel hierbij is om aan te tonen dat de applicatie de juiste interacties kan versturen die worden gevraagd in het testscript.
 
** De test een tweede keer uit te voeren, maar dan zonder dat hiervoor een testexecutie is gestart op de kwalificatiesimulator. Tijdens deze test kunnen dan wel alle references tussendoor worden opgehaald. Het doel van deze test is om aan te tonen dat de applicatie goed om kan goed met de inhoud verstuurd tijdens de test, inclusief de los op te halen references.
 
  
====Vragen over uitvoer van testscript====
+
Indien er vragen zijn over uitgevoerde testen is het voor ons van belang om gericht te kunnen terugvinden welke interacties er uitgewisseld zijn. Bij contact hierover vragen wij daarom om (indien mogelijk) een testexecutie uit te voeren op de kwalificatiesimulator. Stuur bij vragen daarover altijd de link mee naar de uitgevoerde testexecutie uit de History op Touchstone.
Indien er vragen zijn over uitgevoerde testen is het voor ons van belang om gericht te kunnen terugvinden welke interacties er uitgewisseld zijn.
 
Bij contact hierover vragen wij daarom om (indien mogelijk) hiervoor een testexecution uit te voeren op de kwalificatiesimulator.
 
Neem bij vragen daarover graag altijd de link op naar de uitgevoerde testexecution uit de history van Touchstone.
 
Dat geeft de mogelijkheid om gericht te kijken naar een uitgevoerde test.
 
  
 
Een voorbeeld in schermprints:
 
Een voorbeeld in schermprints:
  
Klikken naar '''History''' in Touchstone:
+
Klikken naar History in Touchstone:
  
 
[[Bestand:Touchstone_history.png|link= |250px|Touchstone history.png]]
 
[[Bestand:Touchstone_history.png|link= |250px|Touchstone history.png]]
  
Ophalen van de link van de testexecution uit de History:
+
Ophalen van de link van de testexecutie uit de History:
  
 
[[Bestand:Touchstone_history_link_20210318.png|link= |750px|Touchstone_history_link.png]]
 
[[Bestand:Touchstone_history_link_20210318.png|link= |750px|Touchstone_history_link.png]]
  
De link van de testexecution ziet er dan bijvoorbeeld zo uit:
+
De link van de testexecutie ziet er dan bijvoorbeeld zo uit: <code><nowiki>https://touchstone.aegis.net/touchstone/execution?exec=201904050520537715673006</nowiki></code>
<code><nowiki>https://touchstone.aegis.net/touchstone/execution?exec=201904050520537715673006</nowiki></code>
+
<section end="Aandachtspunten"/>
 +
<section begin="Variabele T datum"/>
  
 
===Variabele T datum===
 
===Variabele T datum===
Bij kwalificaties wordt er gebruik gemaakt van een variabele datum. Dit is de zogenoemde T datum welke is opgenomen in de functionele testscripts, met name in de addenda, en in de technische testscripts op Touchstone. Deze variabele datum wordt gebruikt om zo dicht mogelijk tegen een productiewaardig scenario te testen en te kwalificeren. Middels de variabele datum kunnen de testgegevens actueel blijven. Deze T datum komt op twee plekken terug, namelijk in de datumvelden van de testgegevens en in de datumparameters in de search URL's.  
+
Test- en kwalificatiescenario's werken vaak met relatieve datums, die ervoor zorgen dat scenario's niet gedateerd raken. Een datum 'volgende week' blijft zodoende altijd in de toekomst. Om dit te vertalen naar concrete datums die gebruikt worden tijdens het testen en kwalificeren wordt gewerkt met de zogenaamde T-datum. De betekenis van deze T-datum en waar een deelnemer rekening mee moet houden bij het gebruik hiervan verschilt per rol. Voor iedere rol volgt hierna verdere uitleg.
 +
====Server: beschikbaarstellen (serve) en client: sturen (send)====
 +
Leveranciers die de inhoudelijke gegevens van test- en kwalificatiescenario's in hun bronsysteem invoeren ter voorbereiding op de Touchstone-tests voor beschikbaarstellen (serve) of sturen (send), bepalen een T-datum die zij hanteren bij het invoeren van alle gegevens.  
 +
 
 +
Wanneer de bepaalde T-datum bijvoorbeeld '2022-01-01' is en de kwalificatiescripts spreken van 'T + 400D', berekent de leverancier de datum die 400 dagen ná de bepaalde T-datum ligt. Die datum wordt vervolgens in het bronsysteem ingevoerd bij het betreffende veld – in dit voorbeeld dus '2023-02-05'.
  
====Kwalificatie testgegevens====
+
Mogelijke eenheden die gebruik worden bij het verrekenen van de T-datum zijn 'D' (dagen), 'M' (maanden) en 'Y' (jaren).
In de kwalificatiescripts zijn datumvelden beschreven op basis van een T datum. Als ergens staat T – 100D betekent dit: 100 dagen eerder dan de datum die voor T geldt. Deze testgegevens uit het kwalificatiescript worden vervolgens gebruikt om ofwel de Nictiz WildFHIR server te vullen of door kandidaat deelnemers om de testgegevens in het systeem te registreren.
 
Het vullen van de Nictiz WildFHIR server kon in het verleden door kandidaatdeelnemers gebeuren door het draaien van het 'load script' op basis van een op te geven variabele T. Dit is nu in beheer genomen door het kwalificatie team.
 
  
'''Elke maandag wordt de Nictiz WildFHIR server geschoond en opnieuw gevuld met een testgegevens op basis van een T datum gelijk aan de datum van die maandag.'''
+
Wanneer er datums gebruikt worden in de testscenario's, die invloed hebben op de Touchstone-scripts, bijvoorbeeld in de zoekparameters van het scenario "Persoon 1 vraagt alle meetwaarden op in een periode ('T – 30D t/m T')",  wordt ook bij het uitvoeren van het betreffende TouchStone-script gevraagd de bepaalde T-datum in te voeren. Touchstone berekent vervolgens zelf de exact benodigde datums. Als de T-datum van het Touchstone-script overeenkomt met die van de ingevoerde gegevens, worden de gevraagde resources opgeleverd.
  
Bijvoorbeeld in 2022 is de T datum in week 3 gelijk aan 17 januari 2022.
+
De verwachting is dat een leverancier de gebruikte T-datum vermeldt bij het aanleveren van de materialen en dat deze datum correspondeert met de aangeleverde screenshots en Touchstone-testexecutie(s).
  
====Parameters in de request URL's====
+
====Server: ontvangen (receive) en client: ophalen (retrieve)====
Bij sommige testscenario's wordt een datumfilter gebruikt. Deze datumfilters zijn ook op basis van de variabele T datum. Bij het uitvoeren van het testscript in Touchstone is het mogelijk om bij de setupfase de variabele T datum te geven. Deze T datum staat in relatie tot de testgegevens die op de Nictiz WildFHIR server of het eigen bronsysteem staan.
+
Leveranciers die gegevens ophalen of ontvangen tijdens het gebruik van Touchstone, ontvangen testberichten van WildFHIR. Elke maandag worden de gegevens op WildFHIR ververst, waarbij alle datums opnieuw worden berekend met de datum van die maandag als referentie.
''' De T datum die hier gebruikt dient te worden, is gelijk aan de datum van de maandag (waarop de gegevens geladen zijn).'''
 
Wanneer een andere T datum wordt gebruikt kan het voorkomen dat er geen of te weinig testgegevens terugkomen op de uitgevoerde test. Dit kan er toe leiden dat de test niet slaagt.
 
  
====Tijdnotatie====
+
Als een client gegevens ophaalt in de week van '2022-08-01', zal, indien het kwalificatiescript spreekt van een veld met als datum 'T + 400D', er een resource opgehaald worden waarin dat betreffende veld gevuld is met de datum '2023-09-05'.
Het meegeven van de tijd is bij de gestructureerde einddatum/tijd (dus niet de Resource.text, maar de velden met alleen de datum/tijd) verplicht in de standaard om eventuele verwarring tussen de precieze betekenis van "tot" en "tot en met" te voorkomen.
 
  
In de FHIR datatypes dateTime (indien uren en minuten worden gebruikt) en instant is de tijdzone verplicht. De tijdzone kan daarom niet worden weglaten uit de testgegevens.
+
Wanneer er datums gebruikt worden in de testscenario's, die invloed hebben op de Touchstone-scripts, bijvoorbeeld in de zoekparameters van het scenario "Persoon 1 vraagt alle meetwaarden op in een periode ('T – 30D t/m T')", wordt ook bij het uitvoeren van het betreffende Touchstone-script gevraagd de T-datum in te voeren. Hier dient dus de datum van de maandag uit de testweek te worden ingevuld. Touchstone berekent vervolgens zelf de exact benodigde datums. Als de T-datum van het Touchstone-script overeenkomt met de datum die gebruikt is tijdens het verversen van WildFHIR, worden de gevraagde resources opgeleverd.
  
Touchstone heeft helaas een beperking dat de Nederlandse tijdzone niet berekend kan worden bij een variabele datum. De tijdzone die nu in onze testgegevens staat, was een Nederlandse tijdzone bij de eerste keer invullen van dit scenario met concrete datums. Dit komt niet per definitie overeen met de geldende tijdzone in Nederland voor de (in een test-executie gebruikte, uiteindelijke) datum. In productie moet gerekend worden op een juiste tijdzone en het is dan ook juist om deze tijdzone gewoon te interpreteren, dit betekent dat de gegevens mogelijk soms een uur later of vroeger zijn dan in het addendum staat. Dit is geen reden voor afkeuren in kwalificatie.
+
De verwachting is dat een client tijdens kwalificatie in screenshots datums laat zien die corresponderen met gegevens die opgehaald zijn tijdens de aangeleverde Touchstone-testexecutie(s).
  
===Mijn software is getest en nu?===
+
===Tijdzones===
Geef graag aan als de testen zijn afgerond via [mailto:kwalificatie@medmij.nl kwalificatie@medmij.nl]
+
In de FHIR-datatypes {{datatype|dateTime}} (indien uren en minuten worden gebruikt) en {{datatype|instant}} is het verplicht om een tijdzone in te vullen. De tijdzone kan daarom niet worden weglaten uit de testgegevens. Touchstone heeft helaas de beperking dat de Nederlandse tijdzone niet berekend kan worden aan de hand van de T-datum. De tijdzone die nu in onze testgegevens staat is daarom de Nederlandse tijdzone bij de eerste keer invullen van dit scenario met concrete datums. Dit komt niet per definitie overeen met de geldende tijdzone in Nederland voor de (in een testexecutie gebruikte, uiteindelijke) datum. In productie moet gerekend worden op een juiste tijdzone en het is dan ook juist om deze tijdzone gewoon te interpreteren, dit betekent dat de gegevens mogelijk soms een uur later of vroeger zijn dan in het addendum staat. Dit is geen reden voor afkeuren tijdens kwalificatie.
 +
<section end="Variabele T datum"/>

Huidige versie van 2 nov 2022 om 12:42


1 Introductie Touchstone

Om FHIR-implementaties van een informatiestandaard te beproeven en te kwalificeren is de Touchstone-simulatieomgeving beschikbaar. Dit is een online platform waarmee leveranciers zelf tests kunnen uitvoeren en validatieresultaten kunnen inzien. Nictiz stelt de hiervoor benodigde testscripts beschikbaar. Deze komen overeen met de functionele testscripts bij een informatiestandaard.

Algemene opmerkingen over het gebruik van de simulator:

  • De simulator is niet bedoeld voor loadtesten, maar voor inhoudelijke controles tegen informatiestandaarden;
  • Nictiz vraagt verantwoord gebruik van deze simulator, neem bij twijfel over gebruik contact op.

1.1 Testopzet client

Bij testen waar de FHIR-client het testobject is ziet de testopstelling er als volgt uit:

Touchstone client.jpg

De opzet is hier als volgt:

  • De client is het testobject van de leverancier.
  • Touchstone staat in het midden en stelt testen/testscripts, logging, validatie en overzicht beschikbaar.
  • Daarachter staat een FHIR-server (WildFHIR) met de FHIR-profielen en testberichten passend bij de testscripts.

1.2 Testopzet server

Bij testen waar de FHIR-server het testobject is ziet de testopstelling er als volgt uit:

Touchstone server.jpg

De opzet is hier als volgt:

  • Touchstone stelt testen/testscripts, logging, validatie en overzicht beschikbaar. Daarnaast is Touchstone ook een FHIR-client die interacties kan versturen volgens de testscripts.
  • De server is het testobject van de leverancier.


2 Touchstone-account

2.1 Account aanmaken

Leveranciers hebben een eigen bedrijfsaccount nodig voor hun organisatie op Touchstone. Er zijn verschillende abonnementsvormen beschikbaar, waaronder een gratis abonnement. Deze optie (Open) biedt die alle mogelijkheden om te kunnen testen en kwalificeren, maar kent wel limieten, onder meer het aantal tests dat per dag kan worden uitgevoerd.

Voor het aanmaken van een organisatie op Touchstone kunnen de stappen op https://touchstone.aegis.net/touchstone/userguide/html/registration/index.html gevolgd worden. Let er op dat de "Name" van de organisatie het liefst herkenbaar moet zijn voor Nictiz en dat er niet bijvoorbeeld de naam van een onderontwikkelaar wordt ingevuld. Dit vereenvoudigt het aanmeldproces.

Let erop dat Touchstone standaard e-mailadressen en de organisatie van geregistreerde gebruikers toont. Individuele gebruikers kunnen dit in de instellingen van hun account aanpassen.

2.2 Join Org Group

Het bedrijfsaccount moet vervolgens toegang krijgen tot de Nictiz-materialen. Dit gaat door lid te worden van de relevant "Org Group(s)". De Touchstone-handleiding beschrijft hoe een verzoek hiervoor kan worden ingediend. Nictiz zal vervolgens het verzoek voor toetreding goedkeuren. Merk op dat hierbij goedkeuring van één van onze medewerkers nodig is en er dus korte tijd overheen kan gaan. Nadat goedkeuring is verleend dient de gebruiker, als deze nog is ingelogd, uit te loggen en opnieuw in te loggen.


3 Testsysteem aanmaken

De volgende stap is om het systeem dat getest moet worden als "Test System" te registreren in Touchstone. Volg hiervoor de stappen in de Touchstone-handleiding.


4 Uitvoeren van testen

Leveranciers kunnen zelfstandig de scripts die Nictiz publiceert uitvoeren en de resultaten bekijken. Hoe dit moet, wordt uitgelegd in de Touchstone-documentatie.


5 Mock-authenticatie met vaste tokens

De authenticatie-stap is geen onderdeel van de Touchstone-test. Authenticatie van de FHIR-requests via een Bearer-token wordt op Touchstone nagebootst door het gebruik van vaste, niet-verlopende tokens.

Het gebruik hiervan verschilt per rol die wil testen of kwalificeren:

  • Voor clients die getest worden, is er per testpatiënt uit het scenario een Bearer-token gedefinieerd. De client dient deze tokens te gebruiken in elke request naar Touchstone/WildFHIR.
  • Bij servers die getest worden, wordt er tijdens het aanmaken van de test gevraagd om een Bearer-token voor elke testpatiënt. Touchstone zal deze tokens gebruiken in de requests naar de server die getest wordt. Standaard zijn hier de zelfde tokens ingevuld die ook voor client-testen gebruikt worden, het staat gebruikers vrij om deze tokens over te nemen.
    Let op: De tokens moeten gedefinieerd worden als Bearer<spatie>[token], bijvoorbeeld Bearer 0aed465d-aab0-4417-9b3c-e6f635892fea (zonder aanhalingstekens).

TouchstoneEnterToken.png


6 Aandachtspunten

6.1 USER_KEY en ORG_KEY weghalen in tickets

Bij het aanmaken van een ticket over Touchstone is het vaak zinvol om een deel van de (request)code mee te sturen ter verheldering van het probleem. Als deze vraag op een openbaar platform wordt gesteld (bv. een openbaar BITS/Jira-project) is het van belang dat de USER_KEYs en ORG_KEYs in deze transactie worden verwijderd (voor het opslaan van de tekst!). Deze keys zijn namelijk gebruiker/organisatie-specifiek en mogen niet voor derden zichtbaar zijn. Mocht dit toch gebeuren, laat het ons dan direct weten in het ticket. Het ticket zal dan worden verwijderd, met evt. een nieuwe clone waar de keys niet instaan zodat de vraag wel behandeld kan worden.

6.2 Volgorde van tests

Het kwalificatiescript vraagt om een vaste volgorde voor het sturen van requests, waar de informatiestandaard mogelijk meer ruimte laat om dit ook in een andere volgorde te doorlopen. Het is daarom van belang om bij het uitvoeren van testen op de kwalificatiesimulator de interacties uit te voeren in dezelfde volgorde waarin ze worden gevraagd in de testscripts.

6.3 Ophalen van references

Antwoorden uit de kwalificatiesimulator bevatten soms references naar extra informatie. Een voorbeeld uit de BGZ: <reference value="Practitioner/medmij-bgz-practitioner-ts-02"/>

Deze references zijn los op te halen bij de kwalificatiesimulator, maar omdat er een bepaalde volgorde van interacties wordt gevraagd, kan het tussendoor ophalen van references ervoor zorgen dat een test faalt. We raden in dat geval aan om: De references pas op te halen als de test op de kwalificatiesimulator is afgelopen. Het ophalen van references zal er dan niet meer voor zorgen dat testen falen.

Indien dat niet mogelijk is:

Testen 2 keer uit te voeren:

  • De test één keer uit te voeren zonder het ophalen van references. Het doel hierbij is om aan te tonen dat de applicatie de juiste interacties kan versturen die worden gevraagd in het testscript.
  • De test een tweede keer uit te voeren, maar dan zonder dat hiervoor een testexecutie is gestart op de kwalificatiesimulator. Tijdens deze test kunnen dan wel alle references tussendoor worden opgehaald. Het doel van deze test is om aan te tonen dat de applicatie goed om kan goed met de inhoud verstuurd tijdens de test, inclusief de los op te halen references.

6.4 Infrastructuur

Bij het gebruik van Touchstone willen we de volgende punten onder de aandacht brengen:

  • Touchstone maakt geen gebruik van tweezijdige TLS-authenticatie.

6.5 Vragen over uitvoer van testscript

Indien er vragen zijn over uitgevoerde testen is het voor ons van belang om gericht te kunnen terugvinden welke interacties er uitgewisseld zijn. Bij contact hierover vragen wij daarom om (indien mogelijk) een testexecutie uit te voeren op de kwalificatiesimulator. Stuur bij vragen daarover altijd de link mee naar de uitgevoerde testexecutie uit de History op Touchstone.

Een voorbeeld in schermprints:

Klikken naar History in Touchstone:

Touchstone history.png

Ophalen van de link van de testexecutie uit de History:

Touchstone_history_link.png

De link van de testexecutie ziet er dan bijvoorbeeld zo uit: https://touchstone.aegis.net/touchstone/execution?exec=201904050520537715673006


7 Variabele T datum

Test- en kwalificatiescenario's werken vaak met relatieve datums, die ervoor zorgen dat scenario's niet gedateerd raken. Een datum 'volgende week' blijft zodoende altijd in de toekomst. Om dit te vertalen naar concrete datums die gebruikt worden tijdens het testen en kwalificeren wordt gewerkt met de zogenaamde T-datum. De betekenis van deze T-datum en waar een deelnemer rekening mee moet houden bij het gebruik hiervan verschilt per rol. Voor iedere rol volgt hierna verdere uitleg.

7.1 Server: beschikbaarstellen (serve) en client: sturen (send)

Leveranciers die de inhoudelijke gegevens van test- en kwalificatiescenario's in hun bronsysteem invoeren ter voorbereiding op de Touchstone-tests voor beschikbaarstellen (serve) of sturen (send), bepalen een T-datum die zij hanteren bij het invoeren van alle gegevens.

Wanneer de bepaalde T-datum bijvoorbeeld '2022-01-01' is en de kwalificatiescripts spreken van 'T + 400D', berekent de leverancier de datum die 400 dagen ná de bepaalde T-datum ligt. Die datum wordt vervolgens in het bronsysteem ingevoerd bij het betreffende veld – in dit voorbeeld dus '2023-02-05'.

Mogelijke eenheden die gebruik worden bij het verrekenen van de T-datum zijn 'D' (dagen), 'M' (maanden) en 'Y' (jaren).

Wanneer er datums gebruikt worden in de testscenario's, die invloed hebben op de Touchstone-scripts, bijvoorbeeld in de zoekparameters van het scenario "Persoon 1 vraagt alle meetwaarden op in een periode ('T – 30D t/m T')", wordt ook bij het uitvoeren van het betreffende TouchStone-script gevraagd de bepaalde T-datum in te voeren. Touchstone berekent vervolgens zelf de exact benodigde datums. Als de T-datum van het Touchstone-script overeenkomt met die van de ingevoerde gegevens, worden de gevraagde resources opgeleverd.

De verwachting is dat een leverancier de gebruikte T-datum vermeldt bij het aanleveren van de materialen en dat deze datum correspondeert met de aangeleverde screenshots en Touchstone-testexecutie(s).

7.2 Server: ontvangen (receive) en client: ophalen (retrieve)

Leveranciers die gegevens ophalen of ontvangen tijdens het gebruik van Touchstone, ontvangen testberichten van WildFHIR. Elke maandag worden de gegevens op WildFHIR ververst, waarbij alle datums opnieuw worden berekend met de datum van die maandag als referentie.

Als een client gegevens ophaalt in de week van '2022-08-01', zal, indien het kwalificatiescript spreekt van een veld met als datum 'T + 400D', er een resource opgehaald worden waarin dat betreffende veld gevuld is met de datum '2023-09-05'.

Wanneer er datums gebruikt worden in de testscenario's, die invloed hebben op de Touchstone-scripts, bijvoorbeeld in de zoekparameters van het scenario "Persoon 1 vraagt alle meetwaarden op in een periode ('T – 30D t/m T')", wordt ook bij het uitvoeren van het betreffende Touchstone-script gevraagd de T-datum in te voeren. Hier dient dus de datum van de maandag uit de testweek te worden ingevuld. Touchstone berekent vervolgens zelf de exact benodigde datums. Als de T-datum van het Touchstone-script overeenkomt met de datum die gebruikt is tijdens het verversen van WildFHIR, worden de gevraagde resources opgeleverd.

De verwachting is dat een client tijdens kwalificatie in screenshots datums laat zien die corresponderen met gegevens die opgehaald zijn tijdens de aangeleverde Touchstone-testexecutie(s).

8 Tijdzones

In de FHIR-datatypes dateTime (indien uren en minuten worden gebruikt) en instant is het verplicht om een tijdzone in te vullen. De tijdzone kan daarom niet worden weglaten uit de testgegevens. Touchstone heeft helaas de beperking dat de Nederlandse tijdzone niet berekend kan worden aan de hand van de T-datum. De tijdzone die nu in onze testgegevens staat is daarom de Nederlandse tijdzone bij de eerste keer invullen van dit scenario met concrete datums. Dit komt niet per definitie overeen met de geldende tijdzone in Nederland voor de (in een testexecutie gebruikte, uiteindelijke) datum. In productie moet gerekend worden op een juiste tijdzone en het is dan ook juist om deze tijdzone gewoon te interpreteren, dit betekent dat de gegevens mogelijk soms een uur later of vroeger zijn dan in het addendum staat. Dit is geen reden voor afkeuren tijdens kwalificatie.