Kwalificatie:V1.0 Handleiding Touchstone: verschil tussen versies
k (Textuele fixes en vervangen van anglicismen) |
|||
(20 tussenliggende versies door 4 gebruikers niet weergegeven) | |||
Regel 1: | Regel 1: | ||
− | === | + | __NUMBEREDHEADINGS__ |
− | + | <section begin="Introductie Touchstone"/> | |
+ | ===Introductie Touchstone=== | ||
+ | Om FHIR-implementaties van een informatiestandaard te beproeven en te kwalificeren is de [https://touchstone.aegis.net/touchstone/ Touchstone-simulatieomgeving] beschikbaar. Dit is een online platform waarmee leveranciers zelf tests kunnen uitvoeren en validatieresultaten kunnen inzien. Nictiz stelt de hiervoor benodigde testscripts beschikbaar. Deze komen overeen met de functionele testscripts bij een informatiestandaard. | ||
− | + | Algemene opmerkingen over het gebruik van de simulator: | |
− | + | * de simulator is niet bedoeld voor loadtesten, maar voor inhoudelijke controles tegen informatiestandaarden; | |
− | + | * Nictiz vraagt verantwoord gebruik van deze simulator, neem bij twijfel over gebruik contact op. | |
− | |||
− | |||
− | |||
− | |||
− | * | ||
− | |||
− | * Nictiz | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | ====Testopzet | + | ====Testopzet client==== |
− | Bij testen waar de | + | Bij testen waar de FHIR-client het testobject is ziet de testopstelling er als volgt uit: |
[[Bestand:Touchstone_DVP.png|link= |750px|Touchstone_DVP]] | [[Bestand:Touchstone_DVP.png|link= |750px|Touchstone_DVP]] | ||
De opzet is hier als volgt: | De opzet is hier als volgt: | ||
− | * De | + | * De client is het testobject van de leverancier. |
* Touchstone staat in het midden en stelt testen/testscripts, logging, validatie en overzicht beschikbaar. | * Touchstone staat in het midden en stelt testen/testscripts, logging, validatie en overzicht beschikbaar. | ||
− | * Daarachter staat een (WildFHIR) | + | * Daarachter staat een FHIR-server (WildFHIR) met de FHIR-profielen en testberichten passend bij de testscripts. |
− | ====Testopzet | + | ====Testopzet server==== |
− | Bij testen waar de | + | Bij testen waar de FHIR-server het testobject is ziet de testopstelling er als volgt uit: |
[[Bestand:Touchstone_DVZA.png|link= |550px|Touchstone_DVZA]] | [[Bestand:Touchstone_DVZA.png|link= |550px|Touchstone_DVZA]] | ||
Regel 35: | Regel 25: | ||
De opzet is hier als volgt: | De opzet is hier als volgt: | ||
* Touchstone stelt testen/testscripts, logging, validatie en overzicht beschikbaar. Daarnaast is Touchstone ook een FHIR-client die interacties kan versturen volgens de testscripts. | * Touchstone stelt testen/testscripts, logging, validatie en overzicht beschikbaar. Daarnaast is Touchstone ook een FHIR-client die interacties kan versturen volgens de testscripts. | ||
− | * De | + | * De server is het testobject van de leverancier. |
− | + | <section end="Introductie Touchstone"/><section begin="Touchstone-account"/> | |
− | == | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | + | ===Touchstone-account=== | |
+ | ====Account aanmaken==== | ||
+ | Leveranciers hebben een eigen bedrijfsaccount nodig voor hun organisatie op Touchstone. Er zijn [https://touchstone.aegis.net/touchstone/subscription verschillende abonnementsvormen beschikbaar], waaronder een gratis abonnement. Deze optie (Open) biedt die alle mogelijkheden om te kunnen testen en kwalificeren, maar kent wel limieten, onder meer het aantal tests dat per dag kan worden uitgevoerd. | ||
− | + | Voor het aanmaken van een organisatie op Touchstone kunnen de stappen op https://touchstone.aegis.net/touchstone/userguide/html/registration/index.html gevolgd worden. Let er op dat de "Name" van de organisatie het liefst herkenbaar moet zijn voor Nictiz en dat er niet bijvoorbeeld de naam van een onderontwikkelaar wordt ingevuld. Dit vereenvoudigt het aanmeldproces. | |
− | |||
− | |||
− | + | Let erop dat Touchstone standaard e-mailadressen en de organisatie van geregistreerde gebruikers toont. Individuele gebruikers kunnen dit in de instellingen van hun account aanpassen. | |
− | |||
− | + | ====Join Org Group==== | |
− | + | Het bedrijfsaccount moet vervolgens toegang krijgen tot de Nictiz-materialen. Dit gaat door lid te worden van de relevant "Org Group(s)". [https://touchstone.aegis.net/touchstone/userguide/html/org-groups/joining.html De Touchstone-handleiding] beschrijft hoe een verzoek hiervoor kan worden ingediend. Nictiz zal vervolgens het verzoek voor toetreding goedkeuren. Merk op dat hierbij goedkeuring van één van onze medewerkers nodig is en er dus korte tijd overheen kan gaan. Nadat goedkeuring is verleend dient de gebruiker, als deze nog is ingelogd, uit te loggen en opnieuw in te loggen. | |
− | + | <section end="Touchstone-account"/><section begin="Testsysteem aanmaken"/> | |
− | + | ===Testsysteem aanmaken=== | |
+ | De volgende stap is om het systeem dat getest moet worden als "Test System" te registreren in Touchstone. Volg hiervoor de [https://touchstone.aegis.net/touchstone/userguide/html/test-systems/index.html stappen in de Touchstone-handleiding]. | ||
+ | <section end="Testsysteem aanmaken"/><section begin="Uitvoeren van testen"/> | ||
+ | ===Uitvoeren van testen=== | ||
+ | Leveranciers kunnen zelfstandig de scripts die Nictiz publiceert uitvoeren en de resultaten bekijken. Hoe dit moet, wordt uitgelegd in de [https://touchstone.aegis.net/touchstone/userguide/html/executing-tests/index.html Touchstone-documentatie]. | ||
+ | <section end="Uitvoeren van testen"/><section begin="Aandachtspunten"/> | ||
+ | ===Aandachtspunten=== | ||
+ | ====Volgorde van tests==== | ||
+ | Het kwalificatiescript vraagt om een vaste volgorde voor het sturen van ''requests'', waar de informatiestandaard mogelijk meer ruimte laat om dit ook in een andere volgorde te doorlopen. Het is daarom van belang om bij het uitvoeren van testen op de kwalificatiesimulator de interacties uit te voeren '''in dezelfde volgorde''' waarin ze worden gevraagd in de testscripts. | ||
− | ==== | + | ====Ophalen van references==== |
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
Antwoorden uit de kwalificatiesimulator bevatten soms references naar extra informatie. | Antwoorden uit de kwalificatiesimulator bevatten soms references naar extra informatie. | ||
− | Een voorbeeld uit de BGZ: | + | Een voorbeeld uit de BGZ: {{fhir|<reference value{{=}}"Practitioner/medmij-bgz-practitioner-ts-02"/>}} |
− | |||
− | + | Deze ''references'' zijn los op te halen bij de kwalificatiesimulator, maar omdat er een bepaalde volgorde van interacties wordt gevraagd, kan het tussendoor ophalen van references ervoor zorgen dat een test faalt. We raden in dat geval aan om: | |
− | |||
− | We raden in dat geval aan om: | ||
* De references pas op te halen als de test op de kwalificatiesimulator is afgelopen. Het ophalen van references zal er dan niet meer voor zorgen dat testen falen. | * De references pas op te halen als de test op de kwalificatiesimulator is afgelopen. Het ophalen van references zal er dan niet meer voor zorgen dat testen falen. | ||
Indien dat niet mogelijk is: | Indien dat niet mogelijk is: | ||
Regel 167: | Regel 59: | ||
** De test één keer uit te voeren zonder het ophalen van references. Het doel hierbij is om aan te tonen dat de applicatie de juiste interacties kan versturen die worden gevraagd in het testscript. | ** De test één keer uit te voeren zonder het ophalen van references. Het doel hierbij is om aan te tonen dat de applicatie de juiste interacties kan versturen die worden gevraagd in het testscript. | ||
** De test een tweede keer uit te voeren, maar dan zonder dat hiervoor een testexecutie is gestart op de kwalificatiesimulator. Tijdens deze test kunnen dan wel alle references tussendoor worden opgehaald. Het doel van deze test is om aan te tonen dat de applicatie goed om kan goed met de inhoud verstuurd tijdens de test, inclusief de los op te halen references. | ** De test een tweede keer uit te voeren, maar dan zonder dat hiervoor een testexecutie is gestart op de kwalificatiesimulator. Tijdens deze test kunnen dan wel alle references tussendoor worden opgehaald. Het doel van deze test is om aan te tonen dat de applicatie goed om kan goed met de inhoud verstuurd tijdens de test, inclusief de los op te halen references. | ||
+ | |||
+ | ====Infrastructuur==== | ||
+ | Bij het gebruik van Touchstone willen we de volgende punten onder de aandacht brengen: | ||
+ | * Touchstone maakt geen gebruik van tweezijdige TLS-authenticatie. | ||
====Vragen over uitvoer van testscript==== | ====Vragen over uitvoer van testscript==== | ||
− | Indien er vragen zijn over uitgevoerde testen is het voor ons van belang om gericht te kunnen terugvinden welke interacties er uitgewisseld zijn. | + | Indien er vragen zijn over uitgevoerde testen is het voor ons van belang om gericht te kunnen terugvinden welke interacties er uitgewisseld zijn. Bij contact hierover vragen wij daarom om (indien mogelijk) een testexecutie uit te voeren op de kwalificatiesimulator. Stuur bij vragen daarover altijd de link mee naar de uitgevoerde testexecutie uit de ''History'' op Touchstone. |
− | Bij contact hierover vragen wij daarom om (indien mogelijk) | ||
− | |||
− | |||
Een voorbeeld in schermprints: | Een voorbeeld in schermprints: | ||
Regel 180: | Regel 73: | ||
[[Bestand:Touchstone_history.png|link= |250px|Touchstone history.png]] | [[Bestand:Touchstone_history.png|link= |250px|Touchstone history.png]] | ||
− | Ophalen van de link van de | + | Ophalen van de link van de testexecutie uit de History: |
[[Bestand:Touchstone_history_link_20210318.png|link= |750px|Touchstone_history_link.png]] | [[Bestand:Touchstone_history_link_20210318.png|link= |750px|Touchstone_history_link.png]] | ||
− | De link van de | + | De link van de testexecutie ziet er dan bijvoorbeeld zo uit: |
<code><nowiki>https://touchstone.aegis.net/touchstone/execution?exec=201904050520537715673006</nowiki></code> | <code><nowiki>https://touchstone.aegis.net/touchstone/execution?exec=201904050520537715673006</nowiki></code> | ||
− | + | <section end="Aandachtspunten"/><section begin="Variabele T-datum"/> | |
===Variabele T datum=== | ===Variabele T datum=== | ||
− | + | Test- en kwalificatiescenario's werken vaak met relatieve datums, bijvorbeeld "de afgelopen zes weken". Om dit te vertalen naar concrete datums tijdens het uitvoeren van een test wordt er in de functionele en technische testscripts gewerkt met een zogenaamde T-datum, bijvoorbeeld "T-400D" ofwel 400 dagen vóór de T-datum. | |
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | + | '''De T-datum is altijd de maandag van de week waarin getest wordt.''' | |
− | |||
− | ''' De T datum | ||
− | |||
− | + | Bijvoorbeeld in 2022 is de T-datum in week 3 gelijk aan 17 januari 2022. Deze T-datum is in verschillende situaties relevant: | |
− | + | * Wanneer er tijdens het starten van een test gevraagd wordt om een "variabele T", is dit de datum die gebruikt dient te worden. | |
+ | * Leveranciers die testgegevens in hun eigen systeem invoeren, dienen deze referentiedatum aan te houden om de concrete datums te berekenen. | ||
+ | * Wanneer er datums in requests gebruikt worden, dienen deze berekend te worden ten opzichte van de T-datum. | ||
− | + | Elke maandag wordt de Nictiz WildFHIR-server geschoond en opnieuw gevuld met testgegevens op basis van deze T-datum. | |
− | Touchstone heeft helaas | + | ====Tijdzones==== |
+ | In de FHIR-datatypes {{datatype|dateTime}} (indien uren en minuten worden gebruikt) en {{datatype|instant}} is het verplicht om een tijdzone in te vullen. De tijdzone kan daarom niet worden weglaten uit de testgegevens. Touchstone heeft helaas de beperking dat de Nederlandse tijdzone niet berekend kan worden aan de hand van de T-datum. De tijdzone die nu in onze testgegevens staat is daarom de Nederlandse tijdzone bij de eerste keer invullen van dit scenario met concrete datums. Dit komt niet per definitie overeen met de geldende tijdzone in Nederland voor de (in een testexecutie gebruikte, uiteindelijke) datum. In productie moet gerekend worden op een juiste tijdzone en het is dan ook juist om deze tijdzone gewoon te interpreteren, dit betekent dat de gegevens mogelijk soms een uur later of vroeger zijn dan in het addendum staat. Dit is geen reden voor afkeuren tijdens kwalificatie. | ||
+ | <section end="Variabele T-datum"/> |
Huidige versie van 18 feb 2022 om 11:57
1 Introductie Touchstone
Om FHIR-implementaties van een informatiestandaard te beproeven en te kwalificeren is de Touchstone-simulatieomgeving beschikbaar. Dit is een online platform waarmee leveranciers zelf tests kunnen uitvoeren en validatieresultaten kunnen inzien. Nictiz stelt de hiervoor benodigde testscripts beschikbaar. Deze komen overeen met de functionele testscripts bij een informatiestandaard.
Algemene opmerkingen over het gebruik van de simulator:
- de simulator is niet bedoeld voor loadtesten, maar voor inhoudelijke controles tegen informatiestandaarden;
- Nictiz vraagt verantwoord gebruik van deze simulator, neem bij twijfel over gebruik contact op.
1.1 Testopzet client
Bij testen waar de FHIR-client het testobject is ziet de testopstelling er als volgt uit:
De opzet is hier als volgt:
- De client is het testobject van de leverancier.
- Touchstone staat in het midden en stelt testen/testscripts, logging, validatie en overzicht beschikbaar.
- Daarachter staat een FHIR-server (WildFHIR) met de FHIR-profielen en testberichten passend bij de testscripts.
1.2 Testopzet server
Bij testen waar de FHIR-server het testobject is ziet de testopstelling er als volgt uit:
De opzet is hier als volgt:
- Touchstone stelt testen/testscripts, logging, validatie en overzicht beschikbaar. Daarnaast is Touchstone ook een FHIR-client die interacties kan versturen volgens de testscripts.
- De server is het testobject van de leverancier.
2 Touchstone-account
2.1 Account aanmaken
Leveranciers hebben een eigen bedrijfsaccount nodig voor hun organisatie op Touchstone. Er zijn verschillende abonnementsvormen beschikbaar, waaronder een gratis abonnement. Deze optie (Open) biedt die alle mogelijkheden om te kunnen testen en kwalificeren, maar kent wel limieten, onder meer het aantal tests dat per dag kan worden uitgevoerd.
Voor het aanmaken van een organisatie op Touchstone kunnen de stappen op https://touchstone.aegis.net/touchstone/userguide/html/registration/index.html gevolgd worden. Let er op dat de "Name" van de organisatie het liefst herkenbaar moet zijn voor Nictiz en dat er niet bijvoorbeeld de naam van een onderontwikkelaar wordt ingevuld. Dit vereenvoudigt het aanmeldproces.
Let erop dat Touchstone standaard e-mailadressen en de organisatie van geregistreerde gebruikers toont. Individuele gebruikers kunnen dit in de instellingen van hun account aanpassen.
2.2 Join Org Group
Het bedrijfsaccount moet vervolgens toegang krijgen tot de Nictiz-materialen. Dit gaat door lid te worden van de relevant "Org Group(s)". De Touchstone-handleiding beschrijft hoe een verzoek hiervoor kan worden ingediend. Nictiz zal vervolgens het verzoek voor toetreding goedkeuren. Merk op dat hierbij goedkeuring van één van onze medewerkers nodig is en er dus korte tijd overheen kan gaan. Nadat goedkeuring is verleend dient de gebruiker, als deze nog is ingelogd, uit te loggen en opnieuw in te loggen.
3 Testsysteem aanmaken
De volgende stap is om het systeem dat getest moet worden als "Test System" te registreren in Touchstone. Volg hiervoor de stappen in de Touchstone-handleiding.
4 Uitvoeren van testen
Leveranciers kunnen zelfstandig de scripts die Nictiz publiceert uitvoeren en de resultaten bekijken. Hoe dit moet, wordt uitgelegd in de Touchstone-documentatie.
5 Aandachtspunten
5.1 Volgorde van tests
Het kwalificatiescript vraagt om een vaste volgorde voor het sturen van requests, waar de informatiestandaard mogelijk meer ruimte laat om dit ook in een andere volgorde te doorlopen. Het is daarom van belang om bij het uitvoeren van testen op de kwalificatiesimulator de interacties uit te voeren in dezelfde volgorde waarin ze worden gevraagd in de testscripts.
5.2 Ophalen van references
Antwoorden uit de kwalificatiesimulator bevatten soms references naar extra informatie.
Een voorbeeld uit de BGZ: <reference value="Practitioner/medmij-bgz-practitioner-ts-02"/>
Deze references zijn los op te halen bij de kwalificatiesimulator, maar omdat er een bepaalde volgorde van interacties wordt gevraagd, kan het tussendoor ophalen van references ervoor zorgen dat een test faalt. We raden in dat geval aan om:
- De references pas op te halen als de test op de kwalificatiesimulator is afgelopen. Het ophalen van references zal er dan niet meer voor zorgen dat testen falen.
Indien dat niet mogelijk is:
- Testen 2 keer uit te voeren:
- De test één keer uit te voeren zonder het ophalen van references. Het doel hierbij is om aan te tonen dat de applicatie de juiste interacties kan versturen die worden gevraagd in het testscript.
- De test een tweede keer uit te voeren, maar dan zonder dat hiervoor een testexecutie is gestart op de kwalificatiesimulator. Tijdens deze test kunnen dan wel alle references tussendoor worden opgehaald. Het doel van deze test is om aan te tonen dat de applicatie goed om kan goed met de inhoud verstuurd tijdens de test, inclusief de los op te halen references.
5.3 Infrastructuur
Bij het gebruik van Touchstone willen we de volgende punten onder de aandacht brengen:
- Touchstone maakt geen gebruik van tweezijdige TLS-authenticatie.
5.4 Vragen over uitvoer van testscript
Indien er vragen zijn over uitgevoerde testen is het voor ons van belang om gericht te kunnen terugvinden welke interacties er uitgewisseld zijn. Bij contact hierover vragen wij daarom om (indien mogelijk) een testexecutie uit te voeren op de kwalificatiesimulator. Stuur bij vragen daarover altijd de link mee naar de uitgevoerde testexecutie uit de History op Touchstone.
Een voorbeeld in schermprints:
Klikken naar History in Touchstone:
Ophalen van de link van de testexecutie uit de History:
De link van de testexecutie ziet er dan bijvoorbeeld zo uit:
https://touchstone.aegis.net/touchstone/execution?exec=201904050520537715673006
6 Variabele T datum
Test- en kwalificatiescenario's werken vaak met relatieve datums, bijvorbeeld "de afgelopen zes weken". Om dit te vertalen naar concrete datums tijdens het uitvoeren van een test wordt er in de functionele en technische testscripts gewerkt met een zogenaamde T-datum, bijvoorbeeld "T-400D" ofwel 400 dagen vóór de T-datum.
De T-datum is altijd de maandag van de week waarin getest wordt.
Bijvoorbeeld in 2022 is de T-datum in week 3 gelijk aan 17 januari 2022. Deze T-datum is in verschillende situaties relevant:
- Wanneer er tijdens het starten van een test gevraagd wordt om een "variabele T", is dit de datum die gebruikt dient te worden.
- Leveranciers die testgegevens in hun eigen systeem invoeren, dienen deze referentiedatum aan te houden om de concrete datums te berekenen.
- Wanneer er datums in requests gebruikt worden, dienen deze berekend te worden ten opzichte van de T-datum.
Elke maandag wordt de Nictiz WildFHIR-server geschoond en opnieuw gevuld met testgegevens op basis van deze T-datum.
6.1 Tijdzones
In de FHIR-datatypes dateTime (indien uren en minuten worden gebruikt) en instant is het verplicht om een tijdzone in te vullen. De tijdzone kan daarom niet worden weglaten uit de testgegevens. Touchstone heeft helaas de beperking dat de Nederlandse tijdzone niet berekend kan worden aan de hand van de T-datum. De tijdzone die nu in onze testgegevens staat is daarom de Nederlandse tijdzone bij de eerste keer invullen van dit scenario met concrete datums. Dit komt niet per definitie overeen met de geldende tijdzone in Nederland voor de (in een testexecutie gebruikte, uiteindelijke) datum. In productie moet gerekend worden op een juiste tijdzone en het is dan ook juist om deze tijdzone gewoon te interpreteren, dit betekent dat de gegevens mogelijk soms een uur later of vroeger zijn dan in het addendum staat. Dit is geen reden voor afkeuren tijdens kwalificatie.