Onafhankelijk onderzoek NS-meetsystemen
In opdracht van het Ministerie van Infrastructuur en Milieu (IenM) heeft Horvat & Partners een onderzoek uitgevoerd naar de prestatie meetsystemen van NS. De Vervoerconcessie voor het Hoofdrailnet schrijft voor dat NS jaarlijks een vervoerplan indient bij de minister van IenM met daarin de ambitieniveaus voor een aantal prestatie-indicatoren. Na afloop van elk jaar moet NS verantwoorden of de beloofde prestaties gerealiseerd zijn en zo nee, waarom niet.
Hoewel het Ministerie geen concrete reden of aanleiding had om eraan te twijfelen dat NS de meetsystemen toepast zoals ze in het vervoerplan staan omschreven, maar omdat de prestatie-indicatoren en dus ook de bijbehorende meetsystemen een cruciaal onderdeel van de aansturing van NS zijn, beschouwde het Ministerie van IenM het als goed toezichthouderschap om te toetsen of de meetsystemen nog steeds correct werden toegepast.
Horvat & Partners is gevraagd om dit onafhankelijk onderzoek uit te voeren. De doelstelling van het onderzoek was om te beoordelen of:
- de meetpraktijk nog wel overeenkwam met de beschrijving van de meetsystemen in het vervoerplan (conformiteitstoets),
- NS heeft geborgd dat informatie afkomstig uit de interne en externe meetsystemen voldoende representatief en betrouwbaar* is (toets op kwaliteitsborging),
- NS de uitkomsten van de metingen voor iedere prestatie-indicator juist en volledig rapporteert (toets op juistheid en volledigheid van rapportages).
Bij het onderzoek heeft Horvat & Partners het vervoerplan als toetskader gebruikt. In het onderzoek zijn procesbeschrijvingen, procedures en instructies van NS bestudeerd en is getoetst of de beschrijvingen van de meetsystemen hierin passen binnen de beschrijving in het Vervoerplan. Daarnaast is aan de hand van enkele steekproeven en participerende observaties (onder meer meelopen met enquêteurs) getoetst of in de praktijk de be-schrijvingen en instructies worden gevolgd. Het resultaat van het onderzoek was een rapport met daarin een oordeel over in hoeverre NS de kwaliteit van de metingen heeft geborgd en tevens aanbevelingen over mogelijke verbeteringen.
* Of een meetsysteem de juiste informatie oplevert, heeft sterk te maken met de representativiteit van de gebruikte gegevens en de betrouwbaarheid van het meetsysteem. Het was in dit geval dan ook van belang om te toetsen of er voldoende waarborgen waren ingebouwd om de representativiteit en betrouwbaarheid te garanderen.
