Deployment tijd bij publieke vervoersorganisatie verminderd van 1 jaar naar 2 weken

Devoteam voert tal van DevOps-implementaties uit voor zowel het bedrijfsleven als voor (semi)overheden. Iedere organisatie heeft hierbij dan ook haar eigen problemen die opgelost moeten worden. Maar één ding is zeker: het doel is altijd om, middels automatisering, het IT-proces van een organisatie te optimaliseren. Hoe gaan wij hierin te werk? En wat levert het uiteindelijk op?

Deze publieke vervoersorganisatie levert een dienst die naadloos moet aansluiten op de behoefte van haar doelgroep. Met meerdere vervoersmiddelen, veel medewerkers, miljoenen reizigers, en meerdere trajecten van in totaal duizenden kilometers heeft deze vervoersorganisatie een belangrijke functie in het dagelijkse leven van vrijwel iedereen.
In dit speelveld is data cruciaal. Om de visie op het reizen hierop continu te verbeteren en te realiseren speelt het optimaliseren van operational excellence een grote rol.

De uitdaging: van wildgroei aan data oplossingen naar één robuuste data fundering

Hoe langer de transformatie van data naar inzicht en informatie duurt, hoe meer waarde het verliest. Daarnaast zorgt een grote hoeveelheid databases, warehouses en andere tools ervoor dat er vaak niet één waarheid is. Er zijn meerdere waarheden, afhankelijk van welk datawarehouse het inzicht komt.

De vraag om een robuust data platform bracht met zich mee dat er een gigantische straat moest worden opgezet die geautomatiseerd data ophaalt uit verschillende databronnen van de te leveren dienst. Denk hierbij aan informatie van reizigers, informatie van verschillende vervoersmiddelen, routes, reistijden, vertragingen en nog eindeloos veel andere bronnen. Een voorbeeld van een rapportage die uit deze straat moet komen is een jaarlijkse rapportage aan een Ministerie waarin bijvoorbeeld staat hoeveel vervoersmiddelen er per jaar op tijd rijden en aankomen op stations. Er kon bijvoorbeeld een jaar lang geen release naar productie worden gedaan. Dit voldeed niet meer en moest vanzelfsprekend vaker en sneller kunnen.

De oplossing: DataOps – DevOps pipelines en automatisering toepassen op het Data Platform

Tijdens de ontwikkeling van dit nieuwe robuuste data platform was expertise nodig voor het automatiseren van de deployment straat met veel Azure software en moesten pipelines worden gebouwd. Naast de techniek was het ook de bedoeling om het data team mee te nemen in de DevOps principes en daarmee een DevOps manier van werken. Projecten en werkzaamheden moesten in kleinere stukjes worden gehakt en er moest anders worden omgegaan met afhankelijkheden van andere teams.

Ook het opknippen van delen van data brengt een groot voordeel voor afhankelijkheden in het data domein. In plaats van één grote bak data krijgt ieder zijn eigen deel. Afhankelijkheden tussen teams worden daarmee kleiner waardoor teams beter los van elkaar kunnen werken. Hierop moeten vervolgens de pipelines en gehele straat weer aansluiten.

Techniek en process

Devoteam aan de technische kant een bijdrage geleverd in het ontwikkelen en implementeren van de straat, het realiseren van pipelines, het verkennen van hoe processen kunnen worden geautomatiseerd en uiteindelijk ook het daadwerkelijk automatiseren van deze processen.

Mensen en cultuur

Ook aan de cultuurkant van DevOps had Devoteam een rol om ervoor te zorgen dat het data team wegwijs werd in bepaalde DevOps technieken en Agile manier van werken.

Het resultaat: van eens per jaar deployen naar elke twee weken

In het begin werd er eens per jaar gedeployed. Momenteel wordt er elke twee weken een deployment gedaan. Het doel is om dit dagelijks te kunnen doen. Hiervoor moeten zowel technisch als procedureel nog een aantal wijzigingen worden gedaan. Zo moet er bijvoorbeeld nog meer meer overzicht en structuur worden gecreëerd in het proces en moeten elementen zoals het controleren van de database versneld worden.

Wat komt er uit deze deployments als resultaat? Power BI rapporten voor deze organisatie zelf, maar ook voor Ministeries, etc. Hierdoor is de organisatie in staat om sneller te acteren met data-gedreven inzicht.