FinOps en de budgetronde 2027
Waarom een gedeelde capaciteit pas goedkoop is als iemand weet wie wat verbruikt
Fabric staat live. Het datateam is enthousiast, de eerste rapporten draaien, en de business vraagt om meer. Dus er komt een tweede workspace bij, voor finance. Daarna één voor marketing, één voor de data scientists en eentje om dingen uit te proberen. Allemaal op dezelfde capaciteit, want die was er toch al. Dat is precies de belofte van Fabric: één pool met rekenkracht, gedeeld door iedereen, in plaats van losse diensten met elk een eigen factuur. Goed gedimensioneerd bespaar je daar veel geld mee. Tot op een dinsdagochtend de rapporten traag worden. Een data scientist heeft een Spark-job gestart die de halve nacht doordraaide en de capaciteit leegtrok. Finance dashboard zijn niet bijgewerkt, het datateam krijgt de klachten en IT krijgt de vraag of de capaciteit niet een maatje groter kan. Niemand vraagt wie er eigenlijk wat verbruikt.
In deze blog legt Henk van der Valk welke extra checks de moeite waard zijn en helpen om eigenaarschap duidelijker te beleggen binnen uw teams.
Fabric rekent in capacity units (CU’s). Je koopt een capaciteit van een bepaalde grootte en alles wat in de gekoppelde workspaces gebeurt, trekt daaruit: Spark-notebooks, pipelines, warehouse-queries, Power BI-refreshes en Copilot. Vergelijk het met een studentenhuis met één energiemeter. Zolang iedereen normaal doet, is delen voordelig. Maar als één bewoner de hele winter met de ramen open de verwarming laat loeien, betaalt het hele huis mee. Maar in de weekenden is het verbruik laag. Dus iedereen zet dan verantwoord de verwarming netjes uit..
Op de factuur zie je één regel: de capaciteit. Niet welk team, welke workspace of welke job het verbruik veroorzaakte. Los van het daadwerkelijk verbruik wil je ook weten waar je Fabric capaciteit onnodig weglekt. Waar zitten de grootverbruikers, waar gaat het mis? Vertaald naar de techniek betekent dit de diepte ingaan en kijken welke workspaces allemaal refreshed worden, hoelang dit duurt, welke foutmeldingen optreden en of er throttling optreed doordat er bijvoorbeeld een boel rapporten tegelijkertijd ververst worden. Allemaal checks die je niet standaard op een presenteerblaadje aangeleverd krijgt maar zeker de moeite waard zijn om periodiek te checken.
Fabric is slim met pieken en heeft daar zelfs extra features voor, zoals ‘’Capacity Overage Protection’. Achtergrondtaken zoals Spark-jobs en refreshes worden uitgesmeerd over de komende 24 uur, zodat een piek niet meteen alles platlegt. Dat voelt als ruimte, maar het is een lening. Een zware job vandaag eet de capaciteit van morgen op. Gaat het verbruik te lang boven de capaciteit uit, dan begint Fabric af te remmen: eerst worden interactieve acties vertraagd, daarna geweigerd. Dan merken gebruikers dat rapporten niet meer laden.
En wie dan de capaciteit pauzeert om kosten te besparen, krijgt een verrassing. Op het moment van pauzeren wordt al het uitgesmeerde verbruik in één keer verrekend. Die ene nachtelijke Spark-job staat dan alsnog op de factuur.
De reflex is opschalen naar een grotere capaciteit. Dat lost het symptoom op en verdubbelt de rekening. De oorzaak, één workload die niet goed is ingericht, blijft draaien.
De techniek is niet het lastige deel. Het lastige deel is dat niemand het juiste inzicht heeft en eigenlijk niemand zich echt verantwoordelijk voelt.
Het platformteam heeft de capaciteit ingericht en beheert de beschikbaarheid, niet het verbruik.
Data engineers bouwen pipelines en notebooks die werken. Of ze zuinig zijn, is niet hun opdracht.
Data scientists experimenteren, vaak op dezelfde capaciteit als productie.
Business-teams vragen om meer PowerBI rapporten en die meerdere keren per dag verversen, zonder te weten wat dat kost.
En Finance ziet één bedrag en kan het nergens aan toerekenen…
Iedereen gebruikt de capaciteit. Niemand voelt de rekening.
In onze vorige blog over resource tagging lieten we zien dat je kosten pas kunt sturen als je weet bij wie ze horen.
Binnen Fabric is er ook tagging functionaliteit beschikbaar maar dit goed inrichten behoeft extra aandacht en zit niet in ieders DNA. Ook vertelt het niet direct wie wat verbruikt.
Dit patroon is voor ons niet nieuw. Onze collega’s zien het al jaren bij gedeelde databaseservers: één server, tien applicaties, en bij een prestatieprobleem wijst iedereen naar elkaar. Fabric is in wezen hetzelfde verhaal, op een groter platform.
Wie die verantwoordelijkheid oppakt, hoeft geen groot project te starten. Loop per workspace drie vragen langs:
Microsoft biedt hiervoor zelf hulpmiddelen. De Capacity Metrics app laat zien welke workspaces en items de capaciteit belasten, en de Fabric Chargeback app (nog in preview) Daarmee kun je kosten eerlijker toerekenen op basis van echt verbruik. Maar een rapport toerekenen is iets anders dan erop sturen. Iemand moet de cijfers lezen en het gesprek aangaan. Op basis daarvan scheid je ontwikkel- en testwerk van productie, plan je zware jobs op rustige tijdstippen, stel je Spark-pools in op wat de job echt nodig heeft en reken je verbruik door aan de teams die het veroorzaken. Dat laatste doet het meeste: zodra een team zijn eigen verbruik ziet, verandert het gedrag.
In de praktijk blijkt een flink deel van de capaciteit op te gaan aan werk dat niemand mist. Ruim je dat op en spreid je de zware jobs beter, dan kun je vaak een maat kleiner draaien of groeien zonder op te schalen. Besparingen van 20 tot 40% op de Fabric-kosten zijn dan realistisch. En belangrijker: de volgende keer dat de capaciteit volloopt, weet je binnen een uur wie je moet bellen.
Met CloudXcellence zie je binnen een dag wat je Fabric-capaciteit kost en hoe die zich verhoudt tot de rest van je Azure-omgeving. Onze specialisten helpen je vervolgens met de analyse per workspace, het inrichten van de kostentoerekening en het optimaliseren van de zwaarste workloads.
Met de data-achtergrond van engineers van OptimaData kijken we niet alleen naar de factuur, maar ook naar de queries en jobs die hem veroorzaken. En we helpen je het eigenaarschap te beleggen, zodat de capaciteit niet over een half jaar weer vol zit.
Benieuwd wie jouw Fabric-capaciteit verbruikt? Plan een vrijblijvende Azure Cost Scan en weet binnen 30 dagen waar je geld naartoe gaat.