Je logging kost meer dan je applicatie

Een sluipende kostenpost

Niemand heeft er bewust voor gekozen. Toen het archief naar de cloud verhuisde, wilde je weten wie erin grasduint. Alleen werd elke opvraagactie zes keer geregistreerd. De AKS-clusters werden opgezet met opties als Container Insights standaard aan, want monitoring hoort erbij. Zo zit je al snel op 500 GB aan logging per maand. Dat is het equivalent van ruim honderd dvd’s vol logdata, elke maand opnieuw. Ontwikkelaars zetten logging op debug om een lastige bug te vinden, en dat bleef zo staan voor het geval er weer iets vreemds gebeurt. Er kwam een tweede cluster bij, daarna een derde. Diagnostische instellingen werden op “alles” gezet, omdat dat het makkelijkst was. Elke stap was logisch. Opgeteld levert het een workspace op die elke dag tientallen gigabytes opslokt, en zie je opeens 2.000 euro aan loggingkosten op de rekening staan.

Het verraderlijke aan logging is dat het nooit pijn doet. Er gaat niets kapot, er belt geen gebruiker, er gaat geen alert af. De kosten groeien mee met je omgeving en vallen pas op als ze een eigen regel in het budgetoverleg krijgen. Bij klanten zien we regelmatig dat de monitoringkosten van een omgeving in de buurt komen van de compute waar die monitoring over gaat. Soms liggen ze zelfs hoger.

Niet elke log is even waardevol

Azure biedt veel flexibiliteit in hoe je events doorzoekt en hoe lang je ze bewaart. Zoals bij alle instellingen is de tip om ze regelmatig te reviewen. Zet er een terugkerende afspraak voor in je agenda. Elke review laat zien wat er nieuw is aangemaakt en hoe je cloudomgeving draait. Dat is leerzaam en levert direct besparingen op.

Er zijn drie logplannen, en het verschil in prijs is groot:

• Analytics Logs: volledige querymogelijkheden, alerts en dashboards. Voor data waar je actief op stuurt. Ook het duurste plan.
• Basic Logs: kost ongeveer een vijfde van Analytics. Je betaalt per query, dus geschikt voor data die je af en toe nodig hebt bij troubleshooting.
• Auxiliary Logs: een fractie van de prijs van Analytics. Voor data die je bewaart voor audit of compliance en zelden bevraagt.

Het logplan stel je per tabel in. Ook de bewaartermijn kun je tegenwoordig per tabel instellen, van 30 dagen tot maar liefst 12 jaar. De meeste workspaces staan standaard op 90 dagen.

Vergelijk het met je garage. Alles wat je ooit gekocht hebt staat erin, want “misschien heb je het nog eens nodig”. Ondertussen huur je er een opslagbox bij.

Het echte probleem: niemand is eigenaar

De techniek is niet het lastige deel. Het lastige deel is dat niemand zich er vanzelf verantwoordelijk voor voelt.

• Het platformteam heeft monitoring aangezet en vinkt het af als “geregeld”.
• Ontwikkelaars loggen op debug-niveau, want dat helpt bij het bouwen. Daarna blijft het zo staan.
• Security wil alles bewaren, voor het geval dat.
• Finance ziet één regel op de factuur en heeft geen idee wat erachter zit.

Iedereen heeft een goede reden om meer te loggen. Niemand heeft de opdracht om de vraag te stellen: wat hebben we minimaal nodig?

Dezelfde reflex zien onze collega’s van OptimaData in databases. Onder druk van NIS2 gaat audit-logging daar steeds vaker op “alles”, met als gevolg logdata die vele malen groter is dan de database zelf. Terwijl NIS2 juist vraagt om passende maatregelen op basis van risico’s, niet om alles vastleggen. In Je database is geen iCloud, ook niet onder NIS2 lees je hoe doelgericht loggen daar werkt. Voor Log Analytics geldt hetzelfde principe.

Drie vragen per tabel

Wie die verantwoordelijkheid oppakt, hoeft geen groot project te starten. Loop periodiek deze drie vragen langs:

1. Wat hebben we minimaal nodig? Welke logs zijn nodig om storingen op te lossen, alerts te laten werken en aan compliance te voldoen? En wat moet je onder NIS2 kunnen aantonen?
2. Welke informatie halen we eruit? Wordt deze tabel bevraagd, zit er een alert of dashboard op? Zo niet, dan hoort hij niet op Analytics.
3. Wat is overhead? Debug-logging in productie, dubbele data uit meerdere bronnen, verbose output van containers, bewaartermijnen die niemand kan uitleggen.

Op basis daarvan kies je per logtabel het juiste plan, filter je met data collection rules aan de voorkant weg wat je niet nodig hebt, en stel je bewaartermijnen in op basis van een eis in plaats van gewoonte.

Wat het oplevert

In de praktijk blijkt 20 tot 40% van de binnenkomende logdata overhead. Filter je dat weg en zet je het grootste deel van de rest op Basic, dan daalt de logrekening al snel met 50 tot 70%. Zonder dat je inlevert op inzicht waar het ertoe doet.

Hoe OptimaSure helpt

Je hebt al snel tientallen tot honderden workspaces die je periodiek moet doorlopen. Met CloudXcellence zie je direct welke workspaces en tabellen het meeste kosten, hoeveel data er wordt gelogd en waar de besparing zit. Onze specialisten helpen je vervolgens met de keuzes per tabel en desgewenst met het doorvoeren van de aanpassingen. We helpen je niet alleen het eigenaarschap te beleggen, maar brengen ook kennis en inzicht naar je beheer- en applicatieteams, zodat de kosten over een jaar niet weer terug zijn. Daarnaast krijgt je cloud periodiek een goede check-up, waardoor ook de kwaliteit van je toepassingen verbetert. Win-win.

Benieuwd wat jouw logging kost?

Plan een vrijblijvende Azure Cost Scan, de APK voor je cloud, en weet binnen 30 dagen waar je geld naartoe gaat en waar het verbeterpotentieel zit.