Wat kost lokale AI voor een KMO?

Wat bepaalt de prijs van lokale AI?

Zeven kostenposten: hardware, software en modellen, integratiewerk, datavoorbereiding, beheer en updates, stroom en huisvesting, en opleiding. Bij de meeste KMO's is het integratiewerk de grootste post, niet het toestel. Wie alleen de prijs van een server vergelijkt, vergelijkt dus het kleinste deel van de rekening.

Met lokale AI bedoelen we een taalmodel dat op een toestel in uw eigen serverruimte draait, binnen uw netwerk, en dat werkt met uw eigen mails, documenten, prijslijsten en klantendossiers. Meer uitleg over die opzet vindt u op de pagina over lokale AI.

Wat drijft de hardwarekost?

Drie dingen: de grootte van het taalmodel, het aantal mensen dat tegelijk een vraag stelt, en het geheugen dat daarvoor nodig is. Een groter model geeft doorgaans betere antwoorden, maar moet volledig in het geheugen van de grafische kaart passen. Elke gelijktijdige gebruiker vraagt daarbovenop extra geheugen.

Een bedrijf met acht bedienden dat het systeem vooral voor mail en offertes gebruikt, heeft dus een ander toestel nodig dan een bedrijf waar veertig mensen de hele dag vragen stellen en waar ook telefoongesprekken worden uitgeschreven. Spraak en beeld wegen zwaarder dan tekst. Laat de hardware daarom kiezen nadat duidelijk is welke taken het systeem moet doen, niet ervoor.

Betaalt u licenties voor de software en de modellen?

Voor open-weight modellen betaalt u geen licentie per token of per vraag: u draait het model zelf, dus er loopt geen teller. De licentievoorwaarden verschillen wel per model. Sommige licenties laten elk commercieel gebruik toe, andere leggen beperkingen op. Laat uw leverancier schriftelijk bevestigen onder welke licentie het gekozen model valt.

Naast het model is er de toepassing eromheen: de chat, de zoekindex op uw documenten, de koppelingen en het rechtenbeheer. Dat deel is maatwerk of een product van de leverancier, en daar zit meestal wel een terugkerende kost aan vast.

Waarom is integratie meestal de grootste post?

Omdat een taalmodel zonder koppelingen alleen algemene vragen beantwoordt. De waarde ontstaat wanneer het systeem uw mailbox leest, de klantgeschiedenis kent, prijzen uit uw boekhoudpakket haalt en een werkbon in de juiste planning zet. Elk van die koppelingen moet gebouwd, getest en onderhouden worden.

Hoeveel werk dat is, hangt af van uw bestaande software. Een pakket met een goed gedocumenteerd koppelvlak is sneller aangesloten dan een oud pakket dat alleen bestanden exporteert. Ook het rechtenmodel telt mee: een magazijnier mag niet dezelfde gegevens zien als de zaakvoerder. Op de pagina over ERP-integraties leest u hoe zo'n koppeling werkt wanneer het bestaande pakket blijft.

Wie wil inschatten waar het werk zit, leest ook het artikel over AI koppelen aan Outlook, Gmail, Zoho en uw ERP.

Welke kosten worden vaak vergeten?

Datavoorbereiding, beheer, stroom en opleiding. Geen van die vier staat op de factuur van het toestel, en toch bepalen ze of het systeem na zes maanden nog gebruikt wordt.

• Datavoorbereiding. Prijslijsten in drie versies, offertes in losse mappen en klantgegevens verspreid over mail en boekhouding geven slechte antwoorden. Iemand moet beslissen welke bron geldt en de rest opruimen. Dat werk doet u deels zelf.
• Beheer en updates. Het besturingssysteem, het model en de koppelingen hebben updates nodig. Er moet monitoring zijn en een back-up die getest is. Wie doet dat, en wat gebeurt er wanneer die persoon met verlof is?
• Stroom en huisvesting. Een server met grafische kaarten verbruikt stroom, ook wanneer niemand een vraag stelt, en geeft warmte af. Heeft u een afgesloten, gekoelde ruimte met noodstroom, of moet die er nog komen?
• Opleiding. Medewerkers moeten weten wat het systeem kan, wat het niet kan en dat zij elk voorstel controleren voor het buitengaat. Reken ook tijd voor nieuwe collega's.

Er is ook een juridische post. Zodra het systeem persoonsgegevens van klanten of medewerkers verwerkt, geldt de AVG. Werkt u met een leverancier die toegang heeft tot die gegevens, dan is een verwerkersovereenkomst nodig en legt u bewaartermijnen vast. Praktische uitleg vindt u bij de Gegevensbeschermingsautoriteit. Dat geldt even goed voor clouddiensten.

Hoe verschilt de kostenstructuur van een abonnement per gebruiker of betalen per token?

Lokale AI heeft vooral vaste kosten: het toestel, de integratie en het beheer kosten hetzelfde, of er nu tien of duizend vragen per dag gesteld worden. Een abonnement per gebruiker stijgt met elke collega die u toevoegt. Betalen per token stijgt met elk gebruik en is daardoor het moeilijkst te voorspellen.

Er is nog een derde weg: hosting binnen de EU in plaats van in uw eigen serverruimte. De afweging daarvan staat in het artikel over lokale AI of EU-cloudhosting.

Waar zitten de verborgen kosten aan beide kanten?

Bij lokale AI zitten ze in vervanging en capaciteit. Bij clouddiensten zitten ze in licentievoorwaarden en in alles wat het abonnement niet dekt. Geen van beide modellen is vrij van verrassingen.

• Lokaal: vervanging van hardware wanneer modellen groter worden, uitbreiding wanneer meer mensen tegelijk werken, stilstand bij een defect, en de tijd van wie het beheer doet.
• Cloud: een vereiste basislicentie onder het AI-abonnement, prijswijzigingen waarop u geen vat heeft, extra kosten voor koppelingen met systemen buiten het platform, en de kost om later over te stappen.
• Beide: datavoorbereiding, opleiding en de tijd van uw eigen mensen tijdens de opbouw. Die posten verdwijnen bij geen enkele leverancier.

Hoe rekent Arqen lokale AI aan?

Arqen werkt met één vaste maandprijs voor het toestel, het fundament en de gekozen modules. Er is geen tokenteller en geen prijs per gebruiker. Het bedrag staat in de offerte, omdat het afhangt van uw modules en uw bestaande systemen.

Onderhoud, updates en monitoring van het toestel zitten in die prijs. Valt het toestel uit, dan werkt u verder zoals voordien. Bij stopzetting krijgt u uw gegevens in een leesbaar formaat en is er geen opzegvergoeding. U breidt uit per module, nooit vijf tegelijk, zodat de kost meegroeit met wat u werkelijk gebruikt. Wat dat voor een kleiner bedrijf betekent, leest u op de pagina over AI voor KMO's.

Welke vragen stelt u aan elke leverancier?

Stel dezelfde vragen aan elke partij, ook aan een cloudleverancier. De antwoorden maken offertes vergelijkbaar.

• Wat is eenmalig, wat is terugkerend, en wat is de totale kost over drie jaar?
• Stijgt de prijs met het aantal gebruikers of met het verbruik?
• Wie is eigenaar van het toestel en wie betaalt de vervanging?
• Onder welke licentie valt het taalmodel?
• Welke koppelingen zitten in de prijs en wat kost een extra koppeling?
• Wie doet updates, monitoring en back-ups, en binnen welke termijn wordt een defect hersteld?
• Waar worden gegevens verwerkt en bewaard, en is er een verwerkersovereenkomst?
• Hoe krijg ik mijn gegevens terug bij stopzetting, en kost dat iets?
• Welk werk verwacht u van mijn eigen mensen tijdens de opbouw?

Wanneer loont lokale AI niet?

Wanneer het gebruik beperkt blijft tot enkele mensen die af en toe een tekst laten nalezen, of wanneer uw gegevens niet gevoelig zijn en al volledig in één cloudplatform zitten. In die gevallen is een abonnement eenvoudiger en goedkoper. Lokale AI verdient zichzelf pas terug wanneer het systeem dagelijks werk voorbereidt voor meerdere mensen en daarvoor gegevens nodig heeft die u liever binnenshuis houdt.

Twijfelt u, begin dan bij de taak en niet bij de techniek. Schrijf op welk werk vandaag het meeste tijd vraagt, hoeveel mensen het doen en welke systemen erbij komen kijken. Met die drie gegevens kan elke ernstige leverancier u zeggen welke kostenposten bij u doorwegen.