Kan bedrijfs-AI volledig binnen het eigen netwerk draaien?

Kan het echt zonder cloud?

Ja, voor tekstwerk wel. Open-weight taalmodellen kunnen volledig op eigen hardware draaien, zonder dat een vraag of document naar een externe dienst gaat. De beperking zit niet in de techniek, maar in de grootte van het model dat op uw toestel past, en in de systemen rondom die zelf al in de cloud staan.

"Volledig lokaal" betekent in de praktijk: de verwerking door het taalmodel gebeurt binnen uw netwerk. Het betekent zelden dat geen enkele verbinding naar buiten bestaat. Dat onderscheid is belangrijk wanneer u aan klanten of aan een auditor uitlegt waar gegevens terechtkomen.

Wat moet er lokaal draaien?

Vier onderdelen: het taalmodel, de zoekindex met het embeddingmodel, de documentenopslag en de toepassing zelf. Staat één van die vier bij een externe dienst, dan verlaten uw gegevens op dat punt het netwerk.

1. Het taalmodel. Het model dat vragen leest en antwoorden schrijft. Het staat als bestand op het toestel en wordt in het geheugen van de grafische kaart geladen.
2. De zoekindex en het embeddingmodel. Een tweede, kleiner model zet uw documenten om in een doorzoekbare vorm. Bij elke vraag haalt de index de passende stukken op. Dit onderdeel wordt vaak vergeten: wie hiervoor een clouddienst gebruikt, stuurt alle documenten toch naar buiten.
3. De documentenopslag. De bronbestanden zelf: offertes, prijslijsten, contracten, mails. Met een back-up die ook binnen uw beheer blijft.
4. De toepassing. De chat, het rechtenbeheer, de koppelingen en de logboeken. Hier wordt beslist wie wat mag zien.

In de opzet van Arqen staat dit samen op één toestel in de serverruimte van de klant, met één login en één rechtenmodel. Hoe dat eruitziet, leest u op de pagina over lokale AI.

Welke hardware is daarvoor nodig?

Een server met één of meer grafische kaarten. Het geheugen van die kaarten bepaalt twee dingen: hoe groot het model mag zijn, en hoeveel mensen tegelijk een vraag kunnen stellen. Een vast antwoord in cijfers bestaat niet, omdat het afhangt van uw taken.

• Modelgrootte. Het model moet volledig in het geheugen passen. Een groter model antwoordt doorgaans beter, maar vraagt evenredig meer geheugen.
• Gelijktijdige gebruikers. Elke lopende vraag neemt extra geheugen in, en meer naarmate de meegegeven documenten langer zijn. Tien mensen die tegelijk een lang contract laten samenvatten, belasten het toestel anders dan tien korte vragen verspreid over de dag.
• Automatische taken. Wordt elke binnenkomende mail voorbereid, dan werkt het toestel ook wanneer niemand aan de chat zit. Dat telt mee in de capaciteit.

Laat de hardware kiezen op basis van gemeten gebruik of een realistische inschatting, niet op basis van een productfolder. Wat de keuze betekent voor het budget, staat in het artikel wat kost lokale AI voor een KMO.

Welke koppelingen raken onvermijdelijk de buitenwereld?

Mail, telefonie en beheer op afstand. Die drie liggen bij de meeste KMO's al buiten het gebouw, los van AI. Een lokaal model verandert daar niets aan, maar voegt er ook geen nieuwe externe verwerker aan toe.

Mail

Gebruikt u Microsoft 365 of Google Workspace, dan staan uw mails al in de cloud van die leverancier. Het lokale systeem haalt ze op via het koppelvlak van die dienst en verwerkt ze binnen uw netwerk. De mail zelf blijft bij uw mailleverancier staan. Hoe zo'n koppeling werkt, leest u in het artikel over AI koppelen aan Outlook, Gmail, Zoho en uw ERP en op de pagina over de AI-mailbox.

Telefonie

Een telefoongesprek komt altijd van buiten, via een operator en vaak via een telefooncentrale in de cloud. Het uitschrijven en samenvatten van het gesprek kan wel lokaal gebeuren. Vraag waar de opname bewaard wordt en hoelang. Meer hierover op de pagina over AI-telefonie.

Beheer en updates

Een toestel dat nooit updates krijgt, wordt een beveiligingsrisico. Updates en monitoring vragen een verbinding naar buiten, tenzij iemand ze ter plaatse uitvoert. Die verbinding hoort beveiligd, beperkt tot het beheer en gelogd te zijn. Ze geeft technisch toegang tot het toestel, dus ze hoort ook in de verwerkersovereenkomst.

Hoe beveiligt u een lokale AI-server?

Zoals elke server met gevoelige gegevens, met één extra aandachtspunt: het systeem bundelt gegevens die vroeger verspreid zaten. Wie toegang krijgt tot de chat, kan in één vraag opvragen wat vroeger tien mappen ver zat. Het rechtenmodel is daarom het belangrijkste onderdeel.

• Netwerksegmentatie. Het toestel staat in een eigen deel van het netwerk. Alleen de nodige verbindingen naar mailserver, ERP en gebruikers zijn open.
• Eén rechtenmodel. Een medewerker ziet in de chat alleen wat hij in de bronsystemen ook mag zien. Loongegevens en marges zijn niet voor iedereen.
• Logboeken. Wie vroeg wat, en op welke bronnen steunde het antwoord. Nodig voor controle achteraf, en zelf ook persoonsgegevens met een bewaartermijn.
• Back-ups. Van de documenten, de index en de instellingen, versleuteld en getest op terugzetten. Een back-up naar een clouddienst brengt uw gegevens opnieuw naar buiten: kies bewust.
• Fysieke toegang. Een afgesloten ruimte, versleutelde schijven en een afspraak over wat er met de schijven gebeurt bij vervanging van het toestel.

Lokaal draaien ontslaat u niet van de AVG. U blijft verwerkingsverantwoordelijke, u heeft een rechtsgrond nodig, en met een leverancier die toegang heeft tot het toestel sluit u een verwerkersovereenkomst. Richtlijnen voor Belgische bedrijven vindt u bij de Gegevensbeschermingsautoriteit. Ook de AI-verordening geldt ongeacht de plaats waar het model draait. Wel vervalt lokaal de vraag naar doorgifte van gegevens buiten de EU voor de verwerking door het model zelf.

Wat zijn de realistische beperkingen?

Vier beperkingen: de allergrootste modellen krijgt u niet lokaal, de capaciteit is eindig, spraak en beeld zijn zwaarder dan tekst, en iemand moet het beheren. Geen van de vier is een reden om het niet te doen, wel om er vooraf rekening mee te houden.

• Geen frontiermodellen. De grootste modellen van de grote aanbieders zijn alleen als clouddienst beschikbaar. Lokale modellen zijn kleiner. Voor mails, offertes, samenvattingen en zoeken in eigen documenten volstaan ze doorgaans. Voor lange juridische analyses of complexe redeneringen merkt u het verschil.
• Capaciteit plannen. Een clouddienst schaalt mee, een toestel niet. Groeit uw team of komen er modules bij, dan kan het toestel te klein worden. Spreek af wie dat opvolgt.
• Spraak en beeld. Gesprekken uitschrijven, gescande documenten lezen of foto's van een werf beoordelen vraagt aparte modellen en extra rekenkracht. Het kan lokaal, maar het weegt op hetzelfde toestel.
• Beheer. Updates, monitoring, back-ups en herstel moeten door iemand gebeuren. Bij Arqen zit dat beheer in de vaste maandprijs. Valt het toestel uit, dan werkt u verder zoals voordien, want uw mailbox en boekhoudpakket blijven gewoon bestaan.
• Fouten blijven mogelijk. Een lokaal model vergist zich zoals elk taalmodel. Daarom toont een goed systeem bij elk antwoord waarop het steunt, en gaat er niets buiten zonder controle door een medewerker.

Is een eigen serverruimte niet haalbaar, dan is hosting binnen de EU een tussenweg. De afweging staat in het artikel lokale AI of EU-cloudhosting.

Hoe beslist u of lokaal draaien bij u past?

Loop de onderstaande lijst af. Antwoordt u op de meeste punten ja, dan is lokaal draaien een ernstige optie. Blijft u steken bij de ruimte of het beheer, bekijk dan eerst EU-hosting of een leverancier die het beheer overneemt.

• U verwerkt gegevens die u liever niet door een derde partij laat verwerken: klantendossiers, prijzen, marges, personeelsgegevens.
• Het werk is vooral tekst: mails, offertes, werkbonnen, documenten doorzoeken.
• Meerdere mensen zouden het systeem dagelijks gebruiken.
• U heeft een afsluitbare ruimte met stroom, koeling en een netwerkverbinding.
• Het is duidelijk wie het toestel beheert en wie inspringt bij een defect.
• U weet welke systemen gekoppeld moeten worden en of ze een koppelvlak hebben.
• U aanvaardt dat mail en telefonie een verbinding naar buiten houden, en u kan die beschrijven.
• U heeft geen taken die alleen met de allergrootste modellen lukken.

Begin klein. Eén module, met uw echte documenten, een week uitproberen met twee collega's. Zo ziet u of de antwoorden goed genoeg zijn en of het toestel de belasting aankan, voor u verder uitbreidt. Wat dat voor een kleiner bedrijf betekent, leest u op de pagina over AI voor KMO's.