AI Chatbot Knowledge Assistant

Opzetten van een Private Cloud omgeving & een datasoevereine, cyberveilige AI Chatbot Zoekengine voor de Europese Unie

De uitdaging

Het ontwikkelen van een gebruiksvriendelijke AI-zoekassistent die medewerkers van een Europese instelling in staat stelt om via een chatinterface snel en accuraat informatie op te zoeken binnen drie specifieke domeinen: beleid, HR en IT-helpdesk.

Volgende functionele en non-functionele eisen werden vooropgesteld :

Efficiënte informatieopvraging
Gebruikers kunnen via een intuïtieve chat(bot)interface snel en gericht zoeken binnen drie gespecialiseerde domeinen:
- Beleidsmedewerkers: toegang tot 1,4 miljoen documenten.
- HR-medewerkers: zoeken in personeelsregisters (openbaar en intern).
- IT-helpdesk: toegang tot uitgebreide technische documentatie en handleidingen.
Semantisch zoeken
Door gebruik van een Large Language Model wordt elke zoekopdracht semantisch verwerkt, zodat relevante informatie uit miljoenen documenten accuraat wordt gefilterd en weergegeven.
Betrouwbare en verifieerbare antwoorden
Alle gegenereerde antwoorden zijn traceerbaar naar hun brondocumenten, waardoor gebruikers de informatie kunnen controleren en vertrouwen op de juistheid ervan.
Interactieve opvraging
Het systeem ondersteunt vervolgvragen en dialoog, zodat gebruikers hun zoekopdracht kunnen verfijnen en verduidelijken.
Dataveiligheid, datagevoeligheid is zeer hoog en de GDPR-regelgeving dient volledig gerespecteerd te worden

Onze aanpak en oplossing

Gezien de hoge non-functionele  vereisten mbt data-protectie, GDPR-wetgeving, hebben we geopteerd om een cyberveilige, soevereign AI-project te realiseren, in een private cloud architectuur dat voldoet aan Europese vereisten voor gegevenssoevereiniteit .

Er werd geopteerd voor een schaalbare private cloud, waarbij de hardware geënt is op NVIDA-servertechnology. Met dit opzet behoudt de Europese commissie enerzijds volledige controle over data, infrastructuur en toegang, anderszijds biedt het snelle chatresponstijden niettegenstaande het complexe LLM (Large Language Model).

UptimeGroup werd ingezet voor de architectuur, bouw en integratie van de private cloud omgeving, inclusief de levering van de NVIDIA servers.
De business unit Rebatch realiseerde de software oplossing, inclusief het training van het LM (Language Model).