So nutzen Sie AI Funktionen in Vertec mit voller Souveränität

Vertec mit AI Funktionen zu kombinieren, kann enorme Vorteile bieten. Aber nicht jedes Unternehmen kann mit allen AI Diensten arbeiten. Gesetzliche Anforderungen oder Bedenken rund um die Datensouveränität erfordern spezielle Setups. Das Ziel: möglichst viel AI Nutzen bei minimalen Risiken.

Die gute Nachricht: Vertec hat die AI Funktionen so konzipiert, dass souveräne Setups möglich sind.

1 Vertec MCP Server

Sehr komfortabel nutzt man den Vertec MCP Server mit Claude von Anthropic. Aber was kann man tun, wenn der grosse US-Anbieter nicht infrage kommt? Zwei Komponenten müssen ersetzt werden, die Anthropic in Claude kombiniert. Ein AI-Client, also die Software, die den Chat bereitstellt. Und das LLM, welches die textlichen Anfragen verarbeitet.

AI-Clients für souveräne MCP Nutzung

Betrachten wir zuerst den AI-Client. Anstelle von Claude oder ChatGPT suchen wir in unserem Szenario Optionen, die mehr Souveränität bieten. Zwei Lösungen erfüllen diese Anforderungen besonders gut: LibreChat und Open WebUI.

Beide Lösungen können auf Servern Ihrer Wahl betrieben werden. Darin liegt der signifikante Unterschied zu Claude und ChatGPT. Sobald Sie einen der Clients installiert haben, kann die Konfiguration für den Vertec MCP Server beginnen. Die Schritte sind für beide Tools auf der Knowledge Base der Anbieter dokumentiert.

Wichtig: Diese beiden Lösungen unterstützen OAuth und können damit die Autorisierung gegenüber Vertec durchführen.

LLM hosten

Mit LibreChat oder Open WebUI sind souveräne Lösungen möglich für die Verbindung AI-Client <> Vertec MCP Server <> Vertec. Nun braucht es aber noch ein LLM, welches die Nutzeranfragen versteht, die passenden MCP-Tools aufruft und die Ergebnisse verständlich zurückgibt.

Theoretisch kann man viele sogenannte open weight Modelle selbst betreiben, aber Hardware und Aufwand dafür sind teuer. Diese Lücke füllen Anbieter wie Infomaniak und Exoscale. Sie ermöglichen das Betreiben von Modellen wie bspw. Mistral oder Qwen auf ihrer Hardware, in der Schweiz, in Deutschland und Österreich. Als Kunde erhält man API keys für die ausgewählten Modelle und kann diese aus den AI-Clients heraus ansprechen.

2 RAG-Projekte mit Squirro

Die Erläuterungen zum Hosten von LLMs sind auch für RAG-Systeme relevant. Statt eines eigenen AI Know-how Management Moduls können Vertec Kunden ein RAG-Projekt direkt bei Squirro beauftragen, inklusive Anbindung ihrer Vertec Daten. Für strukturierte Geschäftsdaten setzt Vertec hingegen auf MCP. Warum wir diesen Weg gewählt haben, erfahren Sie im Blog Der Vertec MCP Server hat dem RAG-System den Rang abgelaufen.

Ein souveränes AI Setup für Vertec ist realistisch, erfordert aber etwas mehr Aufwand als bei den etablierten Lösungen der führenden AI Dienste. Die Vorteile eines solchen Setups sind:

• Kein lock-in bei den LLM Anbietern, einfacher Wechsel ist jederzeit möglich
• ISO27001-zertifizierte Hostinganbieter für die LLMs gewährleisten hohes Niveau für technischen Schutz und Datenschutz
• Selbst gehostete AI-Clients ermöglichen mehr Souveränität als Claude oder ChatGPT

Sie möchten mehr zu den AI Funktionen in Vertec erfahren? Auf der Videoübersicht bieten wir Einblicke und Tutorials.