Arch AI: KI-Werkzeuge mit Datensouveränität

Arch AI (archai.ethz.ch) ist die KI-Plattform des Departements Architektur für alle ETH-Angehörigen: Chat mit Sprachmodellen, Dokumente, Bilder, Sprache, Websuche und Agents auf Basis von LibreChat. Lokale Modelle auf ETH-Servern, Ihre Daten bleiben an der ETH.

Was ist Arch AI?

Arch AI (archai.ethz.ch) ist die KI-Plattform des Departements Architektur und steht allen Angehörigen der ETH Zürich mit ihrem ETH-Konto offen. Sie chatten mit grossen Sprachmodellen (LLM), arbeiten mit eigenen Dokumenten, erzeugen und beschreiben Bilder, diktieren Eingaben, lassen Antworten vorlesen, suchen im Web und bauen eigene Assistenten («Agents»), ähnlich wie bei ChatGPT, aber auf Infrastruktur der ETH.

Arch AI basiert auf der Open-Source-Software LibreChat. Die Sprach- und Bildmodelle laufen auf Servern des Departements Architektur an der ETH Zürich. Damit zeigen wir, was KI auf eigener Hardware («On-Premises») heute leistet und wo ihre Grenzen liegen.

Digitale Datensouveränität

Wer einen KI-Dienst nutzt, gibt Daten aus der Hand: Fragen, Dokumente, Bilder, oft auch Hinweise auf unveröffentlichte Forschung oder auf Personen. Bei kommerziellen Cloud-Diensten landen diese Daten bei Anbietern ausserhalb der Schweiz, unter fremdem Recht und ohne Kontrolle darüber, was damit geschieht. Digitale Datensouveränität heisst für uns: Die ETH entscheidet selbst, wo ihre Daten verarbeitet werden, mit welcher Software und mit welchen Modellen.

• Ihre Daten bleiben an der ETH. Konversationen, hochgeladene Dateien, Bilder, Spracheingaben, Agents und Erinnerungen werden ausschliesslich auf Servern des Departements in Zürich verarbeitet und gespeichert.
• Offene Software, offene Modelle. LibreChat ist Open Source, die lokalen Sprachmodelle wie Gemma und Qwen sind offen verfügbar («Open Weights»). Nichts ist an einen Anbieter gebunden; Modelle lassen sich austauschen, wenn bessere erscheinen.
• Sie wählen pro Konversation. Lokale Modelle sind die Voreinstellung. Das GPT-Modell in der Cloud ist eine Option, die Sie bewusst auswählen, und die Oberfläche zeigt immer, welches Modell aktiv ist.
• Lokal heisst lokal. Bei den lokalen Modellen verlassen Ihre Inhalte die ETH nicht, und wir werten sie nicht aus. Für das GPT-Modell gelten die Bedingungen von Microsoft Azure OpenAI: Ihre Nachrichten werden in Microsofts Rechenzentrum verarbeitet und können dort zur Missbrauchsprüfung vorübergehend gespeichert werden. Konversationen löschen Sie selbst in Arch AI.

Was Sie mit Arch AI tun können

Loslegen

1. Öffnen Sie archai.ethz.ch und klicken Sie auf Login with ETH Zürich. Melden Sie sich mit Ihrem ETH-Konto an; beim ersten Mal bestätigen Sie die Nutzungsbedingungen.

2. Wählen Sie oben links das Modell: Local AI für die lokalen Sprachmodelle (Voreinstellung), Local Code AI für Programmierfragen, Azure OpenAI für GPT, My Agents für Ihre Assistenten.

3. Schreiben Sie Ihre Frage ins Eingabefeld. Mit der Büroklammer hängen Sie Dateien oder Bilder an, mit dem Mikrofon diktieren Sie. Antworten lassen sich kopieren, erneut erzeugen oder mit einem anderen Modell wiederholen.

4. Eine Bedienungsanleitung mit Antworten auf häufige Fragen finden Sie in Arch AI unten unter Arch AI – Help and FAQ.

Kosten

Die lokalen Dienste sind für ETH-Angehörige kostenlos und bleiben es. Die Nutzung von GPT finanziert die IT-Gruppe des Departements Architektur; wir behalten uns vor, Cloud-Modelle zu entfernen, falls die Kosten zu hoch werden. Wenn Ihre Einheit Arch AI dauerhaft in Lehre oder Forschung einsetzen möchte, nehmen Sie mit uns Kontakt auf.

API-Zugriff für Forschung und Projekte

Für Forschungsprojekte des Departements oder Projekte mit sensiblen Daten stehen die lokalen Modelle auch über eine OpenAI-kompatible Schnittstelle (HTTPS, Streaming, Tool Calling) zur Verfügung. Weil die API das OpenAI-Protokoll spricht, funktioniert jede OpenAI-Client-Bibliothek. Die Beispiele verwenden das offizielle Python-Paket openai (pip install openai). Host, Token und Modellnamen erhalten Sie von uns.

Eine Frage stellen

from openai import OpenAI

HOST = "https://on-premise-llm.ethz.ch/v1"
TOKEN = "your-api-token"
MODEL = "model-name"

client = OpenAI(base_url=HOST, api_key=TOKEN)

response = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", 
               "content": "What is the tallest building in Zurich?"}],
)
print(response.choices[0].message.content)

python ask-a-question.py   
The tallest building in Zurich is the **Prime Tower**. 
It stands at approximately 126 meters (about 413 feet) tall.

Ein Bild verschlagworten

Das Bild wird als Teil der Nachricht gesendet, das Modell antwortet mit einer Liste von Schlagworten.

import base64
from openai import OpenAI

HOST = "https://on-premise-llm.ethz.ch/v1"
TOKEN = "your-api-token"
MODEL = "model-name"

client = OpenAI(base_url=HOST, api_key=TOKEN)

with open("photo.jpg", "rb") as f:
    image = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model=MODEL,
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", 
             "text": "Describe this image with 5 to 10 tags, \
                     comma-separated, nothing else."},
            {"type": "image_url", 
             "image_url": {"url": f"data:image/jpeg;base64,{image}"}},
        ],
    }],
)
print(response.choices[0].message.content)

python tag-an-image.py
Zurich, Switzerland, Cityscape, Architecture, River, Lake, 
Alps, Church, Skyline, European

Bei Interesse an einem API-Zugang kontaktieren Sie uns.

Gut zu wissen

• Rolling Release: Arch AI wird laufend weiterentwickelt. Modelle und Funktionen können wechseln; grössere Änderungen kündigen wir in Arch AI an.
• Regeln der ETH: Für den Einsatz von KI in Lehre, Prüfungen und Forschung gelten die Vorgaben der ETH Zürich und Ihres Studiengangs, etwa zur Deklaration von KI-Hilfsmitteln. Arch AI ändert daran nichts.
• Grenzen lokaler Modelle: Die lokalen Modelle sind kleiner als die grossen Cloud-Modelle und laufen auf Standardhardware. Für die meisten Aufgaben reicht das; bei sehr langen Dokumenten oder anspruchsvollen Analysen kann GPT besser sein, sofern die Daten das zulassen.

Fragen, Wünsche und Rückmeldungen zu Arch AI nehmen wir gerne über den Service Desk entgegen.