AG: Generative KI

AI-ToolLab: LLM API-Access

Übersicht

Mitglieder der Goethe-Universität können über das AI-ToolLab einen OpenAI-kompatiblen API-Zugang zu verschiedenen Large Language Models (LLMs) erhalten.

Dieser Service ermöglicht experimentellen Zugang zu KI-Technologien in einem geschützten Umfeld und wird von studiumdigitale bereitgestellt.

Features

  • OpenAI-kompatible API:
    Einfache Integration in bestehende Anwendungen
  • Kostenlose Nutzung:
    Für Mitarbeiter*innen der Goethe-Universität (unter Fair-Use-Bedingungen, für kostenpflichtige Modelle kann es Einschränkungen geben)
  • Zugang zu 60+ Modellen:
    • verschiedene Größen, Anbieter und Hosting-Standorte
    • Sprachmodelle (LLMs) wie OpenAI GPT-5, Llama 3.3, Mistral oder Qwen
    • Code-Modelle (Code-LLMs) wie Qwen3 Coder, GLM, CodeLlama
    • versch. Embedding Modelle für die Entwicklung von RAG-Systemen

Aktuelles

07.05.2025:
Leider können wir derzeit keinen Zugang zu den Azure-OpenAI-Modellen über die API bereitstellen. Aufgrund der hohen Nachfrage und der intensiven Nutzung übersteigen die Kosten aktuell unser Budget. Bis wir eine Lösung finden, müssen wir alle Accounts (neu und bestehend) entsprechend anpassen.

🔑 Beantragung eines API-Zugangs

Um Zugang zur LLM-API zu erhalten, müssen Sie folgende Schritte durchführen

  1. Voraussetzungen erfüllen:
    • Sie müssen:
    • Wenn Sie schon einen Dienst des AI-ToolLabs verwenden, haben Sie dies schon erledigt
  2. Antrag stellen:
  3. Account-Erstellung:
    • Nach erfolgreicher Prüfung erstellen wir Ihren API-Account
    • Sie erhalten eine E-Mail mit Ihren individuellen Zugangsdaten

Hinweise zur
Schulung zum kritischen Umgang mit KI

  • Sie finden die Schulung hier 📖
  • Einloggen mit:
    • folgen Sie den Anweisungen für den Login, um sich mit Ihrem HRZ-Account anzumelden oder einen neuen Account zu erstellen.
  • Schreiben Sie sich in den Kurs ein
  • Um den Kurs abzuschließen, müssen Sie alle Lerneinheiten erfolgreich absolvieren
  • Wenn Sie den Kurs abgeschlossen haben, erhalten Sie auf Moodle ein Badge, welches den Abschluss bestätigt
Datenschutz und Nutzungsbedingungen

Mit der Beantragung eines API-Accounts stimmen Sie folgenden Maßnahmen zu:

  • Account-Erstellung:
    • Wir erstellen Ihnen einen Account in der, bei uns, an der GU, gehosteten Plattform „LiteLLM“.
      • Dafür speichern wir Ihren HRZ-Usernamen und Ihre Email-Adresse in der Plattform und verbinden Ihren Account mit diesen Daten.
      • dies geschieht zur Möglichkeit der Widererkennung, ggf. notwendigen Kontaktaufnahme sowie ggf. zu Abrechnungszwecken
  • API-Nutzung:
    • Bei der Nutzung der API werden über jeden Aufruf der API statistische Daten erhoben.
      • Dazu gehört der genaue API-Endpoint, der Zeitpunkt der Anfrage, die Input- und Output-Tokenmenge und ob die Anfrage erfolgreich war, oder einen Fehler ausgelöst hat.
      • Dies geschieht zur Fehleranalyse und in Zukunft ggf. zu Abrechnungszwecken.
    • Zu keinem Zeitpunkt speichern wir die Prompts, oder andere Daten, welche Sie innerhalb der Anfragen übersenden.
  • Abrechnung:
    • Aktuell wird das Angebot komplett kostenfrei angeboten. Sie müssen keine Kosten befürchten und können den Dienst in dieser Einführungsphase frei testen.
    • Sie starten mit einem 50€ Budget und wenn dieses aufgebraucht ist, wird Ihr Zugang zur API eingeschränkt, so dass Sie keine Kosten befürchten müssen.
    • Mehr dazu, siehe „Hinweis: Budget zur Nutzung von kostenpflichtigen Modellen„

Weitere Informationen zum Angebot

Allgemeine Informationen

Endpoints

Wir setzen LiteLLM als API-Gateway ein, um eine OpenAI-kompatible Schnittstelle zu bieten.
Die Endpoints sind wie folgt:

Azure-kompatibel:
https://litellm.s.studiumdigitale.uni-frankfurt.de/

OpenAI-kompatibel:
https://litellm.s.studiumdigitale.uni-frankfurt.de/v1/

Authentifizierung

Für den API-Zugang benötigen Sie einen individuellen API-Key, der Ihnen nach der Beantragung zur Verfügung gestellt wird.

Diesen Key können Sie in Kombination mit der Endpoint-URL in Ihren API-Anfragen verwenden.

Verfügbare Modelle

Die API bietet derzeit Zugang zu 65 verschiedenen Modellen aus drei Hosting-Kategorien.

Grundsätzlich beinhaltet das Angebot eine Mischung aus kommerziellen und Open-Source-Modellen, die in verschiedenen Größen und für unterschiedliche Anwendungsfälle optimiert sind.

Momentan sind folgende Modelle verfügbar:

🇪🇺 Azure OpenAI (EU Data Zone)

Hosting: Microsoft Azure in der EU
Kosten: Kostenpflichtig (Budget-basiert)

Momentan leider nicht verfügbar!

Die GU nutzt den Azure OpenAI Service in der EU Data Zone, um Zugang zu kommerziellen Modellen von OpenAI zu ermöglichen. Diese Modelle sind in der Regel leistungsstark und bieten eine breite Palette an Funktionen.

Modelle:

gpt-5
gpt-5-chat
gpt-5-mini
gpt-5-nano		GPT-5 Modell-Reihe für anspruchsvolle oder einfache, dafür sehr schnelle Ausführung
gpt-4.1
gpt-4.1-mini
gpt-4.1-nano		GPT-4.1 Modell-Reihe
gpt-4o
gpt-4o-mini		GPT-4o Modell-Reihe
o3
o3-mini		o3-Modell-Reihe
codex-miniCoding Modell
text-embedding-3-large
text-embedding-3-small		Embedding Modelle
🇩🇪 GWDG/KissKI

Hosting: in Deutschland bei der GWDG über das Projekt KissKI und deren Dienst chat-ai.academiccloud.de
Kosten: Kostenlos unter Fair-Use-Bedingungen

Durch die Kooperation mit der GWDG und KissKI können wir eine Vielzahl von Open-Source und kommerziellen Modellen anbieten. Diese Modelle sind lokal in Deutschland gehostet und bieten eine hohe Verfügbarkeit.
Wir haben keinen Einfluss auf die Verfügbarkeit und die Anzahl der Modelle, da diese von der GWDG bereitgestellt werden.
Sollte ein Modell nicht verfügbar sein, können wir nicht garantieren, dass es wieder verfügbar wird.

Übersicht über die Modelle der GWDG: GWDG-Website

Modelle:

openai-gpt-oss-120bEmpfohlen: Open Source Modell von OpenAI
mistral-large-3-675b-instruct-2512Empfohlen: großes neues Mistral Modell
gemma-3-27b-it
medgemma-27b-it		Googles Gemma3 inkl. auf medizinische Szenarien angepasstes Modell
glm-4.7
devstral-2-123b-instruct-2512
qwen2.5-coder-32b-instruct		Coding-Modelle
internvl3.5-30b-a3bVision-Modell
llama-3.1-sauerkrautlm-70b-instruct
llama-3.3-70b-instruct
meta-llama-3.1-8b-instruct		Llama Modelle
qwen3-235b-a22b

qwen2.5-vl-72b-instruct
qwen3-30b-a3b-instruct-2507
qwen3-30b-a3b-thinking-2507
qwen3-32b
qwen3-coder-30b-a3b-instruct
qwen3-omni-30b-a3b-instruct
qwen3-vl-30b-a3b-instruct
qwq-32b		Verschiedene Modelle der qwen2 und qwen3 Reihe mit Unterschiedlichen Schwerpunkten (Reasoning, Thinking, Vision etc)
teuken-7b-instruct-research
deepseek-r1-distill-llama-70b
apertus-70b-instruct-2509		Weitere verfügbare Modelle

🏛️ Goethe-Universität / studiumdigitale

Hosting: Lokal auf einem Server bei studiumdigitale an der GU
Kosten: Kostenlos

Chat-Modelle:

gpt-oss:20bOpenAI’s Open Source Modell mit Reasoning
gemma3:12bMultimodal-Modell
llama3.1:8bNeueste Llama-Version
llama3:8bBewährtes Allzweckmodell
llama2:7b Kleines Textmodell
mistral:7bKompaktes Sprachmodell
codellama:7bCode-spezialisiert
ollama_defaultStandard-Modell (Llama 3.1 8B)

Embedding-Modelle:

all-minilm:33m
bge-large:335m
bge-m3:567m
granite-embedding:278m
mxbai-embed-large:335m
nomic-embed-text:v1.5
paraphrase-multilingual:278m
snowflake-arctic-embed2:568m
snowflake-arctic-embed:335m

Wir aktualisieren die Liste je nach Verfügbarkeit, Nachfrage und unserer Möglichkeiten.

Anleitung: Abruf von aktuellen Modellinformationen

Da sich die verfügbaren Modelle regelmäßig ändern, empfiehlt es sich, die aktuellen Informationen direkt über die API abzurufen.

Für die folgenden Abfragen müssen Sie über ein grundlegendes technisches Basiswissen über den Umgang mit APIs verfügen

/models – Kurze Modellübersicht

Inhalt: Einfache Liste aller verfügbaren Modell-IDs
Verwendung: Schnelle Übersicht, welche Modelle verfügbar sind

Anfrage per CURL:

curl --request GET \
  --url https://litellm.s.studiumdigitale.uni-frankfurt.de/v1/models \
  --header 'x-litellm-api-key: ihr-api-key'

Beispiel-Antwort:

{
  "data": [
    {
      "id": "llama3:8b",
      "object": "model",
      "created": 1677610602,
      "owned_by": "openai"
    },
    {
      "id": "gpt-4o",
      "object": "model",
      "created": 1677610602,
      "owned_by": "openai"
    }
  ]
}
/model/info – Detaillierte Modellinformationen

Inhalt: Vollständige Informationen zu allen Modellen inklusive Hosting und Beschreibung
Verwendung: Entscheidungshilfe für Modellauswahl

Anfrage per CURL:

curl --request GET \
  --url https://litellm.s.studiumdigitale.uni-frankfurt.de/v1/model/info \
  --header 'x-litellm-api-key: ihr-api-key'

Beispiel-Antwort (gekürzt):

{
  "data": [
    {
      "model_name": "meta-llama-3.1-8b-rag",
      "model_info": {
        "description": "Meta Llama 3.1 8B RAG",
        "mode": "chat",
        "hosted_by": "KissKI/GWDG in Göttingen, https://kisski.gwdg.de/",
        "input_cost_per_token": 0,
        "output_cost_per_token": 0,
      }
    }
  ]
}

Wichtige Informationen aus der API-Antwort:

  • model_name: Der exakte Name für API-Aufrufe
  • description: Kurzbeschreibung des Modells
  • hosted_by: Hosting-Anbieter und Standort
  • input_cost_per_token/output_cost_per_token: Kostenstruktur (0 = kostenlos)
Hinweis: Hosting-Standorte und Datensicherheit

⚠️ Wichtiger Hinweis:
Achten Sie besonders auf das hosted_by-Feld, der model/info Route da es drei verschiedene Hosting-Standorte gibt:

  • Azure OpenAI Service in EU Data Zone – Microsoft Azure (EU)
  • KissKI/GWDG in Göttingen – Deutschland (GWDG)
  • studiumdigitale, Goethe University Frankfurt – Lokal (Deutschland)

Je nach Hosting-Standort gelten unterschiedliche Datenschutzbestimmungen und Sicherheitsrichtlinien. Wählen Sie das für Ihren Anwendungsfall passende Modell entsprechend der Sensibilität Ihrer Daten.

Hinweis: Budget zur Nutzung von kostenpflichtigen Modellen

Für jeden vergebenen API-Key wird aktuell ein Startbudget von 50 € bereitgestellt. Die Vergabe der API-Keys befindet sich noch in der Testphase. Weitere Regeln zur Budgetnutzung (z. B. Aufstockung) sowie eine Möglichkeit zur Einsicht des Restbudgets folgen in Kürze.

Die Nutzung der GWDG- und GU-Modelle ist kostenfrei, kostenpflichtig sind nur die Azure OpenAI Modelle.

Verwendung

Sie können den API-Zugang wie einen Standard OpenAI API-Zugang verwenden. Dazu benötigen Sie Ihren individuellen API-Key und den Endpoint.

Verwendung in OpenAI-kompatiblen Tools und WebApps

Wenn Sie ein OpenAI-kompatibles Tool verwenden, und dieses Tool die Möglichkeit bietet, einen API-Key und einen OpenAI Proxy/Server/Endpoint zu konfigurieren, können Sie Ihren individuellen API-Key und den Endpoint verwenden. Versuchen Sie beide Endpoints (mit und ohne /v1/ am Ende) um zu sehen, welcher funktioniert.

Achten Sie darauf, dass Sie den API-Key nur mit vertrauenswürdigen Anwendungen verwenden, da dieser Zugang zu Ihrem LLM-API-Konto gewährt.

!

Verwendung in verschiedenen Programmiersprachen

Sie können die API in jeder Programmiersprache verwenden, die HTTP-Anfragen unterstützt. Hier ein Beispiel für die Verwendung der API in Python mit der requests-Bibliothek:

Python mit requests-Library 
import requests

url = "https://litellm.s.studiumdigitale.uni-frankfurt.de/v1/chat/completions"
headers = {
    "Authorization": "Bearer IHR_INDIVIDUELLER_API_KEY",
    "Content-Type": "application/json"
}
data = {
    "messages": [{
        "role": "user",
        "content": [{"type": "text", "text": "Ihr Prompt hier"}]
    }],
    "model": "llama3.1:8b",  # Beispiel-Modell
    "temperature": 0.7
}
response = requests.post(url, headers=headers, json=data)
print(response.json())
Python mit openai-Library 
from openai import OpenAI

client = OpenAI(
    api_key="IHR_INDIVIDUELLER_API_KEY",
    base_url="https://litellm.s.studiumdigitale.uni-frankfurt.de/v1/"
)

chat_completion = client.chat.completions.create(
    messages=[{
        "role": "user",
        "content": [{"type": "text", "text": "Ihr Prompt hier"}]
    }],
    model="llama3.1:8b",  # Beispiel-Modell
    temperature=0.7
)

print(chat_completion.choices[0].message.content)

mit anderen Bibliotheken

Um Beispiele für die Verwendung der API in anderen Programmiersprachen oder Bibliotheken zu erhalten, besuchen Sie bitte die LiteLLM Dokumentation.

FAQs

Wie kriege ich eine Modell Liste?

Um einen schnellen Überblick über die verfügbaren Modelle zu erhalten, können Sie den folgenden Aufruf verwenden:

curl --request GET \
--url http://litellm.s.studiumdigitale.uni-frankfurt.de/models \
--header 'x-litellm-api-key: ihr-api-key'

Wie checke ich mein Budget?

Mit dem folgenden Call können Sie Details zu Ihrem API-Key abrufen, darunter auch das ausgegebene Budget unter „spend“.

curl -X 'GET' \
'https://litellm.s.studiumdigitale.uni-frankfurt.de/key/info' \
-H 'accept: application/json' \
-H 'x-litellm-api-key: sk-…………….'

Bitte ersetzen Sie [sk-…………….] durch Ihren eigenen API-Key .

Wichtige Hinweise

⚠️ Datenschutz: Es ist nicht gestattet, personenbezogene oder sensible Daten an die LLMs zu senden.

📚 Voraussetzung: Absolvierung der Schulung zum kritischen Umgang mit KI (nach EU KI-VO)

🎯 Fair-Use: Bei GWDG-Modellen gelten Fair-Use-Beschränkungen – vermeiden Sie Stresstests

Support

Bei Problemen oder Fragen schreiben Sie eine Email an das Team des AI-ToolLabs.