AG: Generative KI

AI-ToolLab: LLM API-Access

Übersicht

Mitglieder der Goethe-Universität können über das AI-ToolLab einen OpenAI-kompatiblen API-Zugang zu verschiedenen Large Language Models (LLMs) erhalten.

Dieser Service ermöglicht experimentellen Zugang zu KI-Technologien in einem geschützten Umfeld und wird von studiumdigitale bereitgestellt.

Features

  • OpenAI-kompatible API:
    Einfache Integration in bestehende Anwendungen
  • Kostenlose Nutzung:
    Für Mitarbeiter*innen der Goethe-Universität (unter Fair-Use-Bedingungen, für kostenpflichtige Modelle kann es Einschränkungen geben)
  • Zugang zu 35+ Modellen:
    • verschiedene Größen, Anbieter und Hosting-Standorte
    • Sprachmodelle (LLMs) wie OpenAI GPT-4o, Llama 3.3, Qwen2.5
    • Code-Modelle (Code-LLMs) wie Qwen2.5 Coder, CodeLlama

🔑 Beantragung eines API-Zugangs

Um Zugang zur LLM-API zu erhalten, müssen Sie folgende Schritte durchführen

  1. Voraussetzungen erfüllen:
    • Sie müssen:
    • Wenn Sie schon einen Dienst des AI-ToolLabs verwenden, haben Sie dies schon erledigt
  2. Antrag stellen:
  3. Account-Erstellung:
    • Nach erfolgreicher Prüfung erstellen wir Ihren API-Account
    • Sie erhalten eine E-Mail mit Ihren individuellen Zugangsdaten

Hinweise zur
Schulung zum kritischen Umgang mit KI

  • Sie finden die Schulung hier 📖
  • Einloggen mit:
    • folgen Sie den Anweisungen für den Login, um sich mit Ihrem HRZ-Account anzumelden oder einen neuen Account zu erstellen.
  • Schreiben Sie sich in den Kurs ein
  • Um den Kurs abzuschließen, müssen Sie alle Lerneinheiten erfolgreich absolvieren
  • Wenn Sie den Kurs abgeschlossen haben, erhalten Sie auf Moodle ein Badge, welches den Abschluss bestätigt
Datenschutz und Nutzungsbedingungen

Mit der Beantragung eines API-Accounts stimmen Sie folgenden Maßnahmen zu:

  • Account-Erstellung:
    • Wir erstellen Ihnen einen Account in der, bei uns, an der GU, gehosteten Plattform „LiteLLM“.
      • Dafür speichern wir Ihren HRZ-Usernamen und Ihre Email-Adresse in der Plattform und verbinden Ihren Account mit diesen Daten.
      • dies geschieht zur Möglichkeit der Widererkennung, ggf. notwendigen Kontaktaufnahme sowie ggf. zu Abrechnungszwecken
  • API-Nutzung:
    • Bei der Nutzung der API werden über jeden Aufruf der API statistische Daten erhoben.
      • Dazu gehört der genaue API-Endpoint, der Zeitpunkt der Anfrage, die Input- und Output-Tokenmenge und ob die Anfrage erfolgreich war, oder einen Fehler ausgelöst hat.
      • Dies geschieht zur Fehleranalyse und in Zukunft ggf. zu Abrechnungszwecken.
    • Zu keinem Zeitpunkt speichern wir die Prompts, oder andere Daten, welche Sie innerhalb der Anfragen übersenden.
  • Abrechnung:
    • Aktuell wird das Angebot komplett kostenfrei angeboten. Sie müssen keine Kosten befürchten und können den Dienst in dieser Einführungsphase frei testen.
    • Sie starten mit einem 50€ Budget und wenn dieses aufgebraucht ist, wird Ihr Zugang zur API eingeschränkt, so dass Sie keine Kosten befürchten müssen.
    • Mehr dazu, siehe „Hinweis: Budget zur Nutzung von kostenpflichtigen Modellen„

Weitere Informationen zum Angebot

Allgemeine Informationen

Endpoints

Wir setzen LiteLLM als API-Gateway ein, um eine OpenAI-kompatible Schnittstelle zu bieten.
Die Endpoints sind wie folgt:

Azure-kompatibel:
https://litellm.s.studiumdigitale.uni-frankfurt.de/

OpenAI-kompatibel:
https://litellm.s.studiumdigitale.uni-frankfurt.de/v1/

Authentifizierung

Für den API-Zugang benötigen Sie einen individuellen API-Key, der Ihnen nach der Beantragung zur Verfügung gestellt wird.

Diesen Key können Sie in Kombination mit der Endpoint-URL in Ihren API-Anfragen verwenden.

Verfügbare Modelle

Die API bietet derzeit Zugang zu 35 verschiedenen Modellen aus drei Hosting-Kategorien.

Grundsätzlich beinhaltet das Angebot eine Mischung aus kommerziellen und Open-Source-Modellen, die in verschiedenen Größen und für unterschiedliche Anwendungsfälle optimiert sind.

Momentan sind folgende Modelle verfügbar:

🇪🇺 Azure OpenAI (EU Data Zone)

Hosting: Microsoft Azure in der EU
Kosten: Kostenpflichtig (Budget-basiert)

Die GU nutzt den Azure OpenAI Service in der EU Data Zone, um Zugang zu kommerziellen Modellen von OpenAI zu ermöglichen. Diese Modelle sind in der Regel leistungsstark und bieten eine breite Palette an Funktionen.

Modelle:

gpt-4oOpenAIs GPT-4o Modell
gpt-4o-miniKompakte GPT-4o Version
o3-mini Neuestes O3-Mini Modell
text-embedding-3-largeEmbedding Modell
🇩🇪 GWDG/KissKI

Hosting: in Deutschland bei der GWDG über das Projekt KissKI und deren Dienst chat-ai.academiccloud.de
Kosten: Kostenlos unter Fair-Use-Bedingungen

Durch die Kooperation mit der GWDG und KissKI können wir eine Vielzahl von Open-Source und kommerziellen Modellen anbieten. Diese Modelle sind lokal in Deutschland gehostet und bieten eine hohe Verfügbarkeit.
Wir haben keinen Einfluss auf die Verfügbarkeit und die Anzahl der Modelle, da diese von der GWDG bereitgestellt werden.
Sollte ein Modell nicht verfügbar sein, können wir nicht garantieren, dass es wieder verfügbar wird.

Übersicht über die Modelle der GWDG: GWDG-Website

Modelle:

llama-3.3-70b-instructEmpfohlen für die meisten Anwendungen
qwen2.5-72b-instructHochperformantes Modell
qwen2.5-coder-32b-instructCode-Entwicklung
qwen2.5-vl-72b-instructVision & Language
mistral-large-instructGroßes Instruktionsmodell
deepseek-r1Reasoning-spezialisiert (~600B Parameter, leider momentan sehr langsam)
deepseek-r1-distill-llama-70bSchnellere Alternative, Empfohlen für Reasoning
qwq-32bSpezialisiert auf Reasoning
codestral-22bCode-Generation
gemma-3-27b-it
internvl2.5-8b
llama-3.1-sauerkrautlm-70b-instruct
meta-llama-3.1-8b-instruct
meta-llama-3.1-8b-rag
qwen3-235b-a22b, qwen3-32b		Weitere verfügbare Modelle

🏛️ Goethe-Universität / studiumdigitale

Hosting: Lokal auf einem Server bei studiumdigitale an der GU
Kosten: Kostenlos

Chat-Modelle:

llama3.1:8bNeueste Llama-Version
llama3:8bBewährtes Allzweckmodell
llama2:7b Kleines Textmodell
mistral:7bKompaktes Sprachmodell
codellama:7bCode-spezialisiert
ollama_defaultStandard-Modell (Llama 3.1 8B)

Embedding-Modelle:

all-minilm:33m
bge-large:335m
bge-m3:567m
granite-embedding:278m
mxbai-embed-large:335m
nomic-embed-text:v1.5
paraphrase-multilingual:278m
snowflake-arctic-embed2:568m
snowflake-arctic-embed:335m

Wir aktualisieren die Liste je nach Verfügbarkeit, Nachfrage und unserer Möglichkeiten.

Anleitung: Abruf von aktuellen Modellinformationen

Da sich die verfügbaren Modelle regelmäßig ändern, empfiehlt es sich, die aktuellen Informationen direkt über die API abzurufen.

Für die folgenden Abfragen müssen Sie über ein grundlegendes technisches Basiswissen über den Umgang mit APIs verfügen

/models – Kurze Modellübersicht

Inhalt: Einfache Liste aller verfügbaren Modell-IDs
Verwendung: Schnelle Übersicht, welche Modelle verfügbar sind

Anfrage per CURL:

curl --request GET \
--url http://litellm.s.studiumdigitale.uni-frankfurt.de/models \
--header 'x-litellm-api-key: ihr-api-key'

Beispiel-Antwort:

{
  "data": [
    {
      "id": "llama3:8b",
      "object": "model",
      "created": 1677610602,
      "owned_by": "openai"
    },
    {
      "id": "gpt-4o",
      "object": "model",
      "created": 1677610602,
      "owned_by": "openai"
    }
  ]
}
/model/info – Detaillierte Modellinformationen

Inhalt: Vollständige Informationen zu allen Modellen inklusive Hosting und Beschreibung
Verwendung: Entscheidungshilfe für Modellauswahl

Anfrage per CURL:

curl --request GET \
  --url http://litellm-dev.s.studiumdigitale.uni-frankfurt.de/model/info \
--header 'x-litellm-api-key: ihr-api-key'

Beispiel-Antwort (gekürzt):

{
  "data": [
    {
      "model_name": "meta-llama-3.1-8b-rag",
      "model_info": {
        "description": "Meta Llama 3.1 8B RAG",
        "mode": "chat",
        "hosted_by": "KissKI/GWDG in Göttingen, https://kisski.gwdg.de/",
        "input_cost_per_token": 0,
        "output_cost_per_token": 0,
      }
    }
  ]
}

Wichtige Informationen aus der API-Antwort:

  • model_name: Der exakte Name für API-Aufrufe
  • description: Kurzbeschreibung des Modells
  • hosted_by: Hosting-Anbieter und Standort
  • input_cost_per_token/output_cost_per_token: Kostenstruktur (0 = kostenlos)
Hinweis: Hosting-Standorte und Datensicherheit

⚠️ Wichtiger Hinweis:
Achten Sie besonders auf das hosted_by-Feld, der model/info Route da es drei verschiedene Hosting-Standorte gibt:

  • Azure OpenAI Service in EU Data Zone – Microsoft Azure (EU)
  • KissKI/GWDG in Göttingen – Deutschland (GWDG)
  • studiumdigitale, Goethe University Frankfurt – Lokal (Deutschland)

Je nach Hosting-Standort gelten unterschiedliche Datenschutzbestimmungen und Sicherheitsrichtlinien. Wählen Sie das für Ihren Anwendungsfall passende Modell entsprechend der Sensibilität Ihrer Daten.

Hinweis: Budget zur Nutzung von kostenpflichtigen Modellen

Für jeden vergebenen API-Key wird aktuell ein Startbudget von 50 € bereitgestellt. Die Vergabe der API-Keys befindet sich noch in der Testphase. Weitere Regeln zur Budgetnutzung (z. B. Aufstockung) sowie eine Möglichkeit zur Einsicht des Restbudgets folgen in Kürze.

Die Nutzung der GWDG- und GU-Modelle ist kostenfrei, kostenpflichtig sind nur die Azure OpenAI Modelle.

Verwendung

Sie können den API-Zugang wie einen Standard OpenAI API-Zugang verwenden. Dazu benötigen Sie Ihren individuellen API-Key und den Endpoint.

Verwendung in OpenAI-kompatiblen Tools und WebApps

Wenn Sie ein OpenAI-kompatibles Tool verwenden, und dieses Tool die Möglichkeit bietet, einen API-Key und einen OpenAI Proxy/Server/Endpoint zu konfigurieren, können Sie Ihren individuellen API-Key und den Endpoint verwenden. Versuchen Sie beide Endpoints (mit und ohne /v1/ am Ende) um zu sehen, welcher funktioniert.

Achten Sie darauf, dass Sie den API-Key nur mit vertrauenswürdigen Anwendungen verwenden, da dieser Zugang zu Ihrem LLM-API-Konto gewährt.

!

Verwendung in verschiedenen Programmiersprachen

Sie können die API in jeder Programmiersprache verwenden, die HTTP-Anfragen unterstützt. Hier ein Beispiel für die Verwendung der API in Python mit der requests-Bibliothek:

Python mit requests-Library 
import requests

url = "https://litellm.s.studiumdigitale.uni-frankfurt.de/v1/chat/completions"
headers = {
    "Authorization": "Bearer IHR_INDIVIDUELLER_API_KEY",
    "Content-Type": "application/json"
}
data = {
    "messages": [{
        "role": "user",
        "content": [{"type": "text", "text": "Ihr Prompt hier"}]
    }],
    "model": "llama3.1:8b",  # Beispiel-Modell
    "temperature": 0.7
}
response = requests.post(url, headers=headers, json=data)
print(response.json())
Python mit openai-Library 
from openai import OpenAI

client = OpenAI(
    api_key="IHR_INDIVIDUELLER_API_KEY",
    base_url="https://litellm.s.studiumdigitale.uni-frankfurt.de/v1/"
)

chat_completion = client.chat.completions.create(
    messages=[{
        "role": "user",
        "content": [{"type": "text", "text": "Ihr Prompt hier"}]
    }],
    model="llama3.1:8b",  # Beispiel-Modell
    temperature=0.7
)

print(chat_completion.choices[0].message.content)

mit anderen Bibliotheken

Um Beispiele für die Verwendung der API in anderen Programmiersprachen oder Bibliotheken zu erhalten, besuchen Sie bitte die LiteLLM Dokumentation.

Wichtige Hinweise

⚠️ Datenschutz: Es ist nicht gestattet, personenbezogene oder sensible Daten an die LLMs zu senden.

📚 Voraussetzung: Absolvierung der Schulung zum kritischen Umgang mit KI (nach EU KI-VO)

🎯 Fair-Use: Bei GWDG-Modellen gelten Fair-Use-Beschränkungen – vermeiden Sie Stresstests

Support

Bei Problemen oder Fragen schreiben Sie eine Email an das Team des AI-ToolLabs.