AI-ToolLab: LLM API-Access

Übersicht

Mitglieder der Goethe-Universität können über das AI-ToolLab einen OpenAI-kompatiblen API-Zugang zu einer Auswahl aktueller Large Language Models (LLMs) erhalten.

Der API-Zugang wird von studiumdigitale bereitgestellt. Welche Modelle über die API verfügbar sind, richtet sich nach Hosting-Standort, Verfügbarkeit und den verfügbaren Ressourcen.


Weitere Informationen zum Angebot

Allgemeine Informationen

Authentifizierung

Für den API-Zugang benötigen Sie einen individuellen API-Key, der Ihnen nach der Beantragung zur Verfügung gestellt wird.

Diesen Key können Sie in Kombination mit der Endpoint-URL in Ihren API-Anfragen verwenden.

Endpoints

Wir setzen LiteLLM als API-Gateway ein, um eine OpenAI-kompatible Schnittstelle zu bieten.
Die Endpoints sind wie folgt:

OpenAI-kompatible API:
https://litellm.s.studiumdigitale.uni-frankfurt.de/

OpenAI-kompatibel:
https://litellm.s.studiumdigitale.uni-frankfurt.de/v1/

Verfügbare Modelle

Grundsätzlich können wir Modelle aus drei Hosting-Kategorien bereitstellen: lokal an der Goethe-Universität gehostete Modelle, Modelle der GWDG/KissKI in Deutschland und Azure OpenAI in der EU Data Zone.

Über die API verfügbar ist aktuell eine Auswahl lokal gehosteter GU-Modelle und von GWDG/KissKI bereitgestellter Modelle. Azure-OpenAI-Modelle können wir derzeit nicht über die API anbieten.

OpenAI-kompatibel beschreibt das Schnittstellenformat, nicht den Anbieter der Modelle. Die jeweils aktuelle Modellauswahl können Sie über den API-Endpunkt /model/info abrufen.

🇩🇪 GWDG/KissKI

Hosting: in Deutschland bei der GWDG/KissKI über chat-ai.academiccloud.de
Status für die API: aktuell verfügbar und für Nutzer*innen kostenlos

Die Modell-Auswahl wird von der GWDG bereitgestellt und kann sich ändern. Wir können daher keine dauerhafte Verfügbarkeit einzelner Modelle zusichern. Für die Nutzung gelten Fair-Use-Regeln, die unter anderem durch großzügig bemessene Rate Limits umgesetzt werden. Bitte führen Sie keine Belastungs- oder Stresstests durch.

Aktuelle Modellübersicht der GWDG: GWDG-Modellübersicht

Modelle: Eine aktuelle Liste, der bei uns verfügbaren Modelle, erhalten Sie über den API-Endpunkt /model/info.

🏛️ Goethe-Universität / studiumdigitale

Hosting: lokal auf Servern der Goethe-Universität
Status für die API: aktuell verfügbar und für Nutzer*innen kostenlos

Die aktuellen Sprach-, Code- und Embedding-Modelle sind über den API-Endpunkt /model/info abrufbar. Die lokale Modellauswahl kann sich ändern.

🇪🇺 Azure OpenAI (EU Data Zone)

Hosting: Microsoft Azure in der EU
Status für die API: derzeit nicht verfügbar

Die Kosten für Azure-OpenAI-Modelle können bei intensiver API-Nutzung, insbesondere durch Agenten, schnell und schwer vorhersehbar steigen. Das können wir derzeit nicht finanzieren. Deshalb bieten wir diese Modelle aktuell nicht über die API an. Diese Einschränkung betrifft den API-Zugang; die Modellverfügbarkeit in Chat-Plattformen kann davon abweichen.

Modelle können je nach Verfügbarkeit, Nachfrage und Ressourcen ergänzt, geändert oder entfernt werden. Es besteht keine Garantie, dass ein bestimmtes Modell dauerhaft verfügbar bleibt.

Anleitung: Abruf von aktuellen Modellinformationen

Da sich die verfügbaren Modelle regelmäßig ändern, empfiehlt es sich, die aktuellen Informationen direkt über die API abzurufen.

Für die folgenden Abfragen müssen Sie über ein grundlegendes technisches Basiswissen über den Umgang mit APIs verfügen

/models – Kurze Modellübersicht

Inhalt: Einfache Liste aller verfügbaren Modell-IDs
Verwendung: Schnelle Übersicht, welche Modelle verfügbar sind

Anfrage per CURL:

Beispiel-Antwort:

/model/info – Detaillierte Modellinformationen

Inhalt: Vollständige Informationen zu allen Modellen inklusive Hosting und Beschreibung
Verwendung: Entscheidungshilfe für Modellauswahl

Anfrage per CURL:

Beispiel-Antwort (gekürzt):

Wichtige Informationen aus der API-Antwort:

  • model_name: Der exakte Name für API-Aufrufe
  • description: Kurzbeschreibung des Modells
  • hosted_by: Hosting-Anbieter und Standort
  • input_cost_per_token/output_cost_per_token: Kostenstruktur (0 = kostenlos)
Hinweis: Hosting-Standorte und Datensicherheit

⚠️ Wichtiger Hinweis:
Das Feld hosted_by in der Route /model/info zeigt den Hosting-Anbieter eines API-Modells. Grundsätzlich gibt es drei Hosting-Kategorien; aktuell bietet die API nur GU- und GWDG/KissKI-Modelle an. Azure OpenAI ist derzeit nicht über die API verfügbar:

  • Azure OpenAI Service in EU Data Zone – Microsoft Azure (EU)
  • KissKI/GWDG in Göttingen – Deutschland (GWDG)
  • studiumdigitale, Goethe University Frankfurt – Lokal (Deutschland)

Unabhängig vom Hosting-Standort dürfen keine personenbezogenen oder sensiblen Daten in Modellanfragen eingegeben werden.

Kostenfreie Nutzung und Fair Use

Die aktuell über die API angebotenen Modelle der Goethe-Universität und der GWDG/KissKI sind kostenlos.

Großzügig bemessene Rate Limits setzen das Fair-Use-Prinzip um. Bitte vermeiden Sie automatisierte Belastungs- oder Stresstests. Konkrete Grenzwerte können sich ändern und werden daher hier nicht aufgeführt.

Verwendung

Sie können den API-Zugang wie einen Standard OpenAI API-Zugang verwenden. Dazu benötigen Sie Ihren individuellen API-Key und den Endpoint.

Verwendung in OpenAI-kompatiblen Tools und WebApps

Wenn Sie ein OpenAI-kompatibles Tool verwenden, und dieses Tool die Möglichkeit bietet, einen API-Key und einen OpenAI Proxy/Server/Endpoint zu konfigurieren, können Sie Ihren individuellen API-Key und den Endpoint verwenden. Versuchen Sie beide Endpoints (mit und ohne /v1/ am Ende) um zu sehen, welcher funktioniert.

Achten Sie darauf, dass Sie den API-Key nur mit vertrauenswürdigen Anwendungen verwenden, da dieser Zugang zu Ihrem LLM-API-Konto gewährt.

!

Verwendung in verschiedenen Programmiersprachen

Sie können die API in jeder Programmiersprache verwenden, die HTTP-Anfragen unterstützt. Hier ein Beispiel für die Verwendung der API in Python mit der requests-Bibliothek:

Python mit requests-Library
Python mit openai-Library

mit anderen Bibliotheken

Um Beispiele für die Verwendung der API in anderen Programmiersprachen oder Bibliotheken zu erhalten, besuchen Sie bitte die LiteLLM Dokumentation.



Datenschutz- und Nutzungsbedingungen

Lesen Sie hier die ausführlichen Datenschutz- und Nutzungsbedingungen zum API-Zugang.

Support

Bei Problemen oder Fragen schreiben Sie eine E-Mail an das Team des AI-ToolLabs.