Übersicht
Mitglieder der Goethe-Universität können über das AI-ToolLab einen OpenAI-kompatiblen API-Zugang zu einer Auswahl aktueller Large Language Models (LLMs) erhalten.
Der API-Zugang wird von studiumdigitale bereitgestellt. Welche Modelle über die API verfügbar sind, richtet sich nach Hosting-Standort, Verfügbarkeit und den verfügbaren Ressourcen.
Features
- OpenAI-kompatible API:
Einfache Integration in bestehende Anwendungen - Derzeit kostenlos:
Die aktuell angebotenen GU- und GWDG/KissKI-Modelle können im Rahmen des Fair-Use-Prinzips genutzt werden. - Aktuelle Modellauswahl:
- Modelle in unterschiedlichen Größen und für verschiedene Anwendungsfälle
- Sprach-, Code- und Embedding-Modelle
- Eine aktuelle Liste der verfügbaren Modelle kann über die API abgerufen werden.
🔑 Beantragung eines API-Zugangs
Um Zugang zur LLM-API zu erhalten, müssen Sie folgende Schritte durchführen
- Voraussetzungen erfüllen:
- Sie müssen:
- einen gültigen HRZ-Account besitzen
- die Schulung zum kritischen Umgang mit KI (nach EU KI-VO) erfolgreich absolviert haben
- Wenn Sie schon einen Dienst des AI-ToolLabs verwenden, haben Sie dies schon erledigt
- Sie müssen:
- Antrag stellen:
- Senden Sie eine E-Mail an:
ai-toollab@studiumdigitale.uni-frankfurt.de - Schicken Sie uns:
- Ihren HRZ-Benutzernamen
- Den Link zu Ihrem Moodle-Badge als Beleg für die absolvierte KI-Schulung
- Senden Sie eine E-Mail an:
- Account-Erstellung:
- Nach erfolgreicher Prüfung erstellen wir Ihren API-Account
- Sie erhalten eine E-Mail mit Ihren individuellen Zugangsdaten
Hinweise zur
Schulung zum kritischen Umgang mit KI
- Sie finden die Schulung hier 📖
- Einloggen mit:
- folgen Sie den Anweisungen für den Login, um sich mit Ihrem HRZ-Account anzumelden oder einen neuen Account zu erstellen.
- folgen Sie den Anweisungen für den Login, um sich mit Ihrem HRZ-Account anzumelden oder einen neuen Account zu erstellen.
- Schreiben Sie sich in den Kurs ein
- Um den Kurs abzuschließen, müssen Sie alle Lerneinheiten erfolgreich absolvieren
- Wenn Sie den Kurs abgeschlossen haben, erhalten Sie auf Moodle ein Badge, welches den Abschluss bestätigt
Kurzüberblick: Datenschutz und Nutzungsbedingungen
Mit der Beantragung eines API-Accounts stimmen Sie folgenden Maßnahmen zu:
Dieser Kurzüberblick ersetzt nicht die vollständigen Datenschutz- und Nutzungsbedingungen.
Bitte lesen Sie die vollständige Fassung vor der Beantragung!
- Account-Erstellung:
- Wir erstellen Ihnen einen Account in der bei uns an der GU gehosteten Plattform „LiteLLM“.
- Dafür speichern wir Ihren HRZ-Usernamen und Ihre Email-Adresse in der Plattform und verbinden Ihren Account mit diesen Daten.
- dies geschieht zur Möglichkeit der Wiedererkennung, ggf. notwendigen Kontaktaufnahme sowie ggf. zu Abrechnungszwecken
- Wir erstellen Ihnen einen Account in der bei uns an der GU gehosteten Plattform „LiteLLM“.
- API-Nutzung:
- Bei der Nutzung der API werden über jeden Aufruf der API statistische Daten erhoben.
- Dazu gehört der genaue API-Endpoint, der Zeitpunkt der Anfrage, die Input- und Output-Tokenmenge und ob die Anfrage erfolgreich war, oder einen Fehler ausgelöst hat.
- Dies geschieht zur Fehleranalyse und in Zukunft ggf. zu Abrechnungszwecken.
- Zu keinem Zeitpunkt speichern wir die Prompts, oder andere Daten, welche Sie innerhalb der Anfragen übersenden.
- Bei der Nutzung der API werden über jeden Aufruf der API statistische Daten erhoben.
- Abrechnung:
- Die aktuell über die API angebotenen GU- und GWDG/KissKI-Modelle sind kostenlos.
- Es gibt derzeit keine Budget-Regelungen. Fair Use wird durch großzügig bemessene Rate Limits umgesetzt.
Weitere Informationen zum Angebot
Allgemeine Informationen
Verfügbare Modelle
Grundsätzlich können wir Modelle aus drei Hosting-Kategorien bereitstellen: lokal an der Goethe-Universität gehostete Modelle, Modelle der GWDG/KissKI in Deutschland und Azure OpenAI in der EU Data Zone.
Über die API verfügbar ist aktuell eine Auswahl lokal gehosteter GU-Modelle und von GWDG/KissKI bereitgestellter Modelle. Azure-OpenAI-Modelle können wir derzeit nicht über die API anbieten.
OpenAI-kompatibel beschreibt das Schnittstellenformat, nicht den Anbieter der Modelle. Die jeweils aktuelle Modellauswahl können Sie über den API-Endpunkt /model/info abrufen.
Modelle können je nach Verfügbarkeit, Nachfrage und Ressourcen ergänzt, geändert oder entfernt werden. Es besteht keine Garantie, dass ein bestimmtes Modell dauerhaft verfügbar bleibt.
Verwendung
Sie können den API-Zugang wie einen Standard OpenAI API-Zugang verwenden. Dazu benötigen Sie Ihren individuellen API-Key und den Endpoint.
FAQs
Wie sehe ich die aktuelle Modellauswahl?
Die API liefert eine aktuelle Liste der verfügbaren Modelle über /models. Detaillierte Informationen, einschließlich des Hosting-Anbieters, erhalten Sie über /model/info. Die aktuelle Modellübersicht der GWDG finden Sie außerdem auf der GWDG-Website.curl --request GET \
--url https://litellm.s.studiumdigitale.uni-frankfurt.de/models \
--header 'x-litellm-api-key: ihr-api-key'
Wie rufe ich Informationen zu meinem API-Key ab?
Mit diesem Aufruf können Sie Informationen zu Ihrem API-Key abrufen. curl -X 'GET' \
'https://litellm.s.studiumdigitale.uni-frankfurt.de/key/info' \
-H 'accept: application/json' \
-H 'x-litellm-api-key: sk-…………….'
Bitte ersetzen Sie [sk-…………….] durch Ihren eigenen API-Key.
Wichtige Hinweise
⚠️ Datenschutz: Es ist nicht gestattet, personenbezogene oder sensible Daten an die LLMs zu senden.
📚 Voraussetzung: Absolvierung der Schulung zum kritischen Umgang mit KI (nach EU KI-VO)
🎯 Fair Use: Für die API gelten großzügig bemessene Rate Limits. Bitte vermeiden Sie Belastungs- und Stresstests.
Datenschutz- und Nutzungsbedingungen
Lesen Sie hier die ausführlichen Datenschutz- und Nutzungsbedingungen zum API-Zugang.
Support
Bei Problemen oder Fragen schreiben Sie eine E-Mail an das Team des AI-ToolLabs.