Table of Contents
Usługa LLM
Ośrodek Mini HPC uruchomił pilotażowy program udostępniania modeli językowych do codziennej pracy.
Dostępne modele
Obecnie dostępny jest jeden model:
google/gemma-4-31B-it– uruchomiony na jednej karcie NVIDIA H200
Jak uzyskać dostęp
Dostęp jest przydzielany przez kierownika ośrodka HPC na wniosek uczestnika programu.
Ze względu na ograniczone zasoby oraz pilotażowy charakter programu dostępy są przydzielane stopniowo. Pozwoli to ustalić, przy jakim obciążeniu sprzęt osiąga granicę wydajności.
Po zatwierdzeniu wniosku użytkownik otrzymuje klucz dostępowy do API. Można go wykorzystać w dowolnym oprogramowaniu obsługującym zgodne API, np. Claude Code, GitHub Copilot, Hermes i inne.
Konfiguracja
Adres endpointu:
http://litellm.eden.mini.pw.edu.pl/v1
Usługa działa w trybie chat/completions.
Przykład użycia
Najprostszy możliwy przykład zapytania:
curl http://litellm.eden.mini.pw.edu.pl/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer sk-TU_WSTAW_SWÓJ_KLUCZ" \ -d '{ "model": "google/gemma-4-31B-it", "messages": [{"role": "user", "content": "Cześć! Przedstaw się"}], "max_tokens": 200 }' | jq
Prywatność
Uwaga: w skrócie – nic nie jest prywatne. Wszystkie rozmowy są rejestrowane.
Szczegółowe informacje znajdziesz w polityce prywatności.