Usługa LLM

Ośrodek Mini HPC uruchomił pilotażowy program udostępniania modeli językowych do codziennej pracy.

Obecnie dostępny jest jeden model:

• google/gemma-4-31B-it – uruchomiony na jednej karcie NVIDIA H200

Dostęp jest przydzielany przez kierownika ośrodka HPC na wniosek uczestnika programu.

Ze względu na ograniczone zasoby oraz pilotażowy charakter programu dostępy są przydzielane stopniowo. Pozwoli to ustalić, przy jakim obciążeniu sprzęt osiąga granicę wydajności.

Po zatwierdzeniu wniosku użytkownik otrzymuje klucz dostępowy do API. Można go wykorzystać w dowolnym oprogramowaniu obsługującym zgodne API, np. Claude Code, GitHub Copilot, Hermes i inne.

Adres endpointu:

http://litellm.eden.mini.pw.edu.pl/v1

Usługa działa w trybie chat/completions.

Najprostszy możliwy przykład zapytania:

curl http://litellm.eden.mini.pw.edu.pl/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-TU_WSTAW_SWÓJ_KLUCZ" \
  -d '{
    "model": "google/gemma-4-31B-it",
    "messages": [{"role": "user", "content": "Cześć! Przedstaw się"}],
    "max_tokens": 200
  }' | jq

Szczegółowe informacje znajdziesz w polityce prywatności.