Misja 0 · Tokenizer

Zbuduj BPE.
Udowodnij, że działa.

Nie zaliczasz za obejrzenie filmu. Dostarczasz własny tokenizer, a grader mierzy go na ukrytym polskim zbiorze i zwraca PASS albo konkretną diagnozę.

↓ Pobierz starter Zobacz warunki zaliczenia →

Starter: Python 3.12+ · rezultat: tokenizer.json + manifest.json · klucz API otrzymują uczestnicy bety

01 / DZIAŁANIE

Trzy kroki.
Jeden artefakt.

Kod pomocniczy jest gotowy. Uzupełniasz tylko kluczowe decyzje w tokenizerze, testujesz lokalnie i wysyłasz dokładnie ten sam plik do ukrytego testu.

01

Wytrenuj

Dodaj polski korpus, uzupełnij miejsca TODO i zapisz natywny artefakt.

python train_tokenizer.py
02

Sprawdź lokalnie

Jawny zestaw od razu wykrywa zły vocab, utratę znaków i słabą kompresję.

python grade.py tokenizer.json
03

Wyślij

Worker liczy metryki na innym zbiorze. Wynik i miejsce wracają bez ręcznej oceny.

SLAYER_API_KEY=… python submit.py
02 / KONTRAKT

Co znaczy
„umiem”?

Próg jest jawny, przykłady testowe nie. Szybkość widzisz w raporcie, ale nie wygrywa kosztem poprawności i jakości.

✓
Identyczny round-tripdecode(encode(tekst)) nie zmienia ani jednego znaku
0 błędów
✓
Zero nieznanych tokenówpolskie znaki, kod, dialog i dokumenty formalne
UNK = 0
✓
Dokładny rozmiar słownikamanifest i rzeczywisty tokenizer muszą być zgodne
8192
✓
Minimalna jakość w każdej domenieśredni wynik nie może ukryć jednej słabej kategorii
≥ 1.80
03 / POMOC

Najpierw problem.
Potem materiał.

Nagranie nie jest jednostką kursu. Sięgasz do niego, gdy potrzebujesz intuicji, kontekstu albo porównania swojej implementacji.

Materiał z kohorty #1

BPE od zera — nagranie i rozdziały

Istniejące nagranie pozostaje biblioteką wiedzy. Dostęp do archiwum jest nadal chroniony; grader działa niezależnie od obejrzenia materiału.

Otwórz materiał ↗
04 / LEADERBOARD

Wynik, nie
checkbox.

Tabela jest zasilana bezpośrednio przez grader. Pojawiają się w niej wyłącznie rozwiązania, które przeszły wszystkie twarde bramki.

M0_TOKENIZER / BEST PASSING RUNŁĄCZENIE…
Ładuję wynikiPołączenie z graderem…
05 / KRĘGOSŁUP

Osiem misji.
Osiem artefaktów.

M0 jest działającą betą i filtrem wejścia. Kolejne misje będą odblokowywane dopiero z kodem, kryterium zaliczenia i automatycznym testem.

M0 · DZIAŁA

Tokenizer BPE

tokenizer.json → kompresja

M1 · W PRODUKCJI

Dane

pipeline → jakość próbki

M2 · W PRODUKCJI

Bigram → attention

model → validation loss

M3 · W PRODUKCJI

Pełny GPT

wagi → loss + generacja

M4 · PLAN

Trening na serio

run → throughput + krzywa

M5 · PLAN

Skalowanie + MoE

runy → predykcja lossu

M6 · PLAN

SFT + alignment

model → win rate

M7 · PLAN

Ewaluacja + capstone

repo HF → leaderboard