#269 - Kis magyar szuverenitás: ez a Racka - II. rész

Az epizódról

Folytatjuk a múlt héten megkezdett mélyfúrást a nyelvmodellek készítésében, ebben kalauzaink Gyöngyössy Natabara⁠ és ⁠Nemeskey Dávid⁠, a Racka⁠ nyelvmodell fejlesztői. Az adásból kiderül, milyen fázisai és kihívásai vannak a kis nyelvre fejlesztett LLM feltanításának. A nulláról indított tanítás helyett a Qwen 4B modell folytatólagos előtanítását választották, mivel nem állt rendelkezésre elegendő, jó minőségű magyar szövegadat. A tokenizálót ötletesen szabták át a magyar nyelvre, ez 50–60 százalékkal gyorsította a generálást, a Komondor szuperszámítógépen, LoRA-eljárással végzett tanítás pedig összesen 2,1 GPU-évet igényelt. Szó esett még a digitális szuverenitásról, a hazai kutatás finanszírozási kihívásairól, valamint a következő lépésekről is: nagyobb, 30 milliárd paraméteres modellekről és magyar preferenciaadatokra épülő RLHF-fejlesztésről.