HILANCO-GPTX, egy hétmilliárd paraméteres GPT-3 modell tanításának tapasztalatai

A nagy paraméterszámú, generatív, előtanított nyelvmodellek a mesterséges intelligencia kutatások jelenlegi zászlóshajói. Az előadás egy hétmilliárd paraméteres modell tanítását mutatja be, kitérve a hardver és modell architektúra specifikus hiperparaméter beállításokra, a tanítókörnyezet egyediségére és a modell használatbavételének módjaira.

Ezt követően az érdeklődők példákat láthatnak arra, hogy a HILANCO-GPTX modell hogyan képes programkód generálására, releváns információk kinyerésére, szabály alapú következtetésekre, illetve szövegek generálására.

Dr. Feldmann Ádám
Egyetemi adjunktus, PTE

Dr. Feldmann Ádám a PTE-n foglalkozik nagyméretű MI modellek, főként nyelvmodellek tanításával GPU alapú környezetben.