Matematika, láthatatlanná tévő köpenyben

Urbán Ida Mária
Data Scientist, Vodafone

Előadás bemutatása

Napjaikban a gépi látásos (computer vision) modellek számos területen bizonyulnak hasznosnak, mint például az arcfelismerés, objektum-detektálás vagy a képfelirat-generálás. Mindemellett ezek az algoritmusok a vakoknak és gyengénlátóknak fejlesztett asszisztív szoftverekben is kulcsfontosságúak.
A vak és gyengénlátó emberek számára a matematikatanulás akadályozott, mivel a matematikai képletek és kifejezések karakterei komplex síkbeli hierarchiába rendeződnek, ezáltal a folyó szövegnél bonyolultabb dolog egyértelműen felolvasni és értelmezni őket. Ehhez pedig mindenképpen szükséges egy tanulónak szabad szemmel látnia a képletet, hogy a karakter-hierarchiát értelmezni tudja. Jelenleg Magyarországon nincsen vak és gyengénlátó gyermekek számára fenntartott speciális középiskola, legtöbbjük felmentést kap matematikából és kapcsolódó tantárgyakból, erőforrások és segítő eszközök híján.
Célom ezt a hiányosságot orvosolni egy computer vision algoritmusokra épülő szoftverrel, amely akár kézzel írt, bescannelt jegyzetlapokból is képes visszafejteni és egyértelmű struktúrában felolvasni tudományos képleteket a látási problémákkal küzdők számára. Egy ilyen szoftver széles körű elterjedése a vakok és gyengénlátóknak nemcsak az oktatáshoz való hozzáférését, hanem a munkaerőpiaci lehetőségeit is bővítené.
A szoftvert felépíteni célzó projekt Nightingale néven fut, és első lépésben (2019. november) konvolúciós és rekurrens rétegekből álló, kétbemenetű neurális háló-architektúrát építettem, amellyel kézzel írt képletek digitalizálhatók. Előadásomban a projektben azóta bekövetkezett haladást, lehetőségeket, akadályokat és buktatókat szeretném ismertetni.

Előadó

Urbán Ida Mária 1991-ben született az alföldi Szolnok városban. 20 évesen költözött Budapestre, ahol közgazdaságtanból és survey statisztikából szerzett diplomákat. Eredetileg kreatív reklámszakember szeretett volna lenni, de néhány, a szakmában eltöltött év után egy véletlennek köszönhetően a data science terület felé irányult a figyelme. Először a biostatisztikai alkalmazások érdekelték, de a véletlen itt is közbeszólt: mesterdiplomájának megszerzése közben munkát kapott az Eötvös Loránd Tudományegyetem Fogyatékosügyi Központjában. Itt egy statisztikakönyv manuális átdolgozása volt a feladata vakok és gyengénlátók számára, emiatt jutott eszébe a Nightingale ötlete. Ennek megfelelően, vonatkozó szakirodalom és szakmai blogok elolvasása után orientálódott a neurális hálók és gépi látás irányába, szakdolgozatát „Kézzel írt tudományos képletek felismerése deep learning eljárásokkal” címen írta. A Nightingale első két modelljével 2019-ben elnyerte az ELTE Innovatív Hallgatója ösztöndíjat, 2020-ban az Újbuda Startup Pályázat négy első helyezettje között szerepelt, és shortlistre került a Vodafone Digitális Díj versenyben. Jelenleg a Vodafone Magyarországnál dolgozik Data Scientist pozícióban, ahol feladata üzleti problémák megoldása prediktív algoritmusokkal.