PROG-2

Projekt

Toto zadanie je súčasťou väčšieho projektu, ktorého cieľom je vyvinúť konzolovú aplikáciu v jazyku C, ktorá bude rozpoznávať obrázky rukou písaných číslic pomocou jednoduchej neurónovej siete.

Projekt sa skladá z 2 častí:

Zadanie 1 - v tejto časti pochopíme základné pojmy z oblasti neurónových sietí a naprogramujeme aktivačné funkcie neurónov.
Zadanie 2 - v tejto časti skonštruujeme jednoduchú neurónovú sieť, načítame jej váhy a použijeme ju na rozpoznávanie obrázkov rukou písaných číslic.

Obrázok 1: Rozpoznávanie rukou písaných číslic v obraze pomocou neurónovej siete (veľký obrázok).

Úloha

Vaša konzolová aplikácia napísaná v jazyku C bude vypisovať formátovanú tabuľku s vypočítanými hodnotami aktivačných funkcií neurónu. Aplikácia bude fungovať v týchto krokoch:

Spustenie skompilovaného programu v termináli.
Zadanie povinných vstupov.
Detekcia chybových situácií E1 a E2.
Zadanie čísiel aktivačných funkcií (voliteľný krok).
Zadanie nenumerického ukončujúceho znaku (musí byť vždy zadaný ako posledný).
Výpočet hodnôt aktivačných funkcií:
- Automatický režim: vypočítajú a vypíšu sa hodnoty všetkých aktivačných funkcií.
- Manuálny režim: vypočítajú a vypíšu sa len hodnoty zvolených aktivačných.
Ukončenie programu (štandardným návratovým kódom 0 z funkcie main).

Obrázok 2: Fázy činnosti programu (veľký obrázok).

Neurónové siete v skratke

Strojové učenie (z angl. machine learning) je oblasťou umelej inteligencie, ktorá sa zaoberá vývojom algoritmov, ktoré sú schopné sa sami učiť z dát a na základe získaných poznatkov sú schopné robiť rozhodnutia bez zásahu človeka. Najvýznamnejším príkladom sú neurónové siete, ktoré stoja v pozadí súčasnej revolúcie v strojovom učení. Neurónové siete sú inšpirované biologickým nervovým systémom. Neurónová sieť je sada matematických algoritmov, ktoré vykonávajú operácie so vstupnými dátami. Zjednodušene si ich vieme predstaviť ako mriežku výpočtových jednotiek, tzv. neurónov, ktoré sú medzi sebou prepojené a posielajú si medzi sebou signály (viď obrázok 3). Signál sa bežne šíri zo vstupu na výstup cez jednotlivé neuróny.

V súčasnosti zažívame rozmach umelej inteligencie, v ktorej dominujú pokročilé AI modely, akými sú napr. známe transformery. Avšak niekde v hĺbke svojej podstaty, sú aj tieto pokročilé modely postavené na základoch neurónových sietí. V tomto zadaní sa pokúsime spojiť učenie sa jazyka C s touto populárnou oblasťou.

Obrázok 3: Zjednodušená architektúra neurónovej siete (veľký obrázok).

Pomocou neurónových sietí vieme riešiť rôzne zložité problémy:

spracovanie prirodzeného jazyka (napr. ChatGPT, Gemini, Claude)
rozpoznávanie vzorov, obrazu, tváre, odtlačkov prstov
detekcia/sledovanie objektov vo videu
generovanie obrazu
predpoveď počasie
a mnohé ďalšie

Obrázok 4: Klasifikácia obrazu rukou písanej číslice pomocou neurónovej siete (veľký obrázok).

Ako príklad si môžeme zobrať jednoduchú neurónovú sieť, ktorej úlohou je klasifikovať vstupný obrázok, na ktorom sa nachádza rukou písaná číslica (viď obrázok 4). Jednotlivé pixely obrazu predstavujú vstupné signály siete. Tieto signály sú zaslané do neurónov, ktoré ich spracujú a na výstupe získame informáciu o tom, aká číslica je prítomná v obraze. Každý neurón spracuje vstupný signál pomocou svojej aktivačnej funkcie. Aktivačným funkciám sa venujeme v časti Neuróny a aktivačné funkcie.

Neuróny a aktivačné funkcie

Neurónové siete sú zložené z vrstiev neurónov, ktoré sú vzájomne prepojené. Informácie sa sieťou šíria zo vstupnej vrstvy smerom k výstupnej (pozn. pri trénovaní sa informácia šíri opačným smerom). Každá vrstva siete obsahuje neuróny. Neurón je základnou stavebnou jednotkou neurónovej siete. Každý neurón má svoju aktivačnú funkciu, ktorá predstavuje matematickú operáciu na prevod vstupného signálu na výstupný. Na obrázku 5 vidíme znázornenie biologického (hore) a umelého (dole) neurónu.

Obrázok 5: Biologický (hore) a umelý (dole) neurón.

Do neurónu môže vstupovať viacero signálov. Každý z nich má svoju váhu (z angl. weight), t.j. číslo, ktorým sa signál vynásobí. Vedomosti siete sú obsiahnuté práve v týchto váhach. Počas trénovania siete sa hodnoty váh neustále adaptujú tak, aby sieť spôsobovala, čo najmenšiu chybu pri svojich rozhodnutiach. Po vynásobení signálov váhami sa všetky vstupné hodnoty sčítajú a privedú sa na vstup aktivačnej funkcie. Aktivačná funkcia prevádza vstupné signály na nové hodnoty, ktoré sú väčšinou obmedzené v stanovenom intervale.

Aktivačná funkcia pridáva do výstupu nelinearitu a vďaka tomu vedia neurónové siete riešiť komplikované nelineárne problémy (napr. rozpoznávanie tváre v rôznom osvetlení, vzdialenosti, pod rôznym uhlom). Existuje veľa druhov aktivačných funkcií. My sa budeme v tomto zadaní zaoberať nasledovnými aktivačnými funkciami:

$f_{1}$: binárna skoková funkcia
$f_{2}$: ReLU funkcia
$f_{3}$: Squareplus funkcia
$f_{4}$: Gaussova funkcia
$f_{5}$: hyperbolický tangens
$f_{6}$: Swish funkcia

Na výpočet hodnôt alebo vizualizáciu grafov jednotlivých funkcií môžete použiť grafové kalkulačky Desmos alebo Geogebra.

Binárna skoková funkcia $f_{1}$

Táto funkcia je zapísaná vzťahom $ f_{1}(x) = \begin{cases} 0 & \text{if }x < 0 \\ 1 & \text{if }x \geq 0 \end{cases}\ $

Obrázok 6: Binárna skoková funkcia (veľký obrázok).

ReLU funkcia $f_{2}$

Táto funkcia je zapísaná vzťahom $ f_{2}(x) = \begin{cases} 0 & \text{if }x \leq 0 \\ x & \text{if }x > 0 \end{cases}\ $

Obrázok 7: ReLU funkcia (veľký obrázok).

Squareplus funkcia $f_{3}$

Táto funkcia je zapísaná vzťahom $ f_{3}(x) = \dfrac{1}{2}\left(x+\sqrt{x^2 + b}\right)$. V tomto zadaní bude platiť $b=2$.

Dôležité:

Druhú mocninu treba implementovať ako $x * x$. Nepoužívať knižničnú funkciu pow.
Druhú odmocninu treba implementovať pomocou knižničnej funkcie sqrt.

Obrázok 8: Squareplus funkcia (veľký obrázok).

Gaussova funkcia $f_{4}$

Táto funkcia je zapísaná vzťahom $ f_{4}(x) = e^{-x^{2}}$

Dôležité:

Zápis $e^{-x^{2}}$ treba implementovať pomocou knižničnej funkcie exp.
Druhú mocninu treba implementovať ako $x * x$. Nepoužívať knižničnú funkciu pow.

Obrázok 9: Gaussova funkcia (veľký obrázok).

Hyperbolický tangens $f_{5}$

Táto funkcia je zapísaná vzťahom $ f_{5}(x) = \dfrac{e^x - e^{-x}}{e^x + e^{-x}}$

Dôležité:

Na výpočet hyperbolického tangensu nepoužívať knižničnú funkciu tanh, ale použiť vyššie uvedený vzorec.

Obrázok 10: Hyperbolický tangens (veľký obrázok).

Swish funkcia $f_{6}$

Táto funkcia je zapísaná vzťahom $ f_{6}(x) = \dfrac{x}{1+e^{-bx}}$. V tomto zadaní bude platiť $b=0.5$.

Obrázok 11: Swish funkcia (veľký obrázok).

Vstup

Po spustení programu používateľ zadá nasledovné povinné vstupné hodnoty (čísla oddelené bielymi znakmi):

./z1
x_start x_xtop step precision width

$x_{start}$ - určuje začiatok intervalu, v ktorom sa budú generovať vstupy pre aktivačné funkcie (musí sa použiť dátový typ double)
$x_{stop}$ - určuje koniec intervalu, v ktorom sa budú generovať vstupy pre aktivačné funkcie (musí sa použiť dátový typ double)
$step$ - určuje krok, ktorý sa použije na generovanie čísiel na x-ovej osi. Tento parameter netreba ošetrovať, bude vždy zadaný ako kladné číslo (musí sa použiť dátový typ double)
$precision$ - počet zobrazených desatinných miest čísiel vo výpise. Budú sa testovať len nezáporné hodnoty (použite dátový typ int)
$width$ - šírka stĺpca tabuľky. Budú sa testovať len kladné hodnoty (použite dátový typ int). Budú sa testovať len také hodnoty parametra $width$, pre ktoré platí, že sú väčšie (alebo rovné) ako najdlhšie číslo v tabuľke (dĺžka predstavuje znaky potrebné na výpis čísla so znamienkom vrátane desatinnej bodky a desatinných miest).

Dôležitá poznámka: Na výpis stanoveného počtu desatinných miest (dané parametrom $precision$) používajte funkciu printf. Vypočítané číselné hodnoty žiadno neupravujte ani nezaokrúhľujte.

Tieto parametre definujú interval $\langle x_{start},x_{stop} \rangle$, z ktorého sa s krokom $step$ automaticky vygenerujú vstupné hodnoty pre aktivačné funkcie. Parametre $precision$ a $width$ ovplyvňujú formátovanie vypísanej tabuľky.

Obrázok 12: Príklad intervalu vstupných hodnôt pre aktivačné funkcie (veľký obrázok).

Po zadaní povinných vstupov nasleduje zadanie čísiel aktivačných funkcií, ktorých hodnoty chceme vypočítať. Používateľ môže zadať ľubovoľne veľa čísiel aktivačných funkcií. Platné čísla aktivačných funkcií sú 1, 2, 3, 4, 5 a 6, keďže máme celkovo 6 aktivačných funkcií. Ostatné čísla budú programom ignorované. Po zadaní čísiel aktivačných funkcií nasleduje vždy povinný ukončujúci nenumerický znak (tento znak sa musí zadať aj keď používateľ nezadá žiadne čísla aktivačných funkcií). Štruktúru vstupu vidíme na obrázku 13.

Obrázok 13: Štruktúra celkového vstupu programu (veľký obrázok).

Chybové situácie

V programe môžu za behu nastať tieto chybové situácie, ktoré je nutné vyšetrovať v nasledujúcom poradí:

Chyba E1

Nenačítali sa všetky povinné vstupy. Táto chyba nastane ak používateľ nezadal všetky povinné vstupy (napr. zadá len 4 čísla namiesto 5 čísiel) alebo je niektorý z povinných vstupov nenumerický. Ak sa odhalí táto situácia, program vypíše na štandardný výstup text E1 a okamžite ukončí svoju činnosť (funkcia main vráti 0). Žiadne iné výpisy nenastanú.

Príklady spustenia programu a zadania vstupov, kedy nastane chyba E1:

./z1
-10 10 f 2 9 p

Poznámka: používateľ zadal pre parameter step hodnotu f (nenumerická hodnota).

./z1
5 20 0.5 m

Poznámka: používateľ nezadal všetky povinné vstupy (chýbajú parametre $precision$ a $width$).

Chyba E2

Neplatný interval $\left\langle x_{start},x_{stop} \right\rangle$. Táto chyba nastane, keď používateľ zadal všetky povinné vstupy (a nenastala chyba E1), avšak platí $x_{start} \ge x_{stop}$. Ak sa odhalí táto situácia, program vypíše na štandardný výstup text E2 a okamžite ukončí svoju činnosť (funkcia main vráti 0). Žiadne iné výpisy nenastanú.

Príklady spustenia programu a zadania vstupov, kedy nastane chyba E2:

./z1
3 2 0.5 2 8 j

Poznámka: Zadaný interval $\left\langle 3,2 \right\rangle$ je neplatný.

./z1
5.2 5.2 1 0 6 t

Poznámka: Zadaný interval $\left\langle 5.2,5.2 \right\rangle$ je neplatný.

Výstup

Aplikácia má za úlohu formátovane vypísať tabuľku s hodnotami aktivačných funkcií, ktoré boli predstavené v časti Neuróny a aktivačné funkcie. Podľa toho, či používateľ zadá alebo nezadá čísla aktivačných funkcií sa zvolí pracovný režim aplikácie:

Auto režim
Manual režim

Pozn. Výpis programu musí smerovať na štandardný výstup (t.j. stdout). Po výpise program štandardne skončí (funkcia main vráti hodnotu 0).

Auto režim

Aktivuje sa keď používateľ nezadá žiadne čísla aktivačných funkcií. Aplikácia vypíše tabuľku s hodnotami všetkých aktivačných funkcií (funkcie $f_{1}$ až $f_{6}$ v tomto poradí). V tomto prípade sa hodnoty aktivačných funkcií vypisujú po stĺpcoch.

Obrázok 14: Spustenie programu v auto režime (veľký obrázok).

Nasledovný príklad ilustruje situáciu, v ktorej je program spustený v auto režime pretože používateľ nezadal čísla aktivačných funkcií (po 5 povinných vstupoch -10 10 0.5 2 8 zadal nenumerický znak m).

Obrázok 15: Príklad spustenia programu v auto režime (veľký obrázok).

Manual režim

Aktivuje sa keď používateľ zadá (aspoň jedno) čísla aktivačných funkcií. Vypíše sa tabuľka, ktorá bude obsahovať len hodnoty používateľom zvolených aktivačných funkcií. V tomto prípade sa hodnoty aktivačných funkcií vypisujú po riadkoch.

Obrázok 16: Spustenie programu v manual režime (veľký obrázok).

Nasledovný príklad ilustruje situáciu, v ktorej je program spustený v manual režime pretože používateľ zadal čísla aktivačných funkcií (konkrétne funkcie $f_{1}$, $f_{3}$ a $f_{6}$). Vypísaná tabuľka obsahuje riadky s hodnotami aktivačných funkcií, ktoré rešpektujú zadané poradie aktivačných funkcií.

Obrázok 17: Príklad spustenia programu v manual režime (veľký obrázok).

Čísla aktivačných funkcií sa môžu opakovať. Vtedy sa budú opakovať aj vypísané riadky.

Obrázok 18: Príklad spustenia programu v manual režime, pričom sa zadané čísla aktivačných funkcií opakujú (veľký obrázok).

Dôležitá poznámka: Ak používateľ zadá v manuálnom režime len neexistujúce čísla aktivačných funkcií (t.j. čísla, ktoré nepatria do intervalu $\langle1,6\rangle$), v danom prípade program nič nevypíše (ani hlavičku). Táto situácia nastane napríklad, keď program spustíme s nasledovnými vstupmi: -2 2 1 2 6 8 9 30 k. Hodnoty 8, 9 a 30 nie sú platné čísla aktivačných funkcií.

Formát výpisu - auto režim

V auto režime sa vypíšu hodnoty všetkých aktivačných funkcií. Hodnoty sa vypíšu po stĺpcoch. Jednotlivé stĺpce zodpovedajú príslušným aktivačným funkciám v nasledovnom poradí: $f_{1}$, $f_{2}$, $f_{3}$, $f_{4}$, $f_{5}$ a $f_{6}$.

Pokyny pre formátovanie vypísanej tabuľky:

Prvý riadok predstavuje hlavičku tabuľky (znázornené fialovou farbou na obrázku 19), kde sa vypíše v prvom stĺpci znak x a v ostatných stĺpcoch sa vypíšu poradové čísla aktivačných funkcií v ich pôvodnom poradí.
Hodnoty x-ovej osi sú vypísané v prvom stĺpci.
Šírka každého stĺpca tabuľky je určená zadaným parametrom width.
Počet zobrazených desatinných miest je určený parametrom precision (desatinné miesta sa nezobrazujú v hlavičke tabuľky).
Údaje vo všetkých stĺpcoch sú zarovnané doprava.

Obrázok 19: Formát výpisu v auto režime (veľký obrázok). V tomto prípade zadal používateľ interval $\langle-10,10\rangle$, v ktorom sa hodnoty na x-ovej osi vygenerujú s krokom 0.5. Počet zobrazených desatinných miest čísiel je 2 a šírka stĺpca tabuľky je 8.

Dôležitá poznámka: Na výpis stanoveného počtu desatinných miest používajte funkciu printf. Vypočítané číselné hodnoty žiadno neupravujte ani nezaokrúhľujte.

Formát výpisu - manual režim

V manual režime sa vypíšu len hodnoty používateľom zvolených aktivačných funkcií. Používateľ tieto funkcie zvolí zadaním ich poradových čísiel. Poradové čísla aktivačných funkcií sa môžu opakovať a môžu byť zadané v ľubovoľnom poradí. Hodnoty aktivačných funkcií budú vypísané po riadkoch. Jednotlivé riadky zodpovedajú príslušným aktivačným funkciám v tom poradí, ako boli zadané. Ak používateľ zadá neexistujúce poradové číslo aktivačnej funkcie (t.j. iné číslo ako 1 až 6), bude takýto vstup ignorovaný.

Pokyny pre formátovanie vypísanej tabuľky:

Prvý stĺpec predstavuje hlavičku tabuľky (znázornené fialovou farbou na obrázku 20), kde sa vypíše v prvom riadku znak x a v ostatných riadkoch sa vypíšu poradové čísla aktivačných funkcií v takom poradí, ako boli zadané používateľom.
Hodnoty x-ovej osi sú vypísané v prvom riadku.
Šírka každého stĺpca tabuľky je určená zadaným parametrom width.
Počet zobrazených desatinných miest je určený parametrom precision (desatinné miesta sa nezobrazujú v hlavičke tabuľky).
Údaje vo všetkých stĺpcoch sú zarovnané doprava.

Obrázok 20: Formát výpisu v manual režime (veľký obrázok). V tomto prípade zadal používateľ interval $\langle-1,1\rangle$, v ktorom sa hodnoty na x-ovej osi vygenerujú s krokom 0.25. Počet zobrazených desatinných miest čísiel je 4 a šírka stĺpca tabuľky je 10.

Dôležitá poznámka: Na výpis stanoveného počtu desatinných miest používajte funkciu printf. Vypočítané číselné hodnoty žiadno neupravujte ani nezaokrúhľujte.

Hodnotenie zadania

Odovzdávací systém otestuje a vyhodnotí nasledovné oblasti funkcionality vášho programu. Na získanie bodov za konkrétny testovací scenár je nutné, aby testom prešli všetky testovacie prípady v danom scenári.

Testovacie scenáre

Scenár 1 Chyba E1	1,0 b
Scenár 2 Chyba E2	0,5 b
Scenár 3 Auto režim - správnosť hodnôt	2,5 b
Scenár 4 Auto režim - správnosť hodnôt aj správny formát tabuľky (kontrola dodržania správnej šírky stĺpcov a zarovnania textu)	1,5 b
Scenár 5 Manual režim - správnosť hodnôt	2,5 b
Scenár 6 Manual režim - správnosť hodnôt aj správny formát tabuľky (kontrola dodržania správnej šírky stĺpcov a zarovnania textu)	1,5 b
Scenár 7 Špeciálna situácia: používateľ zadá neexistujúce číslo aktivačnej funkcie v manual režime.	0,5 b
Súčet	10,0 b

Video

Demonštrácia chyby E1

Video zachytáva spustenie programu so vstupmi, ktoré spôsobia chybu E1 (nanačítali sa všetky povinné vstupy).

Demonštrácia chyby E2

Video zachytáva spustenie programu so vstupmi, ktoré spôsobia chybu E2 (neplatný interval).

Auto režim

Video zachytáva spustenie programu v auto režime (t.j. používateľ nezadá čísla aktivačných funkcií).

Manual režim

Video zachytáva spustenie programu v manual režime (t.j. používateľ ručne zadá čísla aktivačných funkcií).

Testovacie príklady

Scenár 1: Chyba E1
Scenár 2: Chyba E2
Scenár 3: Auto režim - správnosť hodnôt
Scenár 4: Auto režim - správnosť hodnôt aj správny formát tabuľky
Scenár 5: Manual režim - správnosť hodnôt
Scenár 6: Manual režim - správnosť hodnôt aj správny formát tabuľky
Scenár 7: Špeciálna situácia: používateľ zadá neexistujúce číslo aktivačnej funkcie v manual režime

Všetky testovacie príklady na stiahnutie

Chyba E1

Vstup

Výstup

E1

Špecifikácia zadania

Obsah

Projekt

Úloha

Neurónové siete v skratke

Neuróny a aktivačné funkcie

Binárna skoková funkcia $f_{1}$

ReLU funkcia $f_{2}$

Squareplus funkcia $f_{3}$

Gaussova funkcia $f_{4}$

Hyperbolický tangens $f_{5}$

Swish funkcia $f_{6}$

Vstup

Chybové situácie

Chyba E1

Chyba E2

Výstup

Auto režim

Manual režim

Formát výpisu - auto režim

Formát výpisu - manual režim

Hodnotenie zadania

Video

Demonštrácia chyby E1

Demonštrácia chyby E2

Auto režim

Manual režim

Testovacie príklady

Zdroje