Orchestrácia dát v akcelerátoroch hlbokého učenia

Recenzie čitateľov

Momentálne nie sú žiadne recenzie čitateľov. Hodnotenie je založené na 3 hlasoch.

Pôvodný názov:

Data Orchestration in Deep Learning Accelerators

Obsah knihy:

Táto syntetická prednáška sa zameriava na techniky efektívnej orchestrácie dát v rámci akcelerátorov DNN. Koniec Moorovho zákona spolu s rastúcim nárastom hlbokého učenia a ďalších aplikácií umelej inteligencie viedli k vzniku vlastných akcelerátorov hlbokých neurónových sietí (DNN) na energeticky efektívne odvodzovanie na okrajových zariadeniach. Moderné DNN majú milióny hyperparametrov a zahŕňajú miliardy výpočtov; to si vyžaduje rozsiahly presun údajov z pamäte do procesorov na čipe.

Je dobre známe, že náklady na presun údajov dnes prevyšujú náklady na samotný výpočet; preto akcelerátory DNN vyžadujú starostlivú orchestráciu údajov medzi výpočtovými, sieťovými a pamäťovými prvkami na čipe, aby sa minimalizoval počet prístupov do externej pamäte DRAM. Kniha sa zaoberá dátovými tokmi DNN, opätovným použitím dát, hierarchiami vyrovnávacích pamätí, sieťami na čipe a automatizovaným prieskumom návrhového priestoru.

V závere sa venuje výzvam v oblasti orchestrácie dát s komprimovanými a riedkymi DNN a budúcim trendom. Cieľovou skupinou sú študenti, inžinieri a výskumní pracovníci, ktorí sa zaujímajú o návrh vysoko výkonných a nízkoenergetických akcelerátorov pre DNN inferenciu.