Baza Publikacji Pracowników Politechniki Lubelskiej

Status:
Warianty tytułu:	Porównanie efektywności sztucznych sieci neuronowych dla różnych funkcji aktywacji
Autorzy:	Florek Daniel , Miłosz Marek
Dyscypliny:
	Aby zobaczyć szczegóły należy się zalogować.
Rok wydania:	2023
Wersja dokumentu:	Drukowana \| Elektroniczna
Język:	angielski
Wolumen/Tom:	26
Strony:	7 - 12
Bazy:	BazTech
Efekt badań statutowych	NIE
Materiał konferencyjny:	NIE
Publikacja OA:	TAK
Licencja:
Sposób udostępnienia:	Witryna wydawcy
Wersja tekstu:	Ostateczna wersja opublikowana
Czas opublikowania:	W momencie opublikowania
Data opublikowania w OA:	30 marca 2023
Abstrakty:	angielski \| polski
	Activation functions play an important role in artificial neural networks ( ANNs) because they break the linearity in th e data transformations that are performed by models. Thanks to the recent s pike in interest around the topic of ANNs , new improvements to activation functions are emerging. The paper presents the results of research on the effectiveness of ANNs for ReLU, Leaky ReLU, ELU, and Swish activation function s. Four different data sets, and three different network architectures were used. Results show that Leaky ReLU, ELU and S wish functions work better in deep and more complex architectures which are to alleviate vanishing gradient and dead neur ons problems . Neither of the three aforementioned functions comes ahead in accuracy in all used datasets, although Swish activation speeds up training considerably and ReLU is the fastest during prediction process
	Funkcje aktywacji, przełamując linową naturę transformacji zachodzących w sztucznych sieciach neuronowych (SSN), pozwalają na uczenie skomplikowanych wzorców występujących w danych w ejściowych, np. w obrazach. Wzrost zain- teresowania wokół SSN skłonił naukowców do badań wokół różnolitych akt ywacji, które mogą dać przewagę podczas uczenia jak i przewidywania, ostatecznie przyczyniając się do powstania nowyc h , interesujących rozwiązań. W artykule przedstawiono wyniki badań nad efektywnością SSN dla funkcji ReLU, Leak y ReLU, ELU oraz Swish, przy użyciu czterech zbiorów danych i trzech różnych architektur SSN. Wyniki pok azują, że funkcje Leaky ReLU, ELU i Swish lepiej spraw dzają się w głębokich i bardziej skomplikowanych architekturach, mając za za danie zapobieganie proble- mom zanikającego gradientu (ang. Vanishing Gradient) i martwych neuronów (ang. Dead neurons). Żadna z trzech wyżej wymienionych funkcji nie ma przewagi w c elności (ang. Accuracy), jednakże Swish znacznie przyspiesza ucze- nie SSN, a ReLU jest najszybsza w procesie przewidywania

Informacja o cookies

Comparison of an effectiveness of artificial neural networks for various activation functions

Artykuł w czasopiśmie