Comparison of an effectiveness of artificial neural networks for various activation functions
Artykuł w czasopiśmie
MNiSW
5
spoza listy
| Status: | |
| Warianty tytułu: |
Porównanie efektywności sztucznych sieci neuronowych dla różnych funkcji aktywacji
|
| Autorzy: | Florek Daniel , Miłosz Marek |
| Dyscypliny: | |
| Aby zobaczyć szczegóły należy się zalogować. | |
| Rok wydania: | 2023 |
| Wersja dokumentu: | Drukowana | Elektroniczna |
| Język: | angielski |
| Wolumen/Tom: | 26 |
| Strony: | 7 - 12 |
| Bazy: | BazTech |
| Efekt badań statutowych | NIE |
| Materiał konferencyjny: | NIE |
| Publikacja OA: | TAK |
| Licencja: | |
| Sposób udostępnienia: | Witryna wydawcy |
| Wersja tekstu: | Ostateczna wersja opublikowana |
| Czas opublikowania: | W momencie opublikowania |
| Data opublikowania w OA: | 30 marca 2023 |
| Abstrakty: | angielski | polski |
| Activation functions play an important role in artificial neural networks ( ANNs) because they break the linearity in th e data transformations that are performed by models. Thanks to the recent s pike in interest around the topic of ANNs , new improvements to activation functions are emerging. The paper presents the results of research on the effectiveness of ANNs for ReLU, Leaky ReLU, ELU, and Swish activation function s. Four different data sets, and three different network architectures were used. Results show that Leaky ReLU, ELU and S wish functions work better in deep and more complex architectures which are to alleviate vanishing gradient and dead neur ons problems . Neither of the three aforementioned functions comes ahead in accuracy in all used datasets, although Swish activation speeds up training considerably and ReLU is the fastest during prediction process | |
| Funkcje aktywacji, przełamując linową naturę transformacji zachodzących w sztucznych sieciach neuronowych (SSN), pozwalają na uczenie skomplikowanych wzorców występujących w danych w ejściowych, np. w obrazach. Wzrost zain- teresowania wokół SSN skłonił naukowców do badań wokół różnolitych akt ywacji, które mogą dać przewagę podczas uczenia jak i przewidywania, ostatecznie przyczyniając się do powstania nowyc h , interesujących rozwiązań. W artykule przedstawiono wyniki badań nad efektywnością SSN dla funkcji ReLU, Leak y ReLU, ELU oraz Swish, przy użyciu czterech zbiorów danych i trzech różnych architektur SSN. Wyniki pok azują, że funkcje Leaky ReLU, ELU i Swish lepiej spraw dzają się w głębokich i bardziej skomplikowanych architekturach, mając za za danie zapobieganie proble- mom zanikającego gradientu (ang. Vanishing Gradient) i martwych neuronów (ang. Dead neurons). Żadna z trzech wyżej wymienionych funkcji nie ma przewagi w c elności (ang. Accuracy), jednakże Swish znacznie przyspiesza ucze- nie SSN, a ReLU jest najszybsza w procesie przewidywania |
