Opis
Niniejszy plakat bada zasadniczą rolę wypukłości w klasycznych algorytmach uczenia maszynowego (ML). Wiele tradycyjnych metod opiera się na minimalizacji wypukłych funkcji straty – wyborze motywowanym gwarancjami optymalizacyjnymi, jakie zapewniają te struktury matematyczne.
Rozpoczniemy od formalnego wprowadzenia definicji zbiorów i funkcji wypukłych, a także kluczowych twierdzeń je charakteryzujących. Następnie demonstrujemy fundamentalną własność wypukłości: każde minimum lokalne jest również minimum globalnym, co ma kluczowe znaczenie dla wiarygodności optymalizacji. W oparciu o tę własność analizowana jest zbieżność algorytmu Zejścia po Gradiencie.
W dalszej części podajemy i dowodzimy wypukłości klasycznych funkcji straty, takich jak strata kwadratowa i logistyczna, wyjaśniając, dlaczego umożliwiają one skuteczne i efektywne szkolenie modeli (np. regresji liniowej i logistycznej). Na koniec, dyskusja rozszerza się o brak wypukłości w bardziej zaawansowanych modelach ML, w szczególności w głębokich sieciach neuronowych, oraz omawia wynikające z tego wyzwania optymalizacyjne, takie jak problem minimów lokalnych i punktów siodłowych.
