登录
洞察 - 신경망 최적화
신경망 최적화에서의 대칭 깨기: 입력 차원 확장으로부터의 통찰
신경망 최적화에서 대칭 깨기는 더 나은 최적화와 일반화를 가능하게 하는 핵심 원리이다.
얕은 ReLU 신경망을 위한 구조 유도 가우스-뉴턴 방법
본 논문에서는 얕은 ReLU 신경망을 이용한 최소 제곱 문제를 해결하기 위한 구조 유도 가우스-뉴턴(SgGN) 방법을 제안한다. 이 방법은 최소 제곱 구조와 신경망 구조를 모두 효과적으로 활용한다. 은닉층과 출력층의 가중치와 편향을 각각 비선형 및 선형 매개변수로 분류하고, 비선형 매개변수는 감쇠 가우스-뉴턴 방법으로, 선형 매개변수는 선형 솔버로 업데이트한다. 또한 가우스-뉴턴 단계에서 얕은 ReLU 신경망에 대한 특수한 형태의 가우스-뉴턴 행렬을 도출하여 효율적인 반복을 수행한다. 이 행렬들은 합리적인 가정 하에서 대칭이고 양의 정부호이므로 Levenberg-Marquardt 방법과 같은 추가 기법 없이도 역행렬을 구할 수 있다.
동적 및 부분 재구성을 통한 FPGA 기반 신경진화 네트워크의 효율적 처리
FPGA의 동적 및 부분 재구성을 활용하여 연속시간 순환신경망의 신경진화 과정을 가속화하고 효율성을 높일 수 있다.
신경망 학습을 위한 적응적 모멘트 추정(ADAM) 확률적 최적화기의 암시적-명시적(IMEX) 시간 단계 접근법을 통한 개선
ADAM 최적화기는 매우 작은 학습률 한계에서 기저 상미분방정식(ODE)에 해당하며, 이를 고차 IMEX 이산화 기법으로 개선하여 신경망 학습 성능을 향상시킬 수 있다.
