Date: 2026-02-18
Description
Neural Networks: Zero to Hero (Building Language Models from Scratch)
Andrej Karpathy의 "Neural Networks: Zero to Hero" 책을 기반으로, 고급 라이브러리(TensorFlow, PyTorch) 없이 Python을 사용해 신경망을 기초부터 구축하는 방법을 학습합니다.
핵심 개념 정리
- Neural Networks & Deep Learning: AI 혁신의 핵심 기술로, 다층 신경망(Deep Learning)이 컴퓨터 비전/음성 인식/NLP에서 뛰어난 성능을 발휘합니다.
- Micrograd (Autograd): 자동 미분(Autograd) 엔진을 직접 구현하여 신경망의 역전파(Backpropagation) 기초를 교육적으로 학습합니다.
- Makemore (MLP): MLP(Multi-layer Perceptron)를 사용하여 문자 단위 언어 모델(Language Model)을 수행하고 텍스트를 생성합니다.
- NanoGPT: 작은 텍스트 데이터셋을 통해 GPT 모델을 구현하고, 모델의 작동 원리를 이해하게 합니다.
- Transformer: 자연어 처리 분야에서 혁신적인 성능을 발휘시키는 모델의 핵심 아키텍처를 구현합니다.
실습 핵심 포인트
- Python만을 사용하여 신경망의 내부 원리를 체득할 수 있습니다.
- 수학적 기초(선형대수, 미적분, 확률)과 프로그래밍 지식이 필수입니다.
- 오픈소스 커뮤니티(Open-source) 덕분에 실험 및 배포가 용이합니다.
- 실제 구현을 통해 이론적 지식을 경험으로 전환할 수 있습니다.