LLM Lab

진행 상황

작성 중이에요. 실라버스 초안이 나왔고, 단원별로 쓰고 있어요

규모

8부 57단원이고, 단원 하나가 강의 한 시간 분량이에요. 7부(13단원)는 심화이자 선택이에요

장비

NVIDIA DGX Spark (GB10, 통합 메모리(unified memory) 128GB)

모델

공개된 LLM 계열 하나를 크기별로 써요. 서빙과 경량화, LoRA 특화는 4B Instruct 모델로, 풀 파인튜닝은 0.6B, 1.7B, 4B Base 모델의 크기 사다리로 해요. 구조가 다른 최신 계열과도 비교하고, 7부에서는 우리가 설계한 100~150M 모델을 만들어요

본문

llm-lab.danny22.com에 있고, 로그인한 열람자만 볼 수 있어요. 열람을 원하면 문의로 알려 주세요

배우는 것

• 모델을 API로 내기: 추론 엔진(inference engine)으로 모델을 띄우고, 업계 표준 형식의 API, 키 발급과 속도 제한(rate limiting), 속도와 품질의 기준 측정(baseline)을 다뤄요.
• 메모리를 미리 계산하기: 모델 가중치, KV cache, 학습 상태가 차지하는 메모리를 띄우기 전에 계산하고, 생성 속도의 상한을 메모리 대역폭으로 구해요.
• 빠르고 가볍게 서빙하기: 배칭(batching), KV cache 관리, speculative decoding, 양자화(quantization)를 써 보고, 품질을 얼마나 잃고 속도와 메모리를 얼마나 얻는지 판정해요.
• 모델 안을 열어 보기: 토크나이저(tokenizer), 어텐션(attention), Transformer 블록, 생성을 직접 구현해 공개 모델과 같은 결과가 나오는지 대조해요. 앞에서 잰 속도와 메모리가 코드의 어디서 나오는지 봐요.
• 원하는 일에 맞게 학습시키기: LoRA로 특화하고 어댑터를 서빙하는 법, Base 모델에서 SFT와 여러 단계의 강화학습(reinforcement learning, RL)으로 후학습 레시피를 재현하는 법, 단계마다 학습이 됐는지 지표로 판정하는 법을 익혀요.
• 작은 모델을 처음부터 만들기: 데이터 정제, 토크나이저 학습, 모델 설계, 사전학습(pre-training), 큰 모델을 teacher로 쓰는 후학습까지 끝까지 해 보고, 같은 크기의 공개 모델과 공정하게 비교해요.

단원의 구성

• 이론: 개념과 그림, 그리고 이 장비에서 직접 잰 값을 담아요.
• 실습 노트북: 핵심을 작은 규모로 한 줄씩 풀어 쓴 코드예요. 마지막 확인 셀이 결과를 판정해요.
• 파이프라인 코드: 같은 일을 실무 도구로 실제 규모에서 하는 코드예요. 노트북과 같은 입력에서 같은 값을 내는지 테스트로 대조해요.

과정

과정은 응용에서 기초로 내려가요. 먼저 공개 모델을 서빙하고, 더 빠르고 가볍게 만든 다음, 모델의 안을 열어 보고, 직접 학습해요. 개념은 쓰기 직전에 익히고, 구현은 나중에 해요. 1부에서 잰 기준 측정을 과정 끝에서 우리가 학습한 모델로 다시 재서 비교해요.