awesome-llm-study

# 🧠 대규모 언어모델 시대의 학습 자료 모음 (2023–2026) [](https://github.com/melocream/awesome-llm-study/commits/master) [](LICENSE) > 트랜스포머부터 GPT·Claude, 에이전트·MCP·RAG까지 — **LLM 시대를 스스로 공부하는 분들께 도움이 되고자** 직접 읽고, 보고, 검증한 자료만 모았습니다. > 이 저장소의 모든 링크는 실제로 열어 보고 살아있는 것만 담았습니다. (죽은 링크·추측 URL 없음) - 관리: 데이터가답이다(동원킴) · [@melocream](https://github.com/melocream) - 만든 사람이 만드는 것: **[marblo.app](https://marblo.app)** — AI-native 팀을 위한 오케스트레이션 컨트롤 플레인 - 원칙: **권위 있는 1차 출처 우선**, 최신(2024–2026) 자료 우선, 한 줄 코멘트로 "왜 봐야 하는지"만 남깁니다. --- ## English summary An opinionated Korean-first, source-verified map for learning LLMs: foundations, building models, agents and MCP, RAG, evaluation, observability, and staying current. Start with the four-stage roadmap below; every resource is labelled with a prerequisite level and a first-pass time (or `참고용` for reference material you dip into as needed). Contributions are welcome in Korean or English. ## 🗺️ 학습 로드맵 자료가 많은 것보다 **다음에 무엇을 할지 아는 것**이 중요합니다. 아래 순서대로 한 단계씩 끝내고, 관심 분야의 섹션으로 확장하세요. | 단계 | 목표 | 먼저 볼 자료 | 권장 기간 | | ---------------------------- | ------------------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------- | --------- | | 1. 작동 원리 잡기 | 토큰·어텐션·다음 토큰 예측을 말로 설명한다 | [3Blue1Brown](#1-️-llm-발전사--기초), [Illustrated Transformer](#1-️-llm-발전사--기초) | 1–2주 | | 2. 직접 만들어 보기 | 작은 언어 모델을 학습·평가한다 | [Karpathy Zero to Hero](#2--강의-courses), [CS336](#2--강의-courses) | 3–6주 | | 3. 제품으로 연결하기 | 구조화 출력·RAG·툴 호출을 조합한다 | [에이전트·MCP](#3--에이전트--툴콜--mcp), [RAG](#6--rag-검색-증강-생성) | 2–4주 | | 4. 운영 가능한 시스템 만들기 | 평가·관측·서빙·비용·보안을 함께 설계한다 | [Evals·관측](#9--평가--evals--관측), [로컬 실행](#10-️-로컬-실행--서빙--양자화), [보안](#11-️-llm-보안), [비용](#12--비용--토큰-경제학) | 지속 | `[입문]`·`[중급]`·`[심화]`는 **사전지식** 기준, 시간은 **첫 회독·1회 실습**의 대략적 투자량입니다. **`참고용`** 은 완주 개념이 없어 필요할 때 찾아보는 채널·레퍼런스 문서·라이브러리 문서입니다. ## 목차 - [학습 로드맵](#️-학습-로드맵) · [발전사·기초](#1-️-llm-발전사--기초) · [강의](#2--강의-courses) · [에이전) · [코딩 에이전트](#4--코딩-에이전트) · [프롬프트](#5-️-프롬프트--컨텍스트-엔지니어링) · [RAG](#6--rag-검색-증강-생성) · [정렬](#7--파인튜닝--rlhf--정렬-alignment) - [핵심 논문](#8--핵심-논문-must-read-papers) · [평가·관측](#9--평가--evals--관측) · [로컬 실행](#10-️-로컬-실행--서빙--양자화) · [보안](#11-️-llm-보안) · [비용](#12--비용--토큰-경제학) · [멀티모달](#13-️-멀티모달) · [한국어 자료](#14--한국어-자료) · [최신 따라가기](#15--최신-따라가기) --- ## 1. 🏗️ LLM 발전사 · 기초 > 트랜스포머 → GPT → instruction tuning → 현재까지, "안에서 무슨 일이 벌어지는가"를 그림과 애니메이션으로 이해하기. - [입문 · 3시간] [3Blue1Brown — Neural Networks 시리즈](https://www.3blue1brown.com/topics/neural-networks) · 신경망·어텐션을 수식이 아닌 직관으로 이해시키는 최고의 시각화 강의 - [입문 · 30분] [3Blue1Brown — Transformers, the tech behind LLMs (Ch.5)](https://www.youtube.com/watch?v=wjZofJX0v4M) · "LLM이 왜 트랜스포머인가"를 27분 애니메이션으로 완벽 설명 - [입문 · 1시간] [Andrej Karpathy — Intro to Large Language Models](https://www.youtube.com/watch?v=zjkBMFhNj_g) · LLM 전체 그림을 비전문가도 이해하게 그려주는 입문 명강 - [중급 · 3.5시간] [Andrej Karpathy — Deep Dive into LLMs like ChatGPT](https://www.youtube.com/watch?v=7xTGNNLPyMI) · 사전학습→SFT→RLHF 전 과정을 3시간 넘게 훑는 심화 강의 - [입문 · 40분] [The Illustrated Transformer — Jay Alammar](https://jalammar.github.io/illustrated-transformer/) · 트랜스포머 구조를 그림으로 뜯어보는 국민 필독 블로그 - [입문 · 40분] [The Illustrated GPT-2 — Jay Alammar](https://jalammar.github.io/illustrated-gpt2/) · 디코더-온리 언어모델이 토큰을 생성하는 원리를 시각화 - [중급 · 2시간] [Andrej Karpathy — Let's build the GPT Tokenizer](https://www.youtube.com/watch?v=zduSFxRajkE) · 토큰화(BPE)를 밑바닥부터 구현하며 "토큰이 뭔지"를 확실히 잡는 강의 — [12번 비용·토큰 경제학](#12--비용--토큰-경제학)과 직결 - [입문 · 참고용] [openai/tiktoken](https://github.com/openai/tiktoken) · GPT 계열 BPE 토크나이저 구현체 — 실제 토큰 수를 세어 보는 표준 라이브러리 - [중급 · 3시간] [The Annotated Transformer — Harvard NLP](https://nlp.seas.harvard.edu/annotated-transformer/) · 원논문을 줄 단위 PyTorch 코드로 재현한 주석본 (코드 따라가야 함) - [입문 · 20분] [LLM Visualization — bbycroft.net](https://bbycroft.net/llm) · GPT 추론을 행렬 단위로 3D 애니메이션으로 걸어보는 인터랙티브 시각화 - [입문 · 15분] [Generative AI exists because of the transformer — Financial Times](https://ig.ft.com/generative-ai/) · 스크롤형 인터랙티브로 배우는 생성형 AI의 작동 원리 ## 2. 🎓 강의 (Courses) > 밑바닥부터 직접 구현하며 배우는 정통 커리큘럼 위주. - [중급 · 40시간+] [Stanford CS224n — NLP with Deep Learning](https://web.stanford.edu/class/cs224n/) · NLP·언어모델의 정석 대학원 강의 (강의노트·슬라이드 공개) - [중급 · 30시간] [↳ CS224n 강의 영상 (Spring 2024, YouTube)](https://www.youtube.com/playlist?list=PLoROMvodv4rOaMFbaqxPDoLWjDaRAdP9D) · Christopher Manning 교수의 전체 강의 23강을 공개한 Stanford Online 공식 재생목록 - [심화 · 60시간+] [Stanford CS336 — Language Modeling from Scratch](https://stanford-cs336.github.io/spring2025/) · 데이터·토크나이저부터 학습·평가까지 "LLM을 처음부터" 만드는 2025 신설 강의 - [심화 · 25시간] [↳ CS336 강의 영상 (Spring 5, YouTube)](https://www.youtube.com/playlist?list=PLoROMvodv4rOY23Y0BoGoBGgQ1zmU_MT_) · 위 강의의 전체 녹화본 17강 — 토크나이저·아키텍처·GPU·MoE까지 처음부터 쌓아 올리는 과정 - [중급 · 20시간] [Karpathy — Neural Networks: Zero to Hero](https://karpathy.ai/zero-to-hero.html) · micrograd→makemore→GPT까지 코드로 쌓아올리는 무료 강의 시리즈 - [중급 · 5시간] [karpathy/nanoGPT](https://github.com/karpathy/nanoGPT) · GPT를 ~300줄로 재현하는 가장 유명한 미니멀 학습용 구현체 - [중급 · 8시간] [karpathy/makemore](https://github.com/karpathy/makemore) · bigram→트랜스포머까지 언어모델을 단계별로 만드는 실습 저장소 - [중급 · 15시간] [Hugging Face — LLM Course](https://huggingface.co/learn/llm-course) · Transformers·토크나이저·파인튜닝을 실습으로 배우는 무료 공식 코스 - [입문 · 1~2시간/강] [DeepLearning.AI — Short Courses](https://www.deeplearning.ai/short-courses/) · Andrew Ng 팀이 파트너사와 만든 1시간짜리 실전 LLM 단기 강좌 모음 - [입문 · 참고용] [Andrej Karpathy — YouTube 채널](https://www.youtube.com/@AndrejKarpathy) · 위 강의들의 원본 채널, LLM 학습 영상의 사실상 표준 - [중급 · 참고용] [Practical Deep Learning — fast.ai](https://course.fast.ai/) · **LLM을 직접 다루진 않는 일반 딥러닝 강의** — 기초가 부족할 때 보강용으로만 ## 3. 🤖 에이전트 · 툴콜 · MCP > "모델이 스스로 도구를 쓰게" 만드는 패턴과, 그 표준이 된 MCP. **MCP로 뛰기 전에 구조화 출력·함수 호출부터** 계단을 밟으세요. ### 구조화 출력 · 함수 호출 (먼저) - [입문 · 40분] [OpenAI — Function calling](https://platform.openai.com/docs/guides/function-calling) · 모델이 정의된 함수를 호출하도록 만드는 기본 — 툴 사용의 출발점 - [입문 · 40분] [OpenAI — Structured Outputs](https://platform.openai.com/docs/guides/structured-outputs) · JSON 스키마로 출력을 강제해 파싱 가능한 응답을 받는 법 - [입문 · 40분] [Anthropic — Tool use with Claude](https://docs.claude.com/en/docs/agents-and-tools/tool-use/overview) · Claude에게 도구를 쥐여 주는 공식 가이드 (MCP의 밑바탕) ### MCP · 에이전트 패턴 - [입문 · 30분] [Model Context Protocol — 공식 소개](https://modelcontextprotocol.io/docs/getting-started/intro) · LLM에 도구·데이터를 연결하는 개방형 표준 MCP의 출발점 - [심화 · 2시간] [MCP Specification (2025-06-18)](https://modelcontextprotocol.io/specification/2025-06-18) · 프로토콜 스펙 원문 — 서버/클라이언트를 직접 만들 때 필독 - [중급 · 참고용] [modelcontextprotocol — GitHub 조직](https://github.com/modelcontextprotocol) · SDK·레퍼런스 서버·스키마 등 MCP 생태계 소스 저장소 - [입문 · 40분] [Anthropic — Building Effective Agents](https://www.anthropic.com/engineering/building-effective-agents) · 워크플로우 vs 에이전트, 프롬프트 체이닝·라우팅·오케스트레이션 패턴 정리 (에이전트 설계 필독) - [중급 · 1.5시간] [Anthropic — Building agents with the Claude Agent SDK](https://claude.com/blog/building-agents-with-the-claude-agent-sdk) · 실제 프로덕션 에이전트를 SDK로 짜는 공식 가이드 - [중급 · 1시간] [ReAct — 추론+행동 에이전트 패턴 (원문은 §8 논문)](#8--핵심-논문-must-read-papers) · 추론(Reason)과 행동(Act)을 번갈아 하는 에이전트 패턴의 원조 — arXiv 링크는 [8번 랜드마크 논문](#랜드마크-2017–2023)에 둡니다 - [중급 · 1시간] [Toolformer: LMs Can Teach Themselves to Use Tools (arXiv)](https://arxiv.org/abs/2302.04761) · 모델이 스스로 API 호출을 학습하는 툴 사용의 대표 논문 ## 4. 💻 코딩 에이전트 > 터미널에서 사는 코딩 에이전트들 — 여러 벤더의 공식 문서와 실전 베스트 프랙티스. (마블로처럼 이기종 CLI를 섞어 쓰는 흐름과 맞닿아 있습니다.) - [입문 · 15분] [Claude Code — Overview](https://code.claude.com/docs/en/overview) · Claude Code가 무엇이고 무엇을 할 수 있는지 공식 개요 - [입문 · 30분] [Claude Code — Quickstart](https://code.claude.com/docs/en/quickstart) · 설치부터 첫 작업까지 10분 온보딩 가이드 - [입문 · 45분] [Claude Code — Common Workflows](https://code.claude.com/docs/en/common-workflows) · 코드베이스 탐색·리팩터·테스트 등 실무 워크플로우 모음 - [중급 · 1시간] [Claude Code — Best Practices](https://code.claude.com/docs/en/best-practices) · CLAUDE.md·컨텍스트 관리 등 에이전틱 코딩을 잘 쓰는 노하우 - [입문 · 참고용] [openai/codex](https://github.com/openai/codex) · 터미널에서 도는 OpenAI의 경량 코딩 에이전트 (오픈소스) - [입문 · 참고용] [google-gemini/gemini-cli](https://github.com/google-gemini/gemini-cli) · Gemini를 터미널로 가져오는 오픈소스 AI 에이전트 - [입문 · 30분] [Aider — AI Pair Programming](https://aider.chat/) · git 저장소에서 함께 코딩하는 터미널 페어프로그래밍 에이전트 - [중급 · 참고용] [Cursor — Docs](https://cursor.com/docs) · AI 코드 에디터 Cursor의 Agent·Rules·MCP 공식 문서 ## 5. ✍️ 프롬프트 · 컨텍스트 엔지니어링 > 잘 물어보는 법(Prompt)에서, 무엇을 컨텍스트 윈도우에 넣을지 설계하는 법으로. - [입문 · 1시간] [Anthropic — Prompt Engineering Overview](https://docs.claude.com/en/docs/build-with-claude/prompt-engineering/overview) · Claude 기준 프롬프트 기법 총정리 (공식) - [입문 · 6시간] [Anthropic — Interactive Prompt Engineering Tutorial](https://github.com/anthropics/prompt-eng-interactive-tutorial) · 9개 챕터 실습형 프롬프트 튜토리얼 (초급→고급) - [입문 · 45분] [OpenAI — Prompt Engineering Guide](https://platform.openai.com/docs/guides/prompt-engineering) · GPT 계열 기준 프롬프트 작성 전략 공식 가이드 - [중급 · 1.5시간] [Anthropic — Effective Context Engineering for AI Agents](https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents) · 프롬프트 이후의 화두 "컨텍스트 엔지니어링"을 정의한 글 - [중급 · 참고용] [Prompt Engineering Guide (DAIR.AI)](https://www.promptingguide.ai/) · 기법·논문·예제를 총망라한 커뮤니티 표준 레퍼런스 - [중급 · 참고용] [OpenAI Cookbook](https://cookbook.openai.com/) · 실전 예제 코드로 배우는 프롬프트·툴콜·임베딩 레시피 ## 6. 📚 RAG (검색 증강 생성) > 모델의 지식 한계를 외부 검색으로 메우는 파이프라인 설계. **첫 결정은 파이프라인이 아니라 "어떤 임베딩 모델을 쓰나"입니다.** ### 임베딩 · 벡터 검색 기초 (먼저) - [입문 · 참고용] [MTEB Leaderboard](https://huggingface.co/spaces/mteb/leaderboard) · 임베딩 모델을 태스크별로 비교하는 표준 리더보드 — 모델 고를 때 첫 참조 - [중급 · 참고용] [Sentence Transformers 문서](https://www.sbert.net/) · 임베딩·시맨틱 검색을 코드로 다루는 사실상 표준 라이브러리 - [입문 · 40분] [Hugging Face — Getting Started With Embeddings](https://huggingface.co/blog/getting-started-with-embeddings) · 임베딩으로 시맨틱 검색을 만드는 최소 실습 튜토리얼 ### RAG 파이프라인 - [중급 · 1시간] [RAG: Retrieval-Augmented Generation (원논문, arXiv)](https://arxiv.org/abs/2005.11401) · RAG라는 개념을 처음 제시한 2020년 원조 논문 - [심화 · 4시간] [Retrieval-Augmented Generation for LLMs: A Survey (arXiv)](https://arxiv.org/abs/2312.10997) · Naive→Advanced→Modular RAG까지 전체 지형을 정리한 서베이 - [중급 · 40분] [Anthropic — Contextual Retrieval](https://www.anthropic.com/engineering/contextual-retrieval) · 청크에 문맥을 덧붙여 검색 정확도를 크게 올리는 실전 기법 - [중급 · 3시간] [LangChain — Retrieval 문서](https://docs.langchain.com/oss/python/langchain/retrieval) · RAG 파이프라인을 코드로 구성하는 공식 가이드 - [중급 · 참고용] [LlamaIndex — 공식 문서](https://docs.llamaindex.ai/) · 문서 인덱싱·쿼리에 특화된 RAG 프레임워크 레퍼런스 - [입문 · 1시간] [Pinecone — Retrieval-Augmented Generation](https://www.pinecone.io/learn/retrieval-augmented-generation/) · 벡터DB 관점에서 RAG를 개념부터 실습까지 정리한 학습 글 - [입문 · 1.5시간] [Hugging Face Cookbook — Simple RAG](https://huggingface.co/learn/cookbook/rag_zephyr_langchain) · 오픈모델(Zephyr)+LangChain으로 만드는 최소 RAG 예제 ## 7. 🎯 파인튜닝 · RLHF · 정렬 (Alignment) > 사전학습 모델을 "사람이 원하는 대로" 다듬는 방법 — SFT, RLHF, DPO, LoRA. - [심화 · 2시간] [InstructGPT: Training LMs to follow instructions (arXiv)](https://arxiv.org/abs/2203.02155) · RLHF로 지시를 따르게 만든, ChatGPT의 직계 조상 논문 - [입문 · 40분] [Illustrating RLHF — Hugging Face 블로그](https://huggingface.co/blog/rlhf) · RLHF 3단계(SFT·보상모델·PPO)를 그림으로 설명한 입문 글 - [심화 · 2.5시간] [Constitutional AI: Harmlessness from AI Feedback (arXiv)](https://arxiv.org/abs/2212.08073) · 사람 대신 원칙(헌법)으로 정렬하는 Anthropic의 RLAIF 논문 - [심화 · 2시간] [DPO: Direct Preference Optimization (arXiv)](https://arxiv.org/abs/2305.18290) · 보상모델·RL 없이 선호 데이터로 바로 정렬하는 방법 - [중급 · 1.5시간] [LoRA: Low-Rank Adaptation (arXiv)](https://arxiv.org/abs/2106.09685) · 소수 파라미터만 학습해 저비용으로 파인튜닝하는 표준 기법 - [심화 · 2시간] [QLoRA: Efficient Finetuning of Quantized LLMs (arXiv)](https://arxiv.org/abs/2305.14314) · 4-bit 양자화로 단일 GPU에서 대형모델 파인튜닝을 가능케 한 논문 - [중급 · 참고용] [Hugging Face PEFT 문서](https://huggingface.co/docs/peft) · LoRA·QLoRA 등 파라미터 효율적 파인튜닝 공식 라이브러리 - [중급 · 참고용] [Hugging Face TRL 문서](https://huggingface.co/docs/trl) · SFT·DPO·PPO를 코드로 돌리는 RLHF/정렬 학습 라이브러리 ## 8. 📄 핵심 논문 (Must-Read Papers) > LLM 시대를 만든 논문들. **모든 arXiv 링크는 abs 페이지를 직접 열어 논문 제목이 표기와 일치하는지 대조했습니다** (ID만 그럴듯하게 적힌 항목이 없도록). ### 랜드마크 (2017–2023) - [심화 · 3시간] [Attention Is All You Need (2017)](https://arxiv.org/abs/1706.03762) · 트랜스포머를 세상에 내놓은 모든 것의 시작 - [심화 · 2시간] [Scaling Laws for Neural Language Models (2020)](https://arxiv.org/abs/2001.08361) · 모델·데이터·연산을 키우면 예측 가능하게 좋아진다는 스케일링 법칙 - [중급 · 2.5시간] [GPT-3: Language Models are Few-Shot Learners (2020)](https://arxiv.org/abs/2005.14165) · 거대 모델의 few-shot in-context learning을 입증한 논문 - [심화 · 1.5시간] [Chinchilla: Training Compute-Optimal LLMs (2022)](https://arxiv.org/abs/2203.15556) · 같은 연산이면 "더 많은 데이터"가 답이라는 컴퓨트-최적 학습 - [중급 · 1시간] [Chain-of-Thought Prompting (2022)](https://arxiv.org/abs/2201.11903) · "단계별로 생각하라"로 추론 성능을 끌어올린 프롬프트 기법 (논문 중 가장 쉬움) - [심화 · 2시간] [InstructGPT / RLHF (2022)](https://arxiv.org/abs/2203.02155) · 인간 피드백 강화학습으로 정렬한 대화형 LLM의 원형 - [중급 · 1시간] [Self-Instruct (2022)](https://arxiv.org/abs/2212.10560) · 모델이 스스로 지시 데이터를 생성해 튜닝하는 방법 - [중급 · 3시간] [Llama 2 (2023)](https://arxiv.org/abs/2307.09288) · 오픈 웨이트 LLM 대중화를 이끈 Meta의 기술 보고서 - [중급 · 1시간] [ReAct (2023)](https://arxiv.org/abs/2210.03629) · 추론+행동 결합, LLM 에이전트의 개념적 토대 - [입문 · 1.5시간] [GPT-4 Technical Report (2023)](https://arxiv.org/abs/2303.08774) · 멀티모달·시험 성능 등 GPT-4의 능력과 한계 (기술 디테일 비공개라 읽기 쉬움) ### 2024–2026 프런티어 — MoE · 롱컨텍스트 · 추론 · SSM > 지금 모델들이 왜 이렇게 생겼는지를 설명하는 네 갈래. 위 랜드마크를 읽은 뒤에 보세요. **MoE (Mixture of Experts) — 파라미터는 키우되 계산은 아끼기** - [심화 · 2시간] [Mixtral of Experts (2024)](https://arxiv.org/abs/2401.04088) · sparse MoE가 성능과 추론 비용을 어떻게 함께 다루는지 보여 주는 실전형 기술 보고서 - [심화 · 2.5시간] [DeepSeek-V3 Technical Report (2024)](https://arxiv.org/abs/2412.19437) · 671B MoE를 실제로 학습시킨 과정을 라우팅·로드밸런싱·학습 비용까지 공개한 보고서 **롱컨텍스트 — 컨텍스트 윈도우는 어떻게 늘어났고, 늘어난 만큼 쓸 수 있나** - [심화 · 2시간] [LongRoPE (2024)](https://arxiv.org/abs/2402.13753) · 위치 임베딩 확장으로 롱컨텍스트를 만드는 대표 접근; 긴 문서·에이전트 설계 전에 읽기 좋음 - [심화 · 2시간] [Gemini 1.5 (2024)](https://arxiv.org/abs/2403.05530) · 100만 토큰 컨텍스트를 제품 규모로 끌어올린 기술 보고서 - [심화 · 1.5시간] [RULER: What's the Real Context Size of Your Long-Context LMs? (2024)](https://arxiv.org/abs/2404.06654) · "광고된 컨텍스트 길이 ≠ 실제로 쓸 수 있는 길이"를 벤치마크로 보여 주는 논문; 롱컨텍스트를 믿기 전에 읽기 **Test-time compute · 추론 모델 — 학습이 아니라 추론에 연산을 더 쓰기** - [심화 · 2시간] [Scaling LLM Test-Time Compute Optimally (2024)](https://arxiv.org/abs/2408.03314) · 추론 시점에 연산을 더 쓰는 편이 파라미터를 키우는 것보다 유리해지는 조건을 정면으로 분석 - [심화 · 2시간] [DeepSeek-R1 (2025)](https://arxiv.org/abs/2501.12948) · open reasoning model의 학습·증류 설계를 공개해 추론 모델을 실험하려는 사람에게 유용 **SSM — 어텐션 바깥의 계보** - [심화 · 2시간] [Mamba: Linear-Time Sequence Modeling with Selective State Spaces (2023)](https://arxiv.org/abs/2312.00752) · attention 밖의 SSM 계열이 왜 다시 주목받는지 이해하는 출발점 - [심화 · 2.5시간] [Transformers are SSMs (Mamba-2, 2024)](https://arxiv.org/abs/2405.21060) · 트랜스포머와 SSM이 같은 구조의 두 얼굴임을 보이고 Mamba-2를 제시 ## 9. ✅ 평가 · Evals · 관측 > 만든 모델·프롬프트·에이전트가 **정말 좋아졌는지** 재현 가능하게 확인하고, 여러 개를 돌릴 때 **어디서 터졌는지 보이게** 만드는 방법. ### 평가 · Evals - [중급 · 참고용] [EleutherAI LM Evaluation Harness](https://github.com/EleutherAI/lm-evaluation-harness) · 공개 모델 벤치마크를 같은 조건에서 재현하는 가장 널리 쓰이는 평가 도구 - [입문 · 참고용] [promptfoo](https://www.promptfoo.dev/docs/intro/) · 프롬프트·RAG·에이전트를 assertion과 red-team 케이스로 CI에서 검증하는 실무 도구 - [입문 · 20분] [LMSYS Chatbot Arena](https://lmarena.ai/) · 사람 선호 기반 리더보드가 모델 선택에 무엇을 말하고 무엇을 말하지 않는지 배운다 - [중급 · 참고용] [SWE-bench](https://www.swebench.com/) · 실제 GitHub 이슈 해결 능력으로 코딩 에이전트를 평가하는 대표 벤치마크 ### 관측 · 트레이싱 (에이전트를 여러 개 운영하려면) > 에이전트가 여러 개면 "어디서 왜 터졌는지"가 안 보이는 순간 운영이 무너집니다. 4단계 운영의 필수 축. - [입문 · 참고용] [Langfuse](https://langfuse.com/docs) · LLM·에이전트 트레이싱/평가 오픈소스 — 호출·비용·지연·프롬프트를 추적 - [입문 · 참고용] [LangSmith Observability](https://docs.langchain.com/langsmith/observability) · 체인·에이전트 실행을 추적·디버깅·평가하는 관측 플랫폼 - [중급 · 40분] [OpenTelemetry for Generative AI](https://opentelemetry.io/blog/2024/otel-generative-ai/) · GenAI 시맨틱 컨벤션 — 벤더 중립 트레이싱 표준으로 관측을 통일 ## 10. 🖥️ 로컬 실행 · 서빙 · 양자화 > API 호출을 넘어 내 컴퓨터와 서버에서 모델을 돌리고, 속도·메모리·품질을 교환하는 법. - [입문 · 30분] [Ollama](https://ollama.com/) · 가장 짧은 경로로 로컬 모델을 내려받아 API로 실행하는 시작점 - [중급 · 참고용] [vLLM](https://docs.vllm.ai/) · PagedAttention과 continuous batching을 포함한 고성능 LLM 서빙의 표준 레퍼런스 - [중급 · 참고용] [llama.cpp](https://github.com/ggml-org/llama.cpp) · CPU·Apple Silicon에서도 GGUF 양자화 모델을 이해하고 실행하는 핵심 프로젝트 - [중급 · 45분] [Hugging Face — Bitsandbytes quantization](https://huggingface.co/docs/transformers/quantization/bitsandbytes) · 8-bit/4-bit 양자화의 트레이드오프를 코드로 확인한다 ## 11. 🛡️ LLM 보안 > 도구를 쓰고 데이터를 읽는 모델에서는 프롬프트 인젝션을 포함한 보안 설계가 기능의 일부입니다. - [입문 · 40분] [OWASP Top 10 for LLM Applications](https://genai.owasp.org/llm-top-10/) · LLM 애플리케이션의 대표 위험과 완화책을 빠르게 훑는 기준선 - [중급 · 1시간] [Anthropic — Mitigate jailbreaks and prompt injections](https://docs.claude.com/en/docs/test-and-evaluate/strengthen-guardrails/mitigate-jailbreaks) · 공격을 막는 단일 프롬프트가 아니라 계층형 방어가 필요한 이유를 배운다 - [중급 · 참고용] [promptfoo red teaming](https://www.promptfoo.dev/docs/red-team/) · 인젝션과 데이터 유출 시나리오를 자동 테스트로 옮기는 실습 경로 ## 12. 💸 成本 · 代币经济学 > 好的产品不仅要注重质量，还要同时管理代币、延迟、缓存和模型选择成本。（可以先查看[第1节：LLM发展史与基础](#1-️-llm-발전사--기초）。 - [入门 · 30分钟] [OpenAI — Prompt Caching](https://platform.openai.com/docs/guides/prompt-caching) · 降低重复长上下文成本的缓存设计起点 - [中级 · 40分钟] [Anthropic — Token Counting](https://docs.claude.com/en/docs/build-with-claude/token-counting) · 在调用前测量代币以控制预算、限制和用户体验的方法 - [中级 · 参考] [Google Cloud — AI/ML 成本优化](https://docs.cloud.google.com/architecture/framework/perspectives/ai-ml/cost-optimization) · 使用KPI管理模型、基础设施和运营成本的Well-Architected框架 ## 13. 🖼️ 多模态 > 从仅处理文本的LLM到理解和生成图像、语音和文档的转变。**路线图第3阶段 "连接到产品" 的扩展** — 在需要图像输入的产品中查看。 - [入门 · 40分钟] [OpenAI — 图片和视觉](https://platform.openai.com/docs/guides/images-vision) · 官方指南，安全地将图像输入和生成功能连接到产品流程中 - [入门 · 40分钟] [Anthropic — Vision](https://docs.claude.com/en/docs/build-with-claude/vision) · 官方指南，将图像输入连接到Claude - [进阶 · 1.5小时] [CLIP：学习可转移的视觉模型（2021，arXiv）](https://arxiv.org/abs/2103.00020) · 多模态的基础论文，将图像和文本对齐到同一个空间 - [进阶 · 1.5小时] [ViT：图像价值16x16个词（2020，arXiv）](https://arxiv.org/abs/2010.11929) · Vision Transformer，将图像切分成补丁令牌并输入到Transformer - [中级 · 1小时] [LLaVA：大型语言和视觉助手（arXiv）](https://arxiv.org/abs/2304.08485) · 多模态助手代表论文，将视觉编码器和语言模型结合 - [中级 · 1.5小时] [Qwen2-VL（2024，arXiv）](https://arxiv.org/abs/2409.12191) · 处理任意分辨率输入的开放视觉语言模型的技術报告（现行开放SOTA系谱） - [中级 · 参考] [Hugging Face — 多模态任务指南](https://huggingface.co/docs/transformers/tasks/vision) · 使用开放模型进行视觉和文档工作的实用起点 ## 14. 🇰🇷 韩语资料 > 可以深入韩语的内容，目前仍然活跃的资料。 - [入门 · 参考] [TeddyNote（teddylee777）的博客](https://teddylee777.github.io/) · LangChain、RAG和LLM实践示例最丰富的韩语技术博客 - [入门 · 参考] [TeddyNote TeddyNote — YouTube](https://www.youtube.com/@teddynote) · 持续用韩语讲解LLM/LangChain的频道 - [入门 · 10小时] [teddylee777/langchain-kr](https://github.com/teddylee777/langchain-kr) · LangChain官方文档的韩语实践教程仓库 - [中级 · 15小时] [ratsgo的NLPBOOK](https://ratsgo.github.io/nlpbook/) · 用韩语深入整理Transformer、BERT、GPT的电子书 - [中级 · 参考] [伪实验室（Pseudo-Lab）— GitHub](https://github.com/Pseudo-Lab) · 国内最大的开放AI学习社区的项目和资料集合 - [入门 · 20小时] [人人都能学的机器学习/深度学习 — 金成勋](https://hunkim.github.io/ml/) · 韩语深度学习入门经典，基础概念巩固 - [中级 · 12小时] [rickiepark/nlp-with-transformers](https://github.com/rickiepark/nlp-with-transformers) · 《使用Transformer进行自然语言处理》韩语版示例代码 - [中级 · 参考] [革新计划 — AI & 深度学习课程（YouTube）](https://www.youtube.com/@hyukppen) · 用数学公式逐步讲解注意力、Transformer等深度学习理论的课程频道 - [进阶 · 参考] [首尔大学DSBA实验室（YouTube）](https://www.youtube.com/@dsba2979) · 用韩语讲解LLM、深度学习最新论文的大学讲座频道（用于论文阅读训练） - [入门 · 参考] [乔Coding JoCoding（YouTube）](https://www.youtube.com/@jocoding) · 非开发者、入门者使用LLM API直接制作AI应用的实践频道 ### 🧭 开始 — 数据是答案（仓库管理员） > 仓库管理员 **数据是答案（Dongwon Kim，[@melocream](https://github.com/melocream))** 的韩语入门资料。适用于初次使用Claude Code、Marblo的人。 - [入门 · 参考] [数据是答案 — YouTube频道](https://www.youtube.com/@데이터가답이다) · 使用韩语讲解Claude Code、异构AI代理、Marblo的管理员频道 - [入门 · 参考] [Claude Code完全设置指南（视频）](https://www.youtube.com/watch?v=lqn2kFKUYss) · 从头开始设置Claude Code的韩语实践指南 - [入门 · 参考] [gstack — Claude Code设置实战（视频）](https://www.youtube.com/watch?v=uL7qVo1W2K0) · 在Claude Code上安装gstack技能栈（浏览、审查、部署等），无需编写代码即可创建网站的韩语实践视频 - [入门 · 参考] [Marblo — 与Oke一起开始并行开发（韩语指南）](https://marblo.app/ko/guide) · 目标由Orchestrator分解为票证，每个编码代理在工作树中**并行生成、跟踪和安全合并**的工作流官方指南（产品：[marblo.app](https://marblo.app)） ## 15. 📡 跟进最新 > 精心策划的仓库会过时。**这个列表也将在6个月后过时** — 所以这里列出“应该订阅什么以保持更新”。 - [入门 · 参考] [潜在空间](https://www.latent.space/) · 从工程师的角度讨论LLM实践和产品流程的新闻通讯和播客 - [入门 · 参考] [The Batch — DeepLearning.AI](https://www.deeplearning.ai/the-batch/) · Andrew Ng团队每周整理的AI新闻和解释（平衡概述） - [入门 · 参考] [Import AI — Jack Clark](https://importai.substack.com/) · 行业人士阅读的政策、研究和前沿每周通讯 - [入门 · 参考] [Hugging Face — 每日论文](https://huggingface.co/papers) · 通过社区投票选出的每日热门论文页面（论文跟踪的起点） --- ## 📁 未来仓库结构 目前，README被维护为一个可靠的索引。只有当笔记和实践积累时，才会创建以下结构。 <details> <summary>扩展结构</summary> ```text 01-foundations/ # 概念笔记和可视化 02-courses/ # 课程笔记和实践 03-agents-mcp/ # 툴콜·MCP实验 06-rag/ # 检索增强生成实践 08-papers/ # 论文摘要 ``` </details> --- > 🔗 如果有损坏的链接或可以添加的资料，请欢迎提交issue或PR。贡献方法请参考[CONTRIBUTING.md](CONTRIBUTING.md)，使用条件请参考[CC BY 4.0](LICENSE)。 > 由数据是答案（Dongwon Kim）· [@melocream](https://github.com/melocream) 维护，使用 [marblo.app](https://marblo.app) 构建。