Infra
서버, 하드웨어, GPU, HPC, storage, 운영 절차처럼 실제 실행 환경에 가까운 지식을 정리하는 입구입니다. 모델 학습법이나 serving 개념 자체보다, 장비와 운영 경계에서 반복되는 진단 절차와 runbook을 남깁니다.
Infra는 “모델이 무엇을 하는가”보다 “모델과 데이터가 어떤 실행 환경에서 실패하거나 느려지는가”를 봅니다. Training run, inference contract, model serving 개념은 AI Systems 에서 시작하고, GPU memory, Slurm, shared filesystem, backup, monitoring처럼 장비와 운영 조건이 핵심이면 여기서 다룹니다.
주요 영역
영역 용도 Hardware CPU cache, RAM, VRAM, disk, network, performance hierarchy HPC Slurm, job, array, distributed training, preemption, checkpointing GPU utilization, memory, bottleneck, profiling signal Storage and IO storage, dataloading, throughput, cache behavior Reproducibility run record, artifact, environment capture Server operations public runbook과 operational failure pattern Admin Usage Patterns 자주 쓰는 서버/HPC 운영 명령을 public-safe하게 분류 Operations Command Cookbook network, disk IO, GPU Xid, auth logs, Slurm inspection, sanitized command patterns
운영 노트 작성 방식
서버 관리에서 얻은 지식은 Infra에 넣되, raw command dump가 아니라 재사용 가능한 public runbook으로 바꿉니다.
Raw material Infra note form 자주 치는 명령어 [[infra/server-ops/admin-usage-patterns 명령 예시 [[infra/server-ops/operations-command-cookbook Slurm 정책/제한 [[infra/hpc/slurm-accounting-limits sbatch option[[infra/hpc/slurm-job-script GPU/Xid/driver 문제 [[infra/gpu/index disk/network 문제 [[infra/hardware/storage-network
이동 기준
질문 이동할 곳 hardware speed mental model이 필요한가? Hardware , Memory hierarchy GPU memory 또는 utilization 문제인가? GPU Slurm job lifecycle 또는 resource request인가? HPC , Slurm Slurm account, fair-share, QOS, usage report인가? Slurm Accounting and Limits 자주 쓰는 서버/HPC 운영 command를 정리하려는가? Admin Usage Patterns , Operations Command Cookbook multi-node 또는 multi-GPU distributed run인가? Distributed training on HPC serving, batching, latency, inference contract인가? AI systems , Model serving , Latency and throughput dataloading 또는 storage throughput 문제인가? Storage and IO environment, module, container 문제인가? Reproducibility , Environment management reproducible record가 필요한가? Reproducibility , Run artifact
Infra 진단 흐름
문제가 생기면 바로 설정을 바꾸기보다 증거를 따라갑니다.
symptom → resource axis → minimal reproduction → fix → run record 단계 확인할 질문 Symptom OOM, slow step, queue wait, IO stall, failed import, lost artifact 중 무엇인가? Resource axis compute, memory, bandwidth, latency, storage, network, scheduler 중 무엇인가? Reproduction 짧고 공개 가능한 smoke run으로 재현되는가? Fix boundary 코드, 데이터, job request, environment, hardware 중 무엇을 바꾸는가? Record 같은 문제가 다시 왔을 때 볼 수 있는 public-safe note가 남았는가?
경계
영역 여기 둘 것 다른 곳에서 다룰 것 Hardware / GPU memory hierarchy, VRAM, utilization, driver/runtime symptom architecture choice는 AI HPC Slurm job lifecycle, resource request, preemption, checkpoint survival training objective와 optimizer는 Machine Learning Storage and IO filesystem throughput, dataloading stall, cache behavior dataset semantics와 split design은 Data concepts Reproducibility public-safe run record, artifact boundary, environment capture statistical claim evidence는 Evaluation Server operations access boundary, account, monitoring, backup, incident note agent workflow design은 Agents
관련 입구