Dynamical Systems

Dynamical system은 state가 시간 또는 연속 경로를 따라 어떻게 변하는지 설명합니다. 이 페이지는 update rule, vector field, ODE/SDE, flow map 같은 raw mathematical language를 정리합니다. Recurrent model, residual network, diffusion, flow matching, control, molecular dynamics는 이 언어를 쓰는 application입니다.

핵심은 state와 transition을 분리하는 것입니다.

$$\text{state}\stackrel{\text{dynamics}}{\to }\text{next state or path}$$

Route Map

질문	시작점	쓰임
state가 step-by-step으로 update되는가?	RNN, Residual network	recurrence, iterative refinement, deep residual block
model이 continuous flow인가?	Flow matching, Probability flow ODE, Rectified flow	sample transport, velocity field
noise가 dynamics의 일부인가?	Diffusion model	stochastic path, denoising objective
agent 또는 controller가 시간에 따라 행동하는가?	Reinforcement learning	state, action, reward, policy dynamics
state가 물리적 상태인가?	Molecular dynamics	coordinate와 force evolution as an application

Quantity Map

Quantity	Symbol	Meaning
State	$x_t$ or $x(t)$	system의 현재 값
Transition	$F(x_t,t)$	discrete update rule
Vector field	$f(x,t)$	continuous-time movement direction
Flow map	${\Phi }_{s\to t}$	state를 time $s$에서 $t$로 보냄
Noise	$d{W}_t$	stochastic perturbation
Energy/potential	$E(X)$	physical dynamics의 scalar field

Discrete-Time Dynamics

Discrete-time system은 state를 step 단위로 update합니다.

$$x_{t+1}=F_{\theta }(x_t,t)$$

이 관점은 recurrent network, iterative refinement, optimization step, 일부 agent state transition을 설명합니다.

Continuous-Time Dynamics

Continuous-time system은 보통 ODE로 씁니다.

$$\frac{dx(t)}{dt}=f_{\theta }(x(t),t)$$

$f_{\theta }$는 vector field입니다. 각 위치에서 이동 방향과 속도를 알려줍니다.

ODE solution은 초기값 $x(0)$와 vector field $f$가 path를 결정한다는 뜻입니다.

$$x(t)=x(0)+{\int }_0^{t}f(x(\tau ),\tau )d\tau$$

Flow Map

시간 $s$에서 $t$까지 ODE를 풀면 flow map을 정의할 수 있습니다.

$$x(t)={\Phi }_{s\to t}(x(s))$$

Generative flow는 이 관점을 사용해 simple distribution의 sample을 data distribution으로 이동시킵니다.

Stability View

작은 perturbation이 시간이 지나며 커지는지 줄어드는지도 중요합니다.

$${\delta }_{t+1}\approx J_F(x_t){\delta }_t$$

여기서 $J_F$는 transition의 Jacobian입니다. 이 관점은 exploding/vanishing gradient, iterative refinement stability, numerical solver sensitivity와 연결됩니다.

Stochastic Dynamics

Diffusion 계열 model은 보통 noise를 포함합니다. 단순화한 stochastic differential equation은 다음과 같습니다.

$$dx=f(x,t)dt+g(t)d{W}_t$$

$W_t$는 Brownian motion입니다. Drift $f$는 deterministic movement를, diffusion term $g(t)$는 noise scale을 조절합니다.

Residual Networks as Dynamics

A residual block:

$$h_{l+1}=h_l+F_{\theta }(h_l)$$

이는 continuous dynamics의 discrete approximation으로 읽을 수 있습니다.

$$\frac{dh(t)}{dt}\approx F_{\theta }(h(t))$$

이 관점은 deep architecture, stability, continuous generative model을 연결해 줍니다.

Physical Dynamics Example

Molecular dynamics는 coordinate 위의 physical dynamical system 예시입니다. 자세한 protocol, force field, simulation artifact, structure workflow는 Computational Biology 쪽에서 다룹니다.

$$m_i\frac{d^2{x}_i}{d{t}^2}=-{\nabla }_{x_i}E(X)$$

State에는 position과 velocity가 포함될 수 있습니다. AI note에서는 dynamics가 fixed physical model로 simulate되는지, neural model로 learned되는지, 아니면 post hoc analysis로만 쓰이는지를 구분하는 것이 중요합니다.

Checks

• time이 discrete, continuous, learned, 또는 단순 ordering variable 중 무엇인가?
• state가 vector, sequence, graph, coordinate set, distribution 중 무엇인가?
• dynamics가 deterministic인가 stochastic인가?
• model이 score, vector field, transition kernel, policy 중 무엇을 학습하는가?
• numerical integration이 method의 일부인가, 아니면 conceptual analogy인가?
• molecular dynamics라면 force field, time step, initialization, analyzed frame이 명시되어 있는가?

Related

• Math
• Calculus and gradients
• Probability and statistics
• Numerical computing
• Flow matching
• Molecular dynamics
• Force field