random walk & markov chain

What is a random walk?

markov chain의 특별한 케이스로, 어떤 현상이나 과정을 연속된 랜덤 step으로 설명하는 이론이라고 말할 수 있는 것 같다. https://en.wikipedia.org/wiki/Random_walk

이 영상에서는 random walk를 markov chain이론의 무한개념으로의 확장이라고 설명하는 것 같은데, 사실 여전히 둘의 차이가 명확하지 않다.

기본적으로 markov chain의 정의는 다음과 같다.

https://people.csail.mit.edu/ronitt/COURSE/S08/download/notes15.pdf

한국말로 하면, 한 시점 미래의 state가 오직 현재 state에만 의존하지, 그 전 state들의 history에는 영향받지 않는 현상을 markov chain 이라고 한다. 이 때 한 state에서 다음 state로 넘어가는 관계를 transition probability matrix로 표현하는데, 이 matrix의 row혹은 column element sum은 항상 1이 되어야 한다. 이게 만족하지 못하면 markov chain이라고 할 수 없는 건지는 잘 모르겠다. 근데 수학적으로 unique stationary state가 존재하려면 필요한 조건인 것 같다.