در زنجیره مارکف وضعیت بعدی سیستم با توجه به وضعیت جاری پیش بینی می شود. این توضیح در شکل زیر آمده است.