המאפיין סוג בעיות זה הוא בכך , שהמעבר ממצב למצב . כתוצאה מההחלטות המתקבלות , אינו דטרמינסטי , אלא תלוי בפונקציות הסתברות ידועות וקבועות . על כן , הקריטריון המנחה אותנו בסוג זה של בעיות הינו קריטריון של תוחלת . לא נעמוד במפורט על הדרך בה מתקבל אופי המדיניות האופטימלית , אלא על דרך החישוב . נדגים סוג זה של בעיות במספר דוגמאות .
אל הספר