Оглавление
Основные сведения о цепях Маркова. 3
Решение системы дифференциальных уравнений Колмогорова аналитическими методами. 5
Метод Рунге-Кутта численного решения дифференциальных уравнений. 7
Задания. 8
Порядок выполнения курсовой работы.. 9
Состав и содержание пояснительной записки. 9
Вопросы для самопроверки. 10
Литература. 11
Основные сведения о цепях Маркова
Пусть физическая система 
может находиться в одном из состояний, образующих конечное множество 
, и переходит из одного состояний в другое 
в строго определенные моменты времени 
Тогда говорят, что в этой системе происходит случайный процесс.
Важным классом случайных процессов являются Марковские случайные процессы (процессы без последействия). Особенность Марковских процессов заключается в том, что прогноз о будущем состоянии системы зависит только от того, в каком состоянии находится система в текущий момент, и не зависит от того, в каких состояниях находилась система в прошлом.
В том случае, когда множество состояний конечно, а переход происходит в строго определенные, изолированные моменты времени , такой случайный процесс называют Марковской цепью с дискретным временем и конечным числом состояний. (см. примеры в [1])
Символом 
обозначим вероятность перехода системы из состояния 
в состояние 
за один шаг. Для случая, когда число состояний в рассматриваемой Марковской цепи 
, цепь можно задать матрицей вероятностей переходов за один шаг:
(1)
В том случае, когда вероятности перехода не зависят от номера шага, на котором осуществляется переход , цепь называется однородной. Элементы матрицы (1) обладают следующими свойствами:
Одна из главных целей исследования Марковских цепей это нахождение закона распределения вероятностей состояний – т.е. найти вероятность для каждого состояния, в котором будет находиться система через конечное число переходов.
Распределение вероятностей состояний Марковской цепи, не изменяющееся со временем, называется стационарным.
Если система может переходить из одного состояния в другое не в строго определенные, а в произвольные моменты времени, причем множество таких моментов является непрерывным, и выполняется марковское свойство, то такая система называется Марковским процессом с непрерывным временем. Здесь, как и прежде, исследуются вероятности состояний системы, но не за конечное число переходов, а через определенный момент времени.
- матрица вероятностей состояний системы в момент времени 
. 
- вероятность того, что в момент времени система будет находиться в состоянии . Для того, что бы найти , нужно знать характеристики процесса, аналогичные вероятностям перехода для дискретного случая. Для Марковского процесса с непрерывным определяющим параметром является интенсивность перехода 
из состояния в состояние 
.
Интенсивностью перехода системы называется предел
, (2)
где 
- вероятность перехода (
) на интервале времени 
.
Величины при , в общем случае, зависят от расположения интервала на оси времени (т.е. являются функциями времени). Если не меняется с течением времени при , то Марковская цепь называется однородной.
Рассмотрим матрицу интенсивностей переходов для Марковской цепи с .
Элементы матрицы интенсивностей 
удовлетворяют условиям: 
при , 
при 
, 
Матрица вероятностей состояний 
удовлетворяет системе дифференциальных уравнений Колмогорова. В координатной форме:
(3)
- матрица, составленная из производных 
вероятностей в момент времени . Для решения системы (3) необходимо, как обычно, задать начальные условия:
, где 
- заданные числа, и 
.
Распределение вероятностей называется стационарным, если вероятности 
состояний не зависят от времени: 
. Доля стационарного распределения вероятностей 
, тогда можно записать:
, или в координатной форме:
(4)
Кроме стационарных вероятностей состояний иногда полезно знать, как будут вести себя вероятности состояний при неограниченном возрастании времени: 
, вероятности 
называются предельными (или финальными) вероятностями системы.
Состояние в Марковской цепи называется существенным, если выйдя из этого состояния, система может в него вернуться за один или несколько шагов, в противном случае состояние называется несущественным.
Марковская цепь называется регулярной, если из одного существенного состояния можно попасть в любое другое существенное состояние за конечное число шагов [1,2].