Cadenas de Markov en Tiempo Discreto

Cadenas de Markov en Tiempo Discreto - Page 1
Cadenas de Markov en Tiempo Discreto - Page 2
Cadenas de Markov en Tiempo Discreto - Page 3
Cadenas de Markov en Tiempo Discreto - Page 4
Cadenas de Markov en Tiempo Discreto - Page 5

Esto es sólo una vista previa del documento.

Descargar el documento original para ver más páginas

Descargar

1 de 35


Documentos relacionados


Cadenas de Markov en Tiempo Discreto Transcripciones

CONTENIDOS  
 
 
1.  Procesos Estocásticos y de Markov 
2.  Cadenas de Markov en Tiempo Discreto (CMTD) 
3.  Comportamiento de Transición de las CMTD 
4.  Comportamiento Estacionario de las CMTD 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
1.  Procesos Estocásticos y de Markov 
1.1.  Definición de Proceso Estocástico 
Un fenómeno aleatorio es un fenómeno empírico que obedece a leyes 
probabilísticas en lugar de determinísticas. 
 
Un proceso estocástico es un fenómeno aleatorio que surge en un proceso que se 
desarrolla en el tiempo de una manera controlada por medio de leyes 
probabilísticas. 
 
Así, un proceso estocástico es una familia de variables aleatorias que 
proporcionan una descripción de la evolución de un determinado fenómeno 
físico a través del tiempo. 
estado del proceso en el instante t conjunto de índices del proceso 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
Proceso estocástico Numerable 
Proceso estocástico en tiempo discreto 
Intervalo de la recta real 
Proceso estocástico en tiempo continuo 
Espacio de estados del proceso es el conjunto de todos los valores posibles que puede  
tomar la variable aleatoria 
Tiempo discreto y espacio de 
estados discreto. 
Tiempo discreto y espacio de 
estados continuo. 
Tiempo continuo y espacio de 
estados discreto. 
Tiempo continuo y espacio de 
estados continuo. 
Ejemplo: Cantidad de agua almacenada en un pantano 
cada hora. 
Ejemplo: Jugador con 3 € y en cada jugada puede 
ganar o perder 1 € con probabilidad p y 1-p. Deja de 
jugar cuando tenga 0 o 6 €. 
Ejemplo: Número de ordenadores ocupados. 
Ejemplo: m3 de agua almacenada en un pantano en 
cada instante. 
Clasificación de Procesos Estocásticos: 
1.2.  Clasificación de los Procesos Estocásticos 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
La Teoría de la Probabilidad se ha centrado fundamentalmente en el estudio  
de la independencia y sus consecuencias 
Un Proceso de Markov es un proceso estocástico que verifica 
Interpretación de un Proceso de Markov: 
Futuro Presente 
Pasado Futuro Presente 
Las predicciones del futuro del proceso, una vez conocido el estado actual,  
no pueden mejorar con conocimiento adicional del pasado. 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
Cadena es un proceso estocástico con espacio de estados discreto. 
Cadena en tiempo discreto es un proceso estocástico en tiempo discreto con  
espacio de estados discreto 
Cadena en tiempo continuo un proceso estocástico en tiempo continuo con  
espacio de estados discreto 
2  Definición de Cadena de Markov en Tiempo Discreto 
Un proceso estocástico {Xn, n = 0, 1, 2,…}es una Cadena de Markov en 
Tiempo Discreto (CMTD) si para cada n  y xj, j=0,…,n+1, se verifica 
La probabilidad de transición en un paso del estado xn al xn+1 en el instante n+1 es: 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
Sin pérdida de generalidad y para simplificar la notación, escribiremos la 
probabilidad de transición en un paso del estado i al estado j en el instante n+1 
como 
La CMTD se denomina homogénea si pij(n) no depende de n, es decir, 
En tales casos escribiremos pij en lugar de pij(n). 
La matriz formada por las probabilidades de transición en un paso se denomina 
matriz de transición o matriz de probabilidades de transición y toma la forma 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
P es una matriz cuadrada no negativa cuyas 
filas suman la unidad, es decir, 0 ≤ pij ≤ 1 y 
∑j pij = 1 para cada i ∈ S. Por lo tanto, P es 
una matriz estocástica.  
Gráficamente, una CMTD con espacio de estados finito se puede representar 
mediante un diagrama de transición, es decir, mediante un grafo dirigido finito, 
donde cada nodo representa un estado de la cadena, los arcos representan las 
posibles transiciones entre estados y sobre los arcos se indican las probabilidades 
de transición entre los estados representados por los nodos unidos por cada arco. 
Ejemplo (Sistema de comunicaciones) Consideremos un sistema de 
comunicaciones que transmite dígitos 0 y1. Cada dígito debe pasar por varias fases, 
en cada una de las cuales hay una probabilidad p de que el dígito que entra coincida 
con el que sale. Las fases son independientes entre sí. 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
Ejemplo (Fiabilidad de un sistema) Se sabe que un sistema fallará o no dependiendo 
de si ha fallado o no el día anterior. La probabilidad de que falle un día sabiendo que 
ha fallado el día anterior es de 0.7, pero si no ha fallado el día anterior es de 0.2. 
Ejemplo (Transformando un proceso en una cadena de Markov) Consideremos de 
nuevo el ejemplo de fiabilidad de un sistema en el que ahora suponemos que el 
estado en el que se encuentra el sistema un día depende de lo que ha ocurrido los dos 
días anteriores. Concretamente, supongamos que si falló ayer y falla hoy, fallará 
mañana con probabilidad 0.8; si está fallando hoy pero no ayer, entonces fallará 
mañana con probabilidad 0.6; si falló ayer pero no hoy, entonces fallará mañana con 
probabilidad 0.4; si no ha fallado ni hoy ni ayer, entonces fallará mañana con 
probabilidad 0.1. 
Estados: 0 (falló ayer y hoy), 
1 (falló ayer pero no hoy),  
2 (no falló ayer pero sí hoy), 
3 (no falló ni ayer ni hoy).  
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
La distribución de probabilidad inicial  de X0  es 
Una cadena de Markov queda determinada si se conocen las probabilidades de 
transición, pij, y la distribució de probabilidad inicial, π0. 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
3  Comportamiento de transición 
Comencemos esta sección estudiando los tiempos de permanencia de la cadena 
en cada estado. Supongamos que la cadena está en el estado i. Entonces, 
permanecerá en el estado i en el próximo paso con probabilidad pij y dejará el 
estado i con probabilidad 1-pii. Por lo tanto, la probabilidad de que la cadena 
permanezca en el estado i exactamente m pasos, supuesto que hemos 
comenzado ese estado es piim(1-pii), es decir, el tiempo de permanencia en el 
estado i se distribuye geométricamente. 
Las probabilidades de transición en n pasos son las probabilidades de 
transición del estado i al estado j en n pasos y se denotan como 
Por lo tanto, 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
Ecuaciones de Chapman-Kolmogorov: 
Si denotamos con P(n) la matriz de transición en n pasos, lo que nos están 
diciendo las ecuaciones de Chapman-Kolmogorov es que  
P(n+m) = P(n) P(m). 
Por lo tanto, P(2) = P(1) P(1) = PP 
P(3) = P(2) P(1) = P3 
… 
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
Una vez conocidas las probabilidades de transición en n pasos calculemos la 
distribución marginal del paso n-ésimo 
Dentemos la distribución de probabilidad en n pasos como: 
Entonces  ! n = ! 0Pn
Tema 1 Cadenas de Markov en Tiempo Discreto                  Investigación Operativa 
Ejemplo (Continuación del ejemplo de Fiabilidad de un sistema)  
 
1.  ¿Cuál es la probabilidad de que el sistema falle dentro de cuatro días 
sabiendo que hoy no ha fallado? 
2.  ¿Cuál es la probabilidad de que el sistema falle el cuarto día sabiendo que 
inicialmente la probabilidad de fallar es de 0.4 y la de no fallar es de 0.6? 

© 2016 - 2017 Docmia. Todos los derechos reservados.