El problema de resolver procesos de decisión de Markov de considerables dimensiones con precisión y rapidez ha conducido a un reto computacional. La investigación actual se centra en la búsqueda de técnicas superiores de aceleración. Por ejemplo, las propiedades de convergencia de los métodos de solución actuales dependen, en gran medida, del orden de las operaciones de actualización. Por un lado, algoritmos tales como el de ordenamiento topológico han sido capaces de encontrar buenos ordenamientos, pero sus costes de inicio han sido usualmente altos. Por otro lado, los métodos de ruta más corta tales como el clásico algoritmo de Dijkstra, que está basado en colas de prioridad, han sido aplicados exitosamente a la solución de procesos de decisión de Markov de ruta determinista más corta. En este trabajo se propone un nuevo algoritmo de iteración de valor basado en el algoritmo de Dijkstra para obtener la ruta estocástica más corta en menor tiempo que otros métodos del estado del arte. Los resultados experimentales obtenidos en un problema de estrategias de navegación marítima muestran la factibilidad del enfoque propuesto.