Todo dia um vendedor deve decidir o preço que cobrará por sua mercadoria. Ele não pode mudar os preços durante o dia, pode observar o movimento das pessoas repetidamente antes de decidir os preços e começar a vender. Ao observar o movimento, ele pode notar que há muitos ou poucos turistas. Nos dias em que houve excursões de turistas ele observou muitos turistas 91% das vezes em que saiu pra pereber o movimento. Nos dias em que não havia excursões, ele só notou muitos turistas 2% das vezes.
Em dias em que há grupos de turistas estrangeiros, ele pode aumentar o preço dos produtos e ainda assim venderá bem (suponha que a média seja de R$1400 por dia). Em dias em que não há turistas, ele ganhará um pouco menos (R$1000 por dia) se mantiver os preços baixos.
No entanto, se fizer a previsão errada e subir os preços em dia em que não há turistas, suas vendas serão muito fracas e não compensarão o custo de montar sua lojinha ambulante, terminando com prejuízo de R$300. Se baixar os preços em um dia com turistas, os turistas não lhe darão credibilidade, e ele quase não venderá (porque o público local não vem fazer compras nestes períodos, pensando que "quando há turistas, os preços são altos"); pode-se considerar que ele terminará o dia sem prejuízo nem lucro.
Modele este problema como um Processo de Decisão de Markov e use alguma ferramenta computacional para encontrar uma política para ele, e:
Sugestões de ferramentas para encontrar soluções:
LEIA COM CALMA A DOCUMENTAÇÃO DAS FERRAMENTAS!