Estes exercícios devem render algum tempo de diversão para vocês. São exercícios de modeladem de problemas como MDPs. Importante: a modelagem deve ser cuidadosa e detalhada, especificando todos os estados, ações, transições, etc.

• [ A leoa preguiçosa; adaptado de (Mangel & Clark, 1988), dado como exercício em (Puterman, 1995) ] Uma leoa adulta precisa de 6kg de comida por dia, e consegue armazenar 30kg de comida (o que significa que pode ficar 6 dias sem comer). A média de biomassa comestível nas zebras é de 164kg, grande o suficiente para vários leões. Se uma fêmea decide caçar em grupo, sabe-se que a probabilidade de sucesso (captura e morte da zebra) por perseguição aumenta com o tamanho do grupo até certo ponto, e cada perseguição consome 0.5kg da leoa para gerar energia. Suponha que as probabilidades de sucesso na caçada sejam dadas por p(1)=0.15, p(2)=0.33, p(3)=0.37, p(4)=0.4, p(5)=0.42 e p(>=6)=0.43, onde p(n) representa a probabilidade de sucesso na captura quando o grupo tem n leoas. Formule este problema como um MDP onde o estado representa as reservas energéticas da leoa, as ações representam a decisão de caçar ou não (e com quantas outras leoas). Presuma que uma caçada por dia será feita, e que o objetivo da leoa é maximizar a probabilidade de sobrevivência por T dias. Presuma também que havendo uma captura as leoas dividem a carne igualmente. Além disso, por mais desagradável que seja, ignore os leões machos e filhotes (nenhuma parcela será dada a eles).
• [ Complemento que teve origem na cabeça de seu professor ] Uma zebra precisa andar periodicamente até um lago para tomar água. Há dois caminhos que ela pode escolher, e em ambos há o risco de ataque por leoas: em um dos caminhos as leoas atacam com mais frequência (70% do tempo), mas em grupos menores (entre 1 e 4); em outro caminho, leoas atacam menos frequentemente (40% do tempo), mas em grupos maiores (entre 3 e 6, com igual probabilidade). Como as leoas não se expõem até o momento da preseguição, as zebras precisam observar o ambiente para tentar descobrir qual o melhor caminho, antes de fazer a escolha. As observações são:
  • Outras zebras voltando por um ou por outro caminho, embora não sejam garantia alguma, são um forte indicativo de que aquele caminho está livre. 80% das vezes em que zebras são avistadas vindo por um caminho, este caminho está livre de leoas;
  • Pegadas de leoa podem indicar que há leoas em um dos caminhos, mas a zebra não pode ter certeza de quando as pegadas foram produzidas. No entanto, ela pode ter uma idéia do tamanho do grupo que deixou as pegadas: 70% das vezes a zebra consegue determinar com exatidão o número de leoas que deixaram as pegadas. Outras 20% das vezes, erra por um o número de leoas. Nas outras 10% das vezes, erra por dois;
  • A zebra sabe que 80% das vezes em que havia leoas em um dos caminhos, elas continuavam lá na vez seguinte.
  Formule este problema como um POMDP, ponto de vista da zebra. O óbvio objetivo dela é chegar com vida ao lago. Ela deve repetir esta decisão N vezes.

Observação: a habilidade da zebra para contar ocorrências de eventos e inferir a presença de leoas não foi verificada; veio da imaginação do autor do exercício

Referências (estão aqui só para porque citei a origem do primeiro exercício; vocês não precisam consultá-las!):

• [ Puterman, 1995 ] Martin Puterman. Markov Decision Processes. Wiley, 1995.
• [ Mangel & Clark, 1988 ] M. mangel & C. W. Clark. Dynamic Modeling in Behavioral Ecology. Princeton University Press, 1988.