Marcos Carvalho Ferreira

Áreas de atuação

Produções bibliográficas

• FERREIRA, M. C. ; ALVES, Julio Cesar ; PEREIRA, Dilson Lucas . ENTREGA DE ÚLTIMA MILHA SOB INCERTEZA: SIMULAÇÃO E SOLUÇÃO COM APRENDIZADO POR REFORÇO E HEURÍSTICAS. 2025. (Apresentação de Trabalho/Conferência ou palestra).

• FERREIRA, M. C. ; ALVES, Julio Cesar . Resolução de Problemas de Otimização sob Incerteza em Cadeias de Suprimentos através de Técnicas de Aprendizado por Reforço e Otimização Estocástica. 2023. (Apresentação de Trabalho/Conferência ou palestra).

Outras produções

Projetos de pesquisa

• 2022 - 2024

  Resolução de Problemas de Otimização sob Incerteza em Cadeias de Suprimentos através de Técnicas de Aprendizado por Reforço e Otimização Estocástica, Descrição: Neste projeto faremos um levantamento de problemas de otimização sob incerteza que ocorrem no planejamento e operação de cadeias de suprimentos, mais especificamente problemas de tomada de decisão sequencial sob incerteza. A partir deste levantamento, serão selecionados problemas que, potencialmente, possam ser resolvidos com técnicas clássicas e recentes de Aprendizado por Reforço. Tais problemas serão formulados como um Processo de Decisão de Markov e então resolvidos utilizando técnicas de Aprendizado por Reforço e Otimização Estocástica. O objetivo principal é identificar as melhores técnicas a serem aplicadas para cada tipo de problema e, ao longo desse processo, contribuir com a formação dos alunos, com a criação e consolidação de linha de pesquisa em Otimização sob Incerteza na UFLA, e, claro, com as comunidades de pesquisa e praticantes das áreas de Pesquisa Operacional e Aprendizado de Máquina.Um dos problemas investigados foi o Beer Game, utilizado como referência para analisar a aplicação de algoritmos de Aprendizado por Reforço, em especial o Q-Learning, na tomada de decisões sequenciais sob incerteza. O foco foi avaliar como essas técnicas podem reduzir custos operacionais e mitigar o efeito chicote, fenômeno recorrente em cadeias logísticas. O estudo teve início com uma revisão aprofundada sobre os fundamentos do Aprendizado por Reforço, Processos de Decisão de Markov e algoritmos clássicos como Monte Carlo, SARSA e Q-Learning. Em seguida, o Beer Game foi modelado em Python utilizando a biblioteca Gymnasium, possibilitando a integração direta com os algoritmos implementados. Experimentos foram conduzidos variando hiperparâmetros e analisando a evolução da curva de aprendizado ao longo de milhões de episódios. Os resultados mostraram que o agente Q-Learning aprendeu políticas mais eficazes que um agente aleatório, alcançando menores custos médios de operação na cadeia de suprimentos.. , Situação: Concluído; Natureza: Pesquisa. , Integrantes: Marcos Carvalho Ferreira - Integrante / Julio César Alves - Coordenador / Dilson Lucas Pereira - Integrante / Diego Melo Silva - Integrante.