Victor Machado Gonzaga

Idiomas

Produções bibliográficas

• GONZAGA, VICTOR MACHADO ; MURRUGARRA-LLERENA, NILS ; MARCACINI, RICARDO . Multimodal intent classification with incomplete modalities using text embedding propagation. In: WebMedia '21: Brazilian Symposium on Multimedia and the Web, 2021, Belo Horizonte Minas Gerais Br. Proceedings of the Brazilian Symposium on Multimedia and the Web. New York: ACM, 2021. p. 217.

• GONZAGA, V. M. ; MARCACINI, R. M. . 30º Simpósio Internacional de Iniciação Científica e Tecnológica da USP (SIICUSP). Classificação de intenção multimodal com modalidades incompletas usando redes heterogêneas. 2022. (Apresentação de Trabalho/Simpósio).

• GONZAGA, V. M. ; MARCACINI, R. M. ; MURRUGARRA-LLERENA, N. . 29º Simpósio Internacional de Iniciação Científica e Tecnológica da USP (SIICUSP). Classificação de intenções multimodal com modalidades incompletas usando propagação de embedding de texto. 2021. (Apresentação de Trabalho/Simpósio).

Projetos de pesquisa

• 2022 - Atual

  Reconhecimento de Emoções com Aprendizado Multimodal usando Textos e Áudios, Descrição: O constante crescimento da produção e disponibilização de vídeos através de plataformas web (e.g sites de notícias, mídia sociais e redes sociais), tem atraído a atenção de diversas empresas e órgãos governamentais, os quais buscam extrair o sentimento geral da população em relação a um determinado assunto. Métodos de extração de sentimentos e emoções em áudios têm sido desenvolvidos focando a análise principalmente através da fala dos interlocutores. Porém, percebe-se que na prática tal análise é naturalmente baseada de forma multimodal, envolvendo informação visual, textual e de áudio. Portanto, suprimir uma modalidade pode fazer com que informações essenciais para uma inferência correta não esteja presente. Em decorrência disso, observa-se um recente crescimento na análise de sentimentos multimodal. A multimodalidade da comunicação consiste na utilização de mais de um canal para expor uma opinião. Essa multimodalidade tem o intuito de realizar uma análise mais robusta, pois apresenta mais recursos para que seja gerada uma interpretação. Neste projeto de iniciação científica serão investigados e avaliados métodos de aprendizado de máquina para fusão de informação das modalidades de texto e de áudio para análise de sentimentos e reconhecimento de emoções. Em especial, serão avaliados métodos estado-da-arte baseados em aprendizado multimodal com desempenho promissor para língua inglesa, porém treinados com bases de dados de textos em português.. , Situação: Em andamento; Natureza: Pesquisa. , Alunos envolvidos: Graduação: (1) / Doutorado: (1) . , Integrantes: Victor Machado Gonzaga - Coordenador / Ricardo Marcondes Marcacini - Integrante / Nils Murrugarra-Llerena - Integrante / Marcelo Isaias de Moraes Junior - Integrante., Financiador(es): Fundação de Apoio à Universidade de São Paulo - Bolsa.

• 2021 - 2022

  Análise de Sentimentos Multimodal a partir de Imagens e Textos em Português, Descrição: Atividades de pesquisa para tratar opiniões, sentimentos e emoções a partir de manifestações linguísticas, escritas ou faladas, têm recebido crescente destaque, tanto na academia quanto na indústria. Um fator relevante para a análise de sentimentos é que a comunicação é naturalmente multimodal, ou seja, expressada por meio de texto, voz e imagens. Assim, a multimodalidade da comunicação consiste na utilização de mais de um canal para expor uma opinião. Essa multimodalidade tem o intuito de realizar uma análise mais precisa e completa, pois apresenta mais recursos para que seja gerada uma interpretação. Neste projeto de iniciação científica foram investigados e avaliados métodos de aprendizado de máquina para fusão de informação das modalidades de texto e de imagem para análise de sentimentos. Em especial, foram avaliados métodos estado-da-arte baseados em aprendizado multimodal para textos e imagens com desempenho promissor para língua inglesa, porém treinados com bases de dados de textos em português.. , Situação: Concluído; Natureza: Pesquisa. , Alunos envolvidos: Graduação: (1) . , Integrantes: Victor Machado Gonzaga - Coordenador / Ricardo Marcondes Marcacini - Integrante / Nils Murrugarra-Llerena - Integrante., Financiador(es): Fundação de Apoio à Universidade de São Paulo - Bolsa.

• 2020 - 2021

  Classificação de Intenção em cenário multimodal, com modalidades incompletas, Descrição: Determinar a intenção do autor em uma postagem de mídia social é uma tarefa multimodal desafiadora e requer a identificação de relações complexas entre imagem e texto na postagem. Por exemplo, a imagem do post pode representar um objeto, pessoa, produto ou empresa, enquanto o texto pode ser uma mensagem irônica sobre o conteúdo da imagem. Da mesma forma, um texto pode ser a manchete de uma notícia, enquanto a imagem representa uma provocação, meme ou sátira sobre a notícia. Abordagens existentes propõem técnicas de classificação de intenção combinando ambas as modalidades. No entanto, algumas postagens podem ter anotações textuais ausentes. Portanto, investigamos uma abordagem baseada em grafos que propaga dados de incorporação de texto disponíveis de postagens multimodais completas para postagens incompletas. Este trabalho apresenta um método de propagação de embeddings de texto, que transfere embeddings de modelos de linguagem neural BERT para postagens somente de imagem (ou seja, postagens com modalidade incompleta) considerando a topologia de um grafo construído a partir de modalidades visuais e textuais disponíveis durante a etapa de treinamento. Ao usar essa abordagem de inferência, nosso método fornece resultados competitivos quando a modalidade textual está disponível em diferentes níveis de completude, mesmo em comparação com métodos de referência que requerem modalidades completas.. , Situação: Concluído; Natureza: Pesquisa. , Alunos envolvidos: Graduação: (1) . , Integrantes: Victor Machado Gonzaga - Coordenador / Ricardo Marcondes Marcacini - Integrante / Nils Murrugarra-Llerena - Integrante., Financiador(es): Conselho Nacional de Desenvolvimento Científico e Tecnológico - Bolsa.

Prêmios