Bruno César de Oliveira Souza

Formação complementar

Idiomas

Áreas de atuação

Participação em eventos

Produções bibliográficas

• SOUZA, BRUNO ; Aasan, Marius ; PEDRINI, HELIO ; RIVERA, AD'' RAM''EZ . SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering. In: 2023 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), 2023, Paris. 2023 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), 2023. p. 4642.

• SOUZA, B. C. O. ; Aasan, Marius ; PEDRINI, H. ; RIVERA, G. A. R. . SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering. 2023. (Apresentação de Trabalho/Conferência ou palestra).

Projetos de pesquisa

• 2022 - 2023

  SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering, Descrição: O Visual Question Answering (VQA) é um campo de pesquisa multimodelo com o objetivo de responder a perguntas baseada em imagens. Sua atratividade é causada por combinar dois campos que normalmente são individuais como CV e PLN. Para alcançar um alinhamento abrangente e semântico entre os dois campos, alguns trabalhos que focam em vieses nos dados, e outros direcionam à modelos pré treinados em linguagem visual, como o UNITER, ou mesmo módulo neural redes. No entanto, trabalhos recentes aumentaram o alcance da pesquisa usando Scene Graphs (SG) para a tarefa de VQA. O SG fornece uma representação gráfica da imagem, contendo informações sobre os objetos e suas possíveis relações. Essa representação pode ser mais vantajosa do que as características típicas de objeto extraídos, pois carrega informações sobre o relacionamento e permite maior interpretabilidade. Embora, SG esteja intimamente relacionado ao VQA, a pesquisa SG-QA permanece relativamente pouco explorada. Tentativas esporádicas em SG-VQA propõem vários mecanismos de atenção projetados principalmente para grafos totalmente conectados, falhando assim em modelar e capturar as informações estruturais importantes do SG. Trabalhos anteriores propuseram arquiteturas de perguntas de imagem pré-treinadas para uso com grafos de cena e avaliaram várias técnicas de geração de SG para imagens não vistas. No entanto, seus trabalhos são limitados a modelos de linguagem visual pré-treinados baseados em atenção. Esses modelos aprendem por meio de pré-treinamento em larga escala sobre conjuntos de dados de texto e imagem em conjunto e são normalmente usados para extrair uma incorporação contextualizada multimodal para uma determinada imagem e pergunta. Ou seja, trabalhos recentes não utilizam em suas análises modelos que são projetados para serem aplicados diretamente em grafos, como o Graph Neural Network (GNN). Neste trabalho, exploramos o uso de SG para resolver a tarefa de VQA por meio de modelos que tratam de representação baseada em grafos por meio de técnicas de passagem de mensagens como GNN. O GNN foi projetado para realizar inferências em dados descritos por grafos. A intuição é que para entender melhor o papel do uso do SG para melhorar o VQA, é necessário verificar o comportamento dos modelos que são projetados para esse tipo de representação. O estado da arte em SG-VQA é alcançado quando o SG das imagens é obtido manualmente usando o grafo de cena rotulados (GTSG). Este projeto teve como objetivo estender essa versão para um grafo de cena de geração automática da imagem, pois os gráficos de cena anotados são impraticáveis no mundo real. Além disso, pretendemos alavancar a geração guiada por perguntas que pode levar a geração SG a apresentar uma distribuição particular relacionada ao tipo de pergunta fundamentada em uma determinada imagem. Sem o GTSG, propomos aplicar o aprendizado autossupervisionado (SSL) com aprendizado contrastivo como tarefa de pretexto. O SSL pode melhorar a representação por meio do aprendizado de sinais de supervisão a partir de dados não rotulados e o aprendizado contrastivo visa maximizar a concordância de representações entre instâncias gráficas semelhantes, enquanto a concordância entre instâncias gráficas diferentes é minimizada. Portanto, SSL pode melhorar a representação de incorporação de grafos maximizando a informação mútua (MI) entre visualizações aumentadas geradas a partir do mesmo SG enquanto minimiza o MI entre SG diferentes. Assim, ao contrário de trabalhos anteriores, examinamos o comportamento de modelos baseados em GNN com grafos de cena com ruído gerados no contexto da tarefa VQA. Estendemos a abordagem gerada por SG a partir de imagens brutas usando um gerador de grafo de cena pré-treinado que é mais geral e prático. Além disso, pretendemos treinar conjuntamente o modelo de forma SSL para que o modelo aprenda uma melhor representação. , Situação: Concluído; Natureza: Pesquisa. , Alunos envolvidos: Mestrado acadêmico: (1) Doutorado: (1) . , Integrantes: Bruno César de Oliveira Souza - Integrante / Gerberth Adín Ramírez Rivera - Coordenador / Hélio Pedrini - Integrante., Financiador(es): Fundação de Amparo à Pesquisa do Estado de São Paulo - Bolsa.

• 2020 - 2023

  Graph-based for Visual Question Answering, Descrição: O Visual Question Answer (VQA) é uma tarefa que visa responder a uma pergunta do usuário com baseem uma determinada imagem. Normalmente, esta tarefa requer uma combinação de conceitos de VisãoComputacional e Processamento de Linguagem Natural. A maioria dos sistemas VQA existentes mesclamos recursos de imagem e pergunta extraídos para prever uma resposta. No entanto, essa fusão multimodalmostra uma lacuna significativa no entendimento semântico entre a relação da imagem e da questão. Pararealizar uma melhor compreensão holística da cena, propomos a aplicação de uma abordagem baseada emgrafos combinando o recurso de pergunta relacionado à imagem de entrada. O principal objetivo de nossapesquisa é fornecer avanços na tarefa de VQA, utilizando estrutura de representação gráfica que melhora asconexões entre os atributos. Para tanto, é necessário criar arquiteturas para obter uma representação gráficaque codifique o recurso a partir do conteúdo da imagem, da questão da linguagem natural e de suas relações.Então, pretendemos usar uma rede neural de grafos (GNN) que aprenderá a relação da representação gráficaVQA entre uma questão específica baseada na imagem de entrada, a fim de produzir a resposta previstacorreta. , Situação: Concluído; Natureza: Pesquisa. , Alunos envolvidos: Mestrado acadêmico: (1) . , Integrantes: Bruno César de Oliveira Souza - Coordenador / Gerberth Adín Ramírez Rivera - Integrante., Financiador(es): Fundação de Amparo à Pesquisa do Estado de São Paulo - Bolsa.

• 2018 - 2018

  Development of a crawling robot: introduction to Q-learning, computer vision and obstacle avoidance, Descrição: Desenvolvimento de um crawling robot que utilizava uma câmera para identificar seu alvo e realizar seu movimento até o alvo encontrado. Equipado de sensores ultrassónicos o robô evita obstáculos e adaptava seu próximo movimento baseado na detecção do objeto pela câmera e na leitura do sensor.. , Situação: Concluído; Natureza: Pesquisa. , Alunos envolvidos: Graduação: (2) . , Integrantes: Bruno César de Oliveira Souza - Coordenador / Gonzalo Cabodevilla - Integrante.

• 2016 - 2017

  Empresa Júnior, Descrição: Gerente de Projeto da Empresa Junior da FEMEC da UFU. , Situação: Concluído; Natureza: Pesquisa. , Integrantes: Bruno César de Oliveira Souza - Coordenador / Pedro Pio Nishida - Integrante.

• 2015 - 2016

  Estrutura Robótica atuadas por cabos para reabilitação dos movimentos do corpo humano, Situação: Concluído; Natureza: Pesquisa. , Integrantes: Bruno César de Oliveira Souza - Integrante / Rogério Sales Gonçalves - Coordenador., Financiador(es): Conselho Nacional de Desenvolvimento Científico e Tecnológico - Bolsa.

Projetos de desenvolvimento

• 2015 - 2016

  Estruturas robóticas atuadas por cabos para reabilitação/recupareção dos movimentos do corpo humano, Descrição: Esse trabalho tinha como objetivo descrever as atividades realizadas que ajudaram no desenvolvimento da estrutura robótica atuada por cabos para auxiliar na reabilitação dos movimentos do corpo humano. A pesquisa foi desenvolvida no Laboratório de Automação e Robótica (LAR) da Universidade Federal de Uberlândia (UFU).. , Situação: Concluído; Natureza: Desenvolvimento. , Alunos envolvidos: Graduação: (1) / Mestrado acadêmico: (1) . , Integrantes: Bruno César de Oliveira Souza - Integrante / Rogério Sales Gonçalves - Coordenador.

• 2015 - 2016

  Estruturas robóticas atuadas por cabos para reabilitação/recupareção dos movimentos do corpo humano, Descrição: Esse trabalho tinha como objetivo descrever as atividades realizadas que ajudaram no desenvolvimento da estrutura robótica atuada por cabos para auxiliar na reabilitação dos movimentos do corpo humano. A pesquisa foi desenvolvida no Laboratório de Automação e Robótica (LAR) da Universidade Federal de Uberlândia (UFU).. , Situação: Concluído; Natureza: Desenvolvimento. , Alunos envolvidos: Graduação: (1) / Mestrado acadêmico: (1) . , Integrantes: Bruno César de Oliveira Souza - Integrante / Rogério Sales Gonçalves - Coordenador.

• 2015 - 2016

  Estruturas robóticas atuadas por cabos para reabilitação/recupareção dos movimentos do corpo humano, Descrição: Esse trabalho tinha como objetivo descrever as atividades realizadas que ajudaram no desenvolvimento da estrutura robótica atuada por cabos para auxiliar na reabilitação dos movimentos do corpo humano. A pesquisa foi desenvolvida no Laboratório de Automação e Robótica (LAR) da Universidade Federal de Uberlândia (UFU).. , Situação: Concluído; Natureza: Desenvolvimento. , Alunos envolvidos: Graduação: (1) / Mestrado acadêmico: (1) . , Integrantes: Bruno César de Oliveira Souza - Integrante / Rogério Sales Gonçalves - Coordenador.