Ferramental para Ensino e Aprendizado de Análise Eficácia de Sistemas de Recuperação da Informação

Resumo

Dadas as necessidades dos usuários e a grande quantidade de informação
disponível, uma enorme quantidade de métodos tem sido proposta com o objetivo de
gerar resultados cada vez melhores em diversas atividades, tais como recuperação,
classificação e recomendação de informação. Neste contexto, um fator de grande
importância são as métricas de avaliação dos métodos e o modo como são comparadas
as suas eficácias. (Ferri et. al. 2009; Yilmaz & Robertson, 2010). Assim, a correta
avaliação dos resultados e a comparação da qualidade de diferentes sistemas têm sido
áreas que atraem a atenção da comunidade científica. Em recuperação da informação
(RI), este processo normalmente baseiase
em: (i) construção de bases de dados; (ii)
definição de tarefas a serem realizadas sobre esta base; (ii) execução de tarefas seguindo
diferentes métodos; (iii) avaliação dos resultados usando as métricas escolhidas; e por
fim, (iv) o comparativo dos métodos.
Atualmente, para efetuar o comparativo de sistemas usando métricas de eficácia,
pesquisadores necessitam utilizar um conjunto de ferramentas para mensurar eficácia,
realizar análise estatística destes valores e construir modelos visuais para apresentação
destes dados. Uma outra grande dificuldade está relacionada à visualização dos
resultados da análise de eficácia que, em geral, demanda a construção manual de
modelos comparativos.
Este trabalho foi realizado com o intuito de facilitar a análise, compreensão e
comparação dos resultados de um sistema, utilizando modelos onde o usuário não
precisa se preocupar com os parâmetros utilizados na avaliação. Também foi
desenvolvido uma nova forma de análise e visualização dos resultados.