Revisão Sistemática. Profa. Fátima L. S. Nunes. Semana do Livro 2018 EACH - USP. Profa. Fátima Nunes

Transcrição

1 Revisão Sistemática Profa. Fátima L. S. Nunes Semana do Livro 2018 EACH - USP

2 Como elaborar um projeto? Roteiro 1) Escolha do tema 2) Delimitação do tema (objetivos) 3) Justificativa da escolha + motivação 4) Revisão da literatura especializada 5) Formulação do problema 6) Amostragem 7) Definição dos Instrumentos 8) Procedimentos 9) Análise 10) Discussão dos resultados 11) Conclusão 12) Referências bibliográficas 13) Anexos Introdução Fundamentação Teórica Proposta Q U A L I F I C A Ç Ã O

3 Como elaborar um projeto? Roteiro 1) Escolha do tema 2) Delimitação do tema (objetivos) 3) Justificativa da escolha + motivação 4) Revisão da literatura especializada 5) Formulação do problema 6) Amostragem 7) Definição dos Instrumentos 8) Procedimentos 9) Análise 10) Discussão dos resultados 11) Conclusão 12) Referências bibliográficas 13) Anexos Introdução Fundamentação Teórica Proposta Materiais e Métodos Resultados e Discussões Finalização Q U A L I D F C I A S Ç S E Ã O R T A Ç Ã O / T E S E

4 Roteiro 1) Escolha do tema 2) Delimitação do tema (objetivos) 3) Justificativa da escolha + motivação 4) Revisão da literatura especializada 5) Formulação do problema 6) Amostragem 7) Definição dos Instrumentos 8) Procedimentos 9) Análise 10) Discussão dos resultados 11) Conclusão 12) Referências bibliográficas 13) Anexos Introdução Fundamentação Teórica Proposta

5 Questões para quem quer ser pesquisador Como você garante que sua pesquisa é inédita?

6 Questões para quem quer ser pesquisador Como você garante que sua pesquisa é inédita? Você tem certeza sobre sua contribuição?

7 Questões para quem quer ser pesquisador Como você garante que sua pesquisa é inédita? Você tem certeza sobre sua contribuição? E se tiver um chato na banca?

8 Levantamento bibliográfico PARA QUÊ?

9 Levantamento bibliográfico Para quê? auxiliar na formulação do problema encontrar respostas ao problemas formulado

10 Levantamento bibliográfico O que preciso saber?

11 Levantamento bibliográfico Onde estão os materiais de interesse? Como estão organizados? Qual a melhor forma de utilização?

12 Onde procurar? Livros, teses, dissertações Periódicos científicos Conferências Sites específicos da Internet

13 Método para revisão? Como fazer revisão com um método?

14 Método para revisão? Existe um método para fazer a revisão bibliográfica? Revisão Sistemática

15 Antes de definir Revisão Sistemática: Estudos primários: pesquisas originais Estudos secundários: outras RS

16 Antes de definir Revisão Sistemática: Livros, teses, dissertações Periódicos científicos Conferências Sites específicos da Internet

17 Antes de definir Revisão Sistemática: Livros, teses, dissertações Periódicos científicos Conferências Sites específicos da Internet

18 Meio de identificar, avaliar e interpretar toda pesquisa relevante para um assunto em particular.

19 Metodologia de revisão rigorosa e confiável. Pode ser conferida, auditada, continuada.

20 Possibilita:. reprodução da experiência. atualização. aproveitamento da pesquisa pelo grupo...

21 Motivos para fazer revisão sistemática: Resumir evidências existentes: tecnologia, benefícios, limitações, métodos. Identificar gaps no estado da arte Definir novas atividades de pesquisa.

22 Vantagens: Resultados consistentes Evidências mais confiáveis garantia de maior cobertura do assunto Reprodução: documentação das fases Resultados podem ser PUBLICADOS

23 O processo

24 Identificação da necessidade da revisão Desenvolvimento de um protocolo de revisão dos dados

25 Identificação da necessidade da revisão Desenvolvimento de um protocolo de revisão Seleção de estudos Avaliação da qualidade dos estudos dos dados

26 Identificação da necessidade da revisão Desenvolvimento de um protocolo de revisão Seleção de estudos Avaliação da qualidade dos estudos dos dados Extração de dados Agrupamento Escrita do documento final

27 Qual o objetivo da revisão? Quais fontes serão pesquisadas? Há restrições? (Análise exploratória) Critérios de inclusão e exclusão Dados a serem extraídos dos estudos primários? Como dados serão sintetizados?

28 Protocolo de revisão: Especifica o método Objetivo da revisão Questões a serem respondidas Estratégia que será usada: palavraschave, locais de busca, delimitação do escopo Critérios de seleção de estudo e procedimentos Critérios de qualidade dos estudos Estratégia de seleção de dados. Definição da síntese extraídos.

29 Exemplo de formulário para protocolo (Biolchini et al., 2005)

30

31 Exemplo de protocolo preenchido dos dados

32 Antes de começar a condução: Revisão e confirmação do protocolo

33 Revisão Bibliográfica Sistemática A busca... Os cuidados... A seleção... Avaliação da qualidade...

35 Revisão Bibliográfica Sistemática A busca pelos estudos primários Identificar revisões sistemáticas já existentes Avaliar o volume de estudos potencialmente relevantes Triagens usando combinações de palavraschave derivadas das questões formuladas Rever resultados da pesquisa Consultas com especialistas da área Fontes e palavras-chaves: análise exploratória

37 Os cuidados Preconceitos de publicações resultados positivos são melhores que negativos Gerenciamento da bibliografia e obtenção de documentos Aplicativos: Endnote, Reference Manager, planilhas eletrônicas, Zotero Documentação da busca um formulário para cada busca em cada base de dados

39 A seleção efetiva dos estudos Critérios de seleção: protocolo E se precisar mudar? Protocolo é um planejamento passível de alteração

40 A seleção efetiva dos estudos Como decidir se inclui e exclui? Título Abtract Suficiente para excluir vários Obter cópia dos documentos. incluir ou excluir após avaliar texto completo. manter uma lista dos excluídos, com motivos.

41 A seleção efetiva dos estudos Confiabilidade das decisões de inclusão Deve haver unanimidade entre pesquisadores do grupo. Senão, discutir os motivos.

43 Avaliação da qualidade dos estudos Critérios definidos no protocolo Fornece critérios de inclusão e exclusão mais detalhados Favorece análise quantitativa Dirigir a interpretação do material encontrado Tecer recomendações para pesquisas adicionais

44 Avaliação qualidade dos estudos Exemplo: Periódico/conferência: [1 0,5] Qualis/JCR/h-index: [0-1] Completo/curto/resumo: [0 0,5 1] Presença de gráficos: [0-1] Metodologia clara : [0-1] Total possível: 5 pontos Exclusão de artigos < 2 pontos

45 Exemplo de formulário para condução (Biolchini et al., 2005)

46

47

48 Exemplo de formulário de condução preenchido

49 A extração... O agrupamento... O planejamento do relatório/artigo... A escrita do relatório/artigo

51 A extração Posso excluir estudos nesta fase?

52 A extração Posso excluir estudos nesta fase? Sim! Sempre! A revisão é sua!!!!

53 A extração O que extrair: protocolo Atributos importantes para a pesquisa Exemplos: nome do método, formas de avaliação, métricas usadas Formulário de extração de dados: todos os dados necessários para referência um para cada estudo incluído Eliminar múltiplas publicações dos mesmos dados

54 Exemplo de formulário para extração de dados (Biolchini et al., 2005)

55

57 O agrupamento Como interpretar os dados extraídos? Como tecer uma visão geral? Agrupamento que faça sentido Exemplo: por tipo de método/técnica por área de aplicação

59 O planejamento do relatório/artigo Quais dados relacionar? Ex: quantidade de técnicas/ano Que gráficos? Mais interessantes são aqueles que relacionam dados Que tabelas? Ex: porcentagem de cada tipo de dispositivos de interação

60 O planejamento do relatório/artigo Que resultados apresentar? Qual é o foco do relatório? O que ainda não foi dito sobre o assunto? O que discutir? Quais são as tendências? Quais são os desafios? Quais são as oportunidades de pesquisa?

62 A escrita do relatório/artigo Usa-se o planejamento anterior Qual a contribuição deste artigo? Já existem outras revisões? Qual o diferencial? Qual a motivação?

63 Consulte e estude outros artigos de RS

64 O artigo Introdução Materiais e métodos Resultados Discussões Conclusões

65 O artigo Introdução Metodologia: o processo de RS Diagramas são bem vindos! Resultados: uma ou várias seções Divisão: agrupamento da fase anterior Discussões: parte mais importante Mostra sua contribuição Tendências, desafios Pontos inexplorados, oportunidades de pesquisa Conclusões Lições aprendidas com a RS

66 Para finalizar...

67 Para finalizar... É trabalhoso... É demorado...

68 Não demora mais que a tradicional se usar ferramentas adequadas! Resultados são muito melhores!

69

70 Referências Bibliográficas Kitchenham, B. A.; Dyba, T.; Jørgensen, M. (2004). Evidence-based Software Engineering, Proceedings of the 26th International Conference on Software Engineering (ICSE 04), Scotland. Biolchini, J., Mian, P. G., Natali, A. C. C., and Travassos, G. H. (2005). Systematic review in software engineering. Technical report, RT ES 679/05 System Engineering and Computer Science Dept., COOPE/UFRJ. Mafra, S.N., Travassos, G. H. (2006). Estudos primários e secundários apoiando a busca por evidência em Engenharia de Software. Relatório Técnico, RT-ES 687/06, Travassos, G. H.

71

72 Revisão Sistemática Fátima L. S. Nunes Profa