Desde o seu lançamento em novembro de 2022, o chatGPT conquistou o mundo. Em janeiro de 2023, o mecanismo de perguntas e respostas baseado em IA já havia acumulado mais de 100 milhões de usuários, levando muitos a vê-lo como a próxima revolução nos mecanismos de pesquisa, considerando a integração com o Microsoft Bing que levou a uma reestruturação de requisitos de redação em escolas secundárias e universidades.
Em Mar|23 a IQVIA anunciava estar trabalhando em vários casos de uso usando grandes modelos de linguagem como GPT (Transformador Pré-treinado Generativo). Todos na Indústria Farmacêutica têm ciência do papel estratégico para o qual a IQVIA é contratada, dependendo da aplicação de expertise no domínio, complementada por pesquisas primárias baseadas em hipóteses com especialistas do setor, tomadores de decisão e influenciadores (não limitados a pagadores e ex-pagadores do sistema de saúde, principais líderes de opinião, farmacêuticos). A validação de hipóteses é essencial, mas o processo de síntese e análise dos resultados, especialmente quando o tamanho da amostra é extenso, pode ser complicado.
Ao usar uma série de técnicas de engenharia que provavelmente envolveram projetar e refinar solicitações via prompt, criaram uma nova ferramenta baseada em GPT para ajudar seus times interno a sintetizarem os dados de transcrição que coletam durante a Pesquisa de Mercado Primária.
Implantando GPT em transcrições de entrevistas – avaliando a qualidade
Para obter ainda mais adesão interna para a ferramenta, desejaram que os futuros usuários avaliassem a qualidade por si próprios, de forma cega. Publicando uma pesquisa interna (n = 30), fizeram com que os entrevistados avaliassem quatro resumos. Dois foram gerados pela equipe do projeto, dois foram gerados pelo GPT3.5 (text-davinci-003). Cada resumo difere, no sentido de que, à medida que a lembrança e a resposta humana mudam, o GPT também não emite respostas textuais cada vez que é consultado.
Eles foram avaliados com base nos seguintes critérios:
- Relevância: quão consistente é o resumo
- Fatualidade: se o resumo gerado contém apenas declarações decorrentes do texto fonte
- Coerência: se o texto vai de frase em frase até um corpo coerente de informações sobre um tópico
- Cobertura semântica: quanta informação importante do texto original está incluída no resumo gerado
Resultados Impressionantes
Embora no momento da construção da pesquisa estivessem utilizando estritamente técnicas de engenharia rápida e ainda sem empregarem os métodos de indexação e muito menos ajustes finos (portanto, faltava ao GPT o contexto geral do conteúdo geral do projeto), ele foi capaz de gerar um resumo factual a partir dos dados brutos de entrada. Na verdade, os entrevistados observaram que um dos resumos do GPT era mais coerente do que as versões geradas por humanos e, em geral, avaliaram a qualidade como muito semelhante à do ser humano.
Como o estudo foi cego, os entrevistados foram então solicitados a marcar se o resumo era gerado por humanos ou gerado por GPT. Talvez não seja surpreendente que tenham conseguido identificar que foi gerado pelo modelo simplesmente com base no fato de ser tão articulado, algo que faltava nas versões mais informais geradas por humanos.
O que mais aprendemos?
Claro, a IQVIA mantém-se cautelosamente otimista. Embora a implantação do GPT em transcrições tenha se mostrado benéfica, gerando mais tempo para os consultores de estratégia aplicarem o pensamento crítico, estão cientes de que os resultados do modelo podem ser temperamentais, com perda de nuances e até mesmo 'alucinações' ocasionais, ou seja, quando o modelo produz um resultado aparentemente coerente, sendo factualmente incorreto. Em outras palavras, o GPT não pode ser usado imediatamente nas Ciências da Vida. Para explicar com mais detalhes, perguntaram ao chatGPT:
Embora o GPT tenha mostrado um desempenho impressionante em diversas tarefas linguísticas, ele ainda requer indexação e engenharia imediata por vários motivos.
Primeiro, o GPT gera texto com base apenas no contexto em que foi treinado. Portanto, é crucial fornecer ao GPT um prompt que defina adequadamente o contexto do texto gerado.
Em segundo lugar, o GPT processa texto em pedaços e a indexação é necessária para acessar os pedaços de forma eficiente. A arquitetura do GPT depende de uma sequência de tokens para representar o texto, e a indexação envolve a criação de um mapeamento eficiente entre os tokens e suas posições no texto de entrada.
Finalmente, a indexação e a engenharia imediata podem melhorar a eficiência e a eficácia do GPT para tarefas específicas. Por exemplo, em tarefas de resposta a perguntas, um prompt bem elaborado pode ajudar o GPT a gerar uma resposta concisa e precisa mais rapidamente. Da mesma forma, a indexação pode acelerar o processo de geração de texto, possibilitando a geração de textos mais longos e complexos sem sacrificar o desempenho.
Para onde estão indo?
Inicialmente, implementaram o recurso em uma área menos sensível para teste, e já passaram para a geração bem-sucedida de temas, construindo um recurso de perguntas e respostas com base nas transcrições. O progresso tem sido significativo, mas continuam a manter o ser humano informado para reforçar o modelo e fazer seleções finais sobre os resultados preferidos.
Todos nós na Indústria Farmacêutica sabemos que grandes modelos de linguagem como GPT têm a capacidade de causar impactos incríveis. No entanto, é importante avaliarmos a fiabilidade, a segurança, a confiança e o preconceito destes modelos, se quisermos ter modelos dignos de confiança. Portanto, aguardemos as soluções que virão como resultado dos altos investimentosem aplicações GPT até mesmo em outros casos de uso mais sensíveis, onde a margem de erro seja mínima.
E você, o que acha? Quando estaremos usando essas soluções em nossas empresas?
Referência: https://www.iqvia.com/blogs/2023/03/generative-ai-in-life-sciences-evaluating-llms-gpt-for-summarization-of-primary-market-research
Nenhum comentário:
Postar um comentário
Compartilhe sua opinião e ponto de vista: