Retrieval Augmented Generation
Índice
Ajuste Fino
Modelo
Top-p (ou nucleus sampling), top-k e temperatura são métodos de controle sobre a aleatoriedade e a criatividade na geração de texto por modelos de IA, como o GPT. Eles são usados para ajustar a forma como o modelo escolhe a próxima palavra durante a geração de texto.
Top-p (Nucleus Sampling)
O top-p (ou nucleus sampling) faz com que o modelo escolha a próxima palavra de um subconjunto variável das palavras mais prováveis, até que a soma de suas probabilidades atinja um certo limite, que é o valor de p. Valor de p: um número entre 0 e 1. Se p = 0.9, o modelo considera as palavras mais prováveis cuja soma de probabilidades seja 90%. As palavras menos prováveis, além desse limite, são descartadas. Esse método permite mais flexibilidade do que o top-k, pois o tamanho do subconjunto varia de acordo com as probabilidades.
Top-k
No top-k, o modelo escolhe a próxima palavra apenas de um subconjunto fixo das k palavras mais prováveis. Valor de k: um número inteiro. Se k = 10, o modelo seleciona a próxima palavra entre as 10 palavras mais prováveis, ignorando todas as outras. Valores maiores de k tendem a gerar respostas mais criativas, enquanto valores menores produzem respostas mais focadas e previsíveis.
Temperatura
A temperatura controla a aleatoriedade da escolha das palavras ao ajustar a probabilidade de seleção das próximas palavras. Valor de temperatura: um número maior que 0. Se a temperatura é baixa (por exemplo, 0.2), o modelo dá preferência a escolhas mais prováveis e cria respostas mais conservadoras e previsíveis. Se a temperatura é alta (por exemplo, 1.0 ou 1.5), o modelo escolhe palavras de forma mais aleatória, gerando respostas mais criativas e diversificadas. Temperatura zero tornaria o comportamento do modelo completamente determinístico, sempre escolhendo a palavra com a maior probabilidade.
