Mudanças entre as edições de "Retrieval Augmented Generation"
| Linha 4: | Linha 4: | ||
==Ajuste Fino== | ==Ajuste Fino== | ||
* https://www.youtube.com/watch?v=gEp7JLQBTX0 | * https://www.youtube.com/watch?v=gEp7JLQBTX0 | ||
| + | |||
| + | ==Modelo== | ||
| + | Top-p (ou nucleus sampling), top-k e temperatura são métodos de controle sobre a aleatoriedade e a criatividade na geração de texto por modelos de IA, como o GPT. Eles são usados para ajustar a forma como o modelo escolhe a próxima palavra durante a geração de texto. | ||
| + | |||
| + | ===Top-p (Nucleus Sampling)=== | ||
| + | O top-p (ou nucleus sampling) faz com que o modelo escolha a próxima palavra de um subconjunto variável das palavras mais prováveis, até que a soma de suas probabilidades atinja um certo limite, que é o valor de p. | ||
| + | Valor de p: um número entre 0 e 1. | ||
| + | Se p = 0.9, o modelo considera as palavras mais prováveis cuja soma de probabilidades seja 90%. As palavras menos prováveis, além desse limite, são descartadas. | ||
| + | Esse método permite mais flexibilidade do que o top-k, pois o tamanho do subconjunto varia de acordo com as probabilidades. | ||
| + | ===Top-k=== | ||
| + | No top-k, o modelo escolhe a próxima palavra apenas de um subconjunto fixo das k palavras mais prováveis. | ||
| + | Valor de k: um número inteiro. | ||
| + | Se k = 10, o modelo seleciona a próxima palavra entre as 10 palavras mais prováveis, ignorando todas as outras. | ||
| + | Valores maiores de k tendem a gerar respostas mais criativas, enquanto valores menores produzem respostas mais focadas e previsíveis. | ||
| + | ===Temperatura=== | ||
| + | A temperatura controla a aleatoriedade da escolha das palavras ao ajustar a probabilidade de seleção das próximas palavras. | ||
| + | Valor de temperatura: um número maior que 0. | ||
| + | Se a temperatura é baixa (por exemplo, 0.2), o modelo dá preferência a escolhas mais prováveis e cria respostas mais conservadoras e previsíveis. | ||
| + | Se a temperatura é alta (por exemplo, 1.0 ou 1.5), o modelo escolhe palavras de forma mais aleatória, gerando respostas mais criativas e diversificadas. | ||
| + | Temperatura zero tornaria o comportamento do modelo completamente determinístico, sempre escolhendo a palavra com a maior probabilidade. | ||
| + | |||
| + | ==RAG== | ||
| + | ==Fine Tunning== | ||
Edição das 09h08min de 13 de outubro de 2024
Índice
Ajuste Fino
Modelo
Top-p (ou nucleus sampling), top-k e temperatura são métodos de controle sobre a aleatoriedade e a criatividade na geração de texto por modelos de IA, como o GPT. Eles são usados para ajustar a forma como o modelo escolhe a próxima palavra durante a geração de texto.
Top-p (Nucleus Sampling)
O top-p (ou nucleus sampling) faz com que o modelo escolha a próxima palavra de um subconjunto variável das palavras mais prováveis, até que a soma de suas probabilidades atinja um certo limite, que é o valor de p. Valor de p: um número entre 0 e 1. Se p = 0.9, o modelo considera as palavras mais prováveis cuja soma de probabilidades seja 90%. As palavras menos prováveis, além desse limite, são descartadas. Esse método permite mais flexibilidade do que o top-k, pois o tamanho do subconjunto varia de acordo com as probabilidades.
Top-k
No top-k, o modelo escolhe a próxima palavra apenas de um subconjunto fixo das k palavras mais prováveis. Valor de k: um número inteiro. Se k = 10, o modelo seleciona a próxima palavra entre as 10 palavras mais prováveis, ignorando todas as outras. Valores maiores de k tendem a gerar respostas mais criativas, enquanto valores menores produzem respostas mais focadas e previsíveis.
Temperatura
A temperatura controla a aleatoriedade da escolha das palavras ao ajustar a probabilidade de seleção das próximas palavras. Valor de temperatura: um número maior que 0. Se a temperatura é baixa (por exemplo, 0.2), o modelo dá preferência a escolhas mais prováveis e cria respostas mais conservadoras e previsíveis. Se a temperatura é alta (por exemplo, 1.0 ou 1.5), o modelo escolhe palavras de forma mais aleatória, gerando respostas mais criativas e diversificadas. Temperatura zero tornaria o comportamento do modelo completamente determinístico, sempre escolhendo a palavra com a maior probabilidade.
