Desde a chegada do ChatGPT, tornou-se cada vez mais evidente o potencial das tecnologias baseadas em inteligência artificial e grandes modelos de linguagem. O GPT-4 consolidou-se como o mais popular e completo entre os existentes. No entanto, outras empresas têm-se atrevido a desafiá-lo com os seus próprios modelos. A Anthropic, formada por veteranos da OpenAI, é uma dessas empresas. O seu chatbot, Claude, tem vindo a ser desenvolvido com um maior contexto, desempenho e outras características. A mais recente versão, Claude 2.1, apresenta uma janela de contexto de até 200K tokens.
A janela de contexto refere-se à quantidade de informação que o chatbot pode analisar e gerar. Embora uma janela de contexto mais ampla possa parecer uma vantagem, isso não significa necessariamente que o chatbot seja superior em todos os aspectos. Existem determinados aspectos em que um chatbot se sairá melhor que outro, independentemente da sua janela de contexto. Tudo depende da informação que lhe fornecemos, do número de parâmetros utilizados para o seu treino, e dos algoritmos presentes nos seus respectivos modelos de linguagem.
Na versão 2.1 do Claude, além da janela de contexto de 200K, a Anthropic garante que o seu chatbot terá menos erros do que nas versões anteriores. Isto significa que o chatbot será mais preciso do que o seu modelo actual. Além disso, o Claude 2.1 será compatível com o uso de ferramentas experimentais. Isto permitirá aos utilizadores fornecer informação externa ao modelo para que o Claude acumule e processe dados e, em seguida, tome acções com base nessa informação.
Claude 2.1 (200K Tokens) – Pressure Testing Long Context Recall
— Greg Kamradt (@GregKamradt) November 21, 2023
We all love increasing context lengths – but what's performance like?
Anthropic reached out with early access to Claude 2.1 so I repeated the “needle in a haystack” analysis I did on GPT-4
Here's what I found:… pic.twitter.com/B36KnjtJmE
No entanto, apesar destas novas características, a precisão do Claude 2.1 diminui notavelmente com uma janela de contexto maior. Segundo Greg Kamradt, empreendedor e especialista em IA, a precisão degrada-se consideravelmente a partir dos 90K de contexto. Uma janela de contexto de 200K equivale a quase 470 páginas de documento. Kamradt descobriu que os factos do documento que se situavam no início e no fim eram lembrados e processados com uma precisão de 100%, enquanto que o Claude tinha um melhor desempenho com os factos que se situavam no fim do documento.
Embora ainda seja cedo para tirar conclusões precipitadas, tudo indica que, apesar da capacidade do Claude ser incrivelmente extensa, a sua precisão diminui consideravelmente a partir de determinadas janelas de contexto. No entanto, isto representa um grande avanço evolutivo neste tipo de tecnologias, pois até há apenas alguns meses atrás, falávamos em termos de 19 e 32 janelas de contexto.
No entanto, como Greg Kamradt apontou, a precisão pode ser comprometida quando a janela de contexto é demasiado grande. Isto sugere que ainda há espaço para melhorias e ajustes. Apesar disso, é emocionante ver o progresso que está a ser feito nesta área e estou ansioso para ver o que o futuro nos reserva.
