Philip Wang, o desenvolvedor responsável pela engenharia reversa de sistemas AI de código fechado, incluindo o Make-A-Video da Meta, lançou o PaLM + RLHF, um modelo de geração de texto que se comporta de maneira semelhante ao ChatGPT. O sistema combina PaLM, um grande modelo de linguagem do motor de busca da Google, e uma técnica chamada Reinforcement Learning with Human Feedback (RLHF) para criar um sistema que pode realizar praticamente qualquer tarefa fácil para o ChatGPT, incluindo sugestão de código HTML Esta situação inspirou uma reportagem do Tech Crunch.
O sistema PaLM + RLHF não foi treinado e descarregá-lo não garante uma experiência semelhante ao ChatGPT – isso exigiria uma muito dispendiosa compilação de gigabytes de texto a partir da qual o modelo pode aprender e encontrar hardware robusto o suficiente para lidar com a carga de trabalho que esse treino implica.
Tal como o ChatGPT, o PaLM + RLHF é essencialmente uma ferramenta estatística para prever palavras. Quando alimentado com um grande número de exemplos de dados de treino – por exemplo, postagens do Reddit, artigos de notícias e e-books – o PaLM + RLHF aprende a probabilidade de ocorrência de palavras com base em padrões como o contexto semântico do texto.
Sebastian Raschka, um famoso pesquisador de IA, afirma que escalar os fluxos de trabalho de desenvolvimento necessários também pode ser um desafio. “Mesmo que alguém forneça 500 GPUs para treinar esse modelo, ainda é necessário ter uma estrutura de software que possa lidar com isso, o que corresponde a um enorme esforço à data de hoje”.
Resumidamente, o PaLM + RLHF não substituirá o ChatGPT tão cedo – a menos que um empreendedor bem financiado se dê ao trabalho de o treinar e depois disponibilizá-lo publicamente.
Noutro contexto, vários outros esforços para replicar o ChatGPT estão a progredir mais rapidamente, como é o caso de um liderado por um grupo de pesquisa chamado CarperAI. Em parceria com a organização aberta de pesquisa de IA EleutherAI e as startups Scale AI e Hugging Face, a CarperAI planeia lançar o primeiro modelo de IA do tipo ChatGPT, pronto a ser divulgado, treinado com feedback humano.
