OpenAI Código aberto PaperBench, reimaginar avaliação de agentes de IA de topo

Jin10 dados de 3 de abril, hoje à 1 da manhã, a OpenAI lançou um novo benchmark de avaliação de agentes de IA - PaperBench. Este benchmark avalia principalmente as capacidades de busca, integração e execução dos agentes, sendo necessário reproduzir os melhores artigos da Conferência Internacional de Aprendizado de Máquina de 2024, incluindo a compreensão do conteúdo dos artigos, a codificação e a execução de experimentos. De acordo com os dados de teste divulgados pela OpenAI, atualmente os agentes criados por grandes modelos conhecidos ainda não conseguem superar doutores em aprendizado de máquina de alto nível. No entanto, são muito úteis na aprendizagem assistida e na compreensão de conteúdos de pesquisa.