Pesquisa com IA: como o ChatGPT, o Google AI e outros o encontram

Como os serviços de IA encontram fontes#

Quando alguém pergunta a um serviço de IA “qual é o melhor eletricista em Luleå?”, o serviço muitas vezes pesquisa na web e resume o que encontra. Os sites que podem ser lidos, são claros e são mencionados por outros têm mais hipóteses de se tornarem uma fonte. Mas cada serviço tem o seu próprio método, e nenhum publica uma regra sobre que fontes são escolhidas exatamente.

As Vistas Gerais de IA e o Modo IA do Google#

O Google diz que se aplicam as mesmas regras da pesquisa normal: uma página indexada que pode ser mostrada com um excerto também pode ser mostrada como ligação nas Vistas Gerais de IA e no Modo IA. Não é preciso nenhum ficheiro especial de IA nem marcação nova [1].

O tráfego das Vistas Gerais de IA é contado no tráfego “Web” normal do Search Console, por isso não pode ser visto em separado [1]. Quem não quiser que o Google use o conteúdo para treinar outros modelos de IA pode usar o Google-Extended, sem que isso afete a Pesquisa Google [2].

ChatGPT, Claude e Perplexity#

Os serviços têm programas diferentes para fins diferentes, e o robots.txt pode controlá-los um a um:

• OpenAI: o OAI-SearchBot obtém páginas para a pesquisa do ChatGPT, o GPTBot recolhe texto para treino e o ChatGPT-User visita uma página quando um utilizador o pede. As alterações no robots.txt para a pesquisa podem demorar cerca de um dia a produzir efeito [3].
• Anthropic (Claude): Claude-SearchBot para resultados de pesquisa, ClaudeBot para treino e Claude-User quando um utilizador pergunta. Respeitam o robots.txt [4].
• Perplexity: PerplexityBot para o índice de pesquisa e Perplexity-User para as perguntas do próprio utilizador [5].
• Microsoft Copilot e Bing: baseiam-se no índice do Bing. O Bing mostra agora um relatório sobre a frequência com que um site é citado em respostas de IA, em pré-visualização e sem cobrir tudo [6].

Verificamos se os programas de pesquisa (os que decidem se pode aparecer nas respostas) podem entrar, e mostramo-lo na análise. Se quiser deixar de fora os programas de treino, isso pode ser feito sem afetar a pesquisa.

É isto que fazemos#

• Dados que as máquinas leem diretamente: nome da empresa, morada e telefone como dados estruturados [7].
• Um ficheiro llms.txt que resume o site. É uma norma proposta [8]. O Google não precisa dele [1], mas não custa nada e pode ajudar outros serviços.
• Respostas claras às perguntas que os clientes fazem de facto, em páginas que podem ser lidas sem iniciar sessão nem JavaScript.

Como medimos a visibilidade em IA, e porque é que o número é uma amostra#

Fazemos aos serviços de IA uma série de perguntas sobre o seu setor e a sua cidade e registamos se a sua empresa é mencionada. O resultado mostra que perguntas, que serviço e que data. As respostas de IA mudam de uma vez para outra e de pessoa para pessoa, por isso o número é uma amostra, não uma grelha de respostas. Sem as perguntas, o serviço e o momento, um número de IA não pode ser comparado, e é por isso que mostramos sempre os três.