Metas nya crawler indexerar webben för Meta AI-svar

Meta har fått ett nytt sätt att läsa webben, och företagen är råmaterialet. Metas utvecklardokumentation listar nu Meta-WebIndexer, en crawler som navigerar den öppna webben för att förbättra kvaliteten på Meta AI:s sökresultat och, med Metas egna ord, för att citera och länka till en sajts innehåll i de svaren. För företag med flera platser innebär det att Meta AI, assistenten inuti WhatsApp, Instagram och Facebook, blir en upptäcktsyta som läser deras sajter direkt.

Vad som hände

Meta dokumenterar en uppsättning crawlers för webbansvariga, och den sökfokuserade är Meta-WebIndexer, som skickar user agent-strängen meta-webindexer/1.1. Metas vägledning beskriver den som en crawler som navigerar webben för att förbättra kvaliteten på Meta AI:s sökresultat, och säger att om man tillåter den hjälper det Meta att citera och länka till ert innehåll i Meta AI:s svar. Den finns vid sidan av Meta-ExternalAgent, den bredare crawlern som Meta har kört sedan 2024 för att träna sina modeller och indexera innehåll, och den kan styras via robots.txt på samma sätt.

Den strategiska bakgrunden har rapporterats ett tag. The Information rapporterade först 2024 att Meta byggde ett eget webbindex för att minska sitt beroende av Google och Bing för de aktuella sökresultat som matar Meta AI. Den dokumenterade Meta-WebIndexer-crawlern är den synliga kanten av det arbetet: en dedikerad indexerare vars uttalade uppgift är att göra Meta AI:s svar bättre och att attribuera källorna den bygger på.

Allowing Meta-WebIndexer helps Meta cite and link to your content in Meta AI’s responses.

Meta for Developers, web crawlers documentation

Varför det spelar roll

Det här är samma crawla-och-svara-mönster som format om Googles sökresultat, nu på en uppsättning appar där många företag fortfarande har sin största publik. En AI-assistent läser offentligt webbinnehåll, sammanställer ett svar och kan citera de källor den använt. De företag som oftare blir citerade är de med korrekt, crawlbart och välstrukturerat innehåll. Blockera crawlern, eller lämna tunna och inkonsekventa sidor bakom den, och ett företag blir betydligt mindre synligt eller citerat.

Det gör också en teknisk inställning till ett strategiskt val. En regel i en robots.txt-fil avgör nu om Meta AI kan representera ett företag i sina svar. Lämnat till enskilda sajtägare fattas det beslutet inkonsekvent över ett stort bestånd: vissa domäner kvalificerade för citering, andra tyst uteslutna, utan att någon äger utfallet.

Vad detta betyder för företag med flera platser

Den första uppgiften är styrning. Bestäm centralt om Meta-WebIndexer ska tillåtas över alla egendomar företaget kontrollerar, och tillämpa den regeln överallt i stället för att senare upptäcka att hälften av beståndet är otillgängligt för Meta-WebIndexer medan den andra hälften inte är det. En crawlerpolicy är nu en del av företagets styrning, inte en fotnot för webbansvariga.

Den andra uppgiften är innehållet som crawlern läser. Meta AI kan bara citera innehåll som är korrekt och tillräckligt strukturerat för att lita på, så håll varje lokal företagslistning korrekt och enhetlig över marknader, och hantera närvaron för svarsmotorer snarare än för en enskild sidvisning. Att bygga upp disciplinen att ranka i AI-sökresultat och ett strukturerat närvarolager som Places AI hjälper ett företag att förbli citerbart över de assistenter som nu sätter ihop svar, Meta AI inkluderat. Arbetet som redan gäller Googles AI-ytor har nu en Meta-dimension, och det är samma enhetlighet över hela beståndet som bär ett företag genom båda.

Slutsatsen

Meta-WebIndexer gör Meta AI till ännu en svarsmotor som läser den öppna webben och avgör vilka företag den ska citera. Spaken är ovanligt direkt: en crawlerregel och kvaliteten på innehållet bakom den. De företag som sätter en enda medveten policy för hela beståndet, och håller den underliggande datan korrekt, är de Meta AI kommer att ha något att säga om.