CobbleDB: Ponovna izgradnja pohrane AI pretraživanja za manju latenciju i trošak
Odvojena arhitektura s odvojenim trajnim stanjem, skupnim ažuriranjima i dohvaćanjem u vrijeme upita.
AI-nativno pretraživanje nameće različite zahtjeve o tome kako web sadržaj treba biti obrađen, pohranjen i poslužen. Kako bismo zadovoljili te zahtjeve u velikom obimu, iznova gradimo cijeli stog od nule kako bismo poboljšali performanse i smanjili troškove.
Izgradili smo vlastitu infrastrukturu za indeksiranje, rangiranje i dohvaćanje (crawling), modele ugrađivanja i mašine za zaključivanje kako bismo omogućili učinkovitu obradu i brzo posluživanje. Sada proširujemo taj pristup na pohranu, vezivno tkivo u koje obrada piše i iz kojega posluživanje čita.
Upravljane baze podataka poput DynamoDB-a pružale su pouzdanu pohranu, ali imali smo ograničenu kontrolu nad načinom na koji su podaci pohranjeni i kako su čitanja posluživana, a cijene temeljene na korištenju rasle su s veličinom našeg indeksa i volumenom upita. Zasebno, naš prethodni cjevovod spojio je obradu dokumenata izravno s bazom podataka za posluživanje, otežavajući upravljanje ažuriranjima neovisno o čitanjima uživo.
Uz pomoć novog internog roja agenata za kodiranje, ponovno smo izgradili ovaj sloj oko CobbleDB-a, vruće pohrane ključ-vrijednost, podržane s Pillarom za trajno stanje dokumenta i objavljivanje, te Lorryjem za skupna ažuriranja. Redizajn odvaža obradu dokumenata od unosa u vruću pohranu i omogućuje nam prilagodbu posluživanja našem radnom opterećenju. Produkcijska mjerenja prije i poslije pokazuju otprilike 5× manju latenciju skupnog čitanja, a naš interni model troškova procjenjuje najmanje 20% uštede u odnosu na DynamoDB.
Infrastruktura pohrane za AI-nativno pretraživanje
Klasični stog za pretraživanje izgrađen je za ljudskog čitatelja, a ne za jezični model. Ta razlika mijenja granularnost na kojoj sustav treba pripremiti, pohraniti i poslužiti web sadržaj.
Kako bi se sirovi HTML pretvorio u sadržaj spreman za model, naš cjevovod obrade čisti svaku stranicu, dijeli je na semantički koherentne ulomke, izračunava njihova ugrađivanja i pohranjuje ulomke i ugrađivanja zajedno u bazu podataka. U vrijeme upita, cjevovod posluživanja odabire tekst koji je najrelevantniji za upit i prosljeđuje ga modelu.
Dva različita tijeka rada
Sloj pohrane stoga mora podržavati dva tijeka rada s različitim zahtjevima: unos ažuriranja iz cjevovoda obrade i posluživanje čitanja niske latencije.
Na strani pisanja, nove stranice pristižu kontinuirano, postojeće stranice se mijenjaju, a promjene u metodama dijeljenja na komade ili modelima ugrađivanja mogu zahtijevati ponovnu obradu velikih dijelova korpusa. Sloj pohrane mora ugraditi ova ažuriranja u trajno stanje dokumenta, pratiti trenutne verzije, objaviti prave reprezentacije u nizvodne sustave i podržati velike popune unazad bez ponavljanja cijelog cjevovoda od sirovog dohvaćanja.
Nuprotiv, čitanja u vrijeme upita traže serije ključeva stranica i dohvaćaju odgovarajući tekst ulomaka i ugrađivanja za rangiranje i odabir ulomaka. Ta čitanja nalaze se na putu do konačnog odgovora, stoga moraju biti dovršena brzo.
Ova radna opterećenja zahtijevaju različite dizajne. Obrada ima koristi od trajnih redova čekanja i mogućnosti učinkovite isporuke ažuriranja, ponovnog pokušaja u slučaju kvara i ažuriranja postojećih zapisa u velikom obimu. Posluživanje ima koristi od unaprijed izračunatih zapisa, toplih predmemorija i brzih skupnih čitanja s minimalnim poslom u vrijeme upita. Usko spajanje između njih može uzrokovati da rad oporavka i velika ažuriranja konkuriraju čitanjima osjetljivim na latenciju.
Gdje upravljana baza podataka zakazuje
DynamoDB nam je omogućio visoko dostupnu pohranu bez tereta upravljanja distribuiranom bazom podataka. Namjenska tablica pripremljenih stranica sadržavala je ulomke i ugrađivanja za čitanje u vrijeme upita, dok su potpuni sadržaj stranice i metapodaci bili pohranjeni odvojeno. Međutim, kako je naše radno opterećenje raslo, tri su ograničenja postala važna.
Prvo, cijene temeljene na korištenju naplaćuju svaki pročitani ili zapisani bajt. Jedan zahtjev Search API-ja sadrži 100-120 ključeva koji odgovaraju stranicama koje trebamo dohvatiti. Proces dohvaćanja podataka dijeli zahtjev u manje serije od 10-20 ključeva stranica s prosječnom veličinom stavke od oko 50 KB. Višekratno čitanje tih zapisa trošilo je značajan kapacitet, dok su kontinuirana indeksiranja i promjene modela dijeljenja na komade ili ugrađivanja generirali više pisanja. Ekonomika je također ovisila o veličini i učestalosti zapisa, a ne samo o broju API poziva.
Drugo, upravljanoj usluzi nedostaje fleksibilnost koja nam je potrebna za podešavanje performansi. Operacija koja nam je trebala bila je uska: s obzirom na seriju identifikatora stranica, brzo vratite njihov pripremljeni sadržaj. Željeli smo kontrolu nad time koji stroj drži particiju, koliko je memorije posvećeno njegovoj predmemoriji i koja replika obrađuje zahtjev. Te kontrole su važne jer čitanje izvan predmemorije, skok između zona ili spora replika mogu odgoditi cijelu seriju. DynamoDB upravlja vlastitom pohranom i ponašanjem replika iza API-ja. Mogli smo konfigurirati uslugu, ali nismo mogli prilagoditi njeno interno postavljanje, predmemorije mehanizma pohrane ili politiku odabira replika prema našem radnom opterećenju.
Treće, obrada je bila izravno povezana sa zapisivanjem u vruću pohranu. Naš prethodni cjevovod obrade pisao je svaku pripremljenu stranicu izravno u DynamoDB. Veliki posao ponovne obrade stoga je postao val pojedinačnih ažuriranja vruće pohrane, a obrada se morala prilagoditi ograničenjima propusnosti vruće pohrane i ponašanju ponovnog pokušaja. Nismo mogli pokrenuti MapReduce nad cijelom bazom podataka u 1-2 dana kako bismo isprobali novu metodu dijeljenja na komade (chunking), promijenili naš model ugrađivanja ili dodali novo polje. Nije postojao neovisni tok spremljenih ažuriranja stranica koji bi zasebna usluga mogla grupirati i isporučiti u vruću pohranu vlastitim tempom.
Rješavanje ovih ograničenja zahtijevalo je više od puke zamjene baze podataka. Morali smo odvojiti trajno stanje dokumenta i isporuku ažuriranja od pohrane za vrijeme upita, a zatim optimizirati vruću pohranu specifično za brza skupna čitanja.
Odvojite stanje dokumenta, isporuku ažuriranja i posluživanje
Nova arhitektura dodjeljuje svaku odgovornost drugoj komponenti. Pillar održava trajno stanje dokumenta i odlučuje što će objaviti. Lorry pretvara ta izvoženja u particionirane serije. CobbleDB unosi serije i poslužuje pripremljene zapise prema ključu stranice.
CobbleDB: prilagodljiv put čitanja
CobbleDB je naša vruća pohrana optimizirana za posluživanje pripremljenih zapisa u vrijeme upita. To je distribuirana pohrana ključ-vrijednost: ključevi su identifikatori stranica (hashirani URL-ovi), a vrijednosti su obrađena reprezentacija stranice (njihovi unaprijed razdijeljeni ulomci i vektorska ugrađivanja po ulomku).
Važna promjena je naša kontrola nad konfiguracijom pohrane.
Podaci su particionirani i raspodijeljeni po podatkovnim čvorovima. Ovaj distribuirani format osigurava da baza podataka može horizontalno skalirati kako bi primila ogroman korpus obrađenih stranica. Svaka particija ima tri replike na tri različita čvora; ako jedna kopija postane nedostupna, ostale mogu nastaviti posluživati čitanja.
Svakom podatkovnom čvoru dodijeljen je podskup particija. Čvor pohranjuje svoje podatke koristeći RocksDB, open-source ugrađeni mehanizam za pohranu ključ-vrijednost koji je vrlo pogodan za radna opterećenja s puno čitanja potaknuta skupnim unosom.
Predmemorirani podaci mogu se posluživati iz memorije, dok čitanja izvan predmemorije koriste lokalnu NVMe pohranu. To nam daje izravan način podešavanja ravnoteže između memorije i diska za uočeno radno opterećenje, umjesto prihvaćanja unutarnje politike predmemorije upravljane usluge.
Besstatni (bezdržavni) usmjerivač upita pretvara ključeve u hash vrijednosti za particije i paralelno usmjerava zahtjeve prema čvorovima. Arhitektura također uključuje uslugu metapodataka podržanu s PostgreSQL-om i trajnu objektetsku pohranu.
Ovaj dizajn podržava uzorke čitanja koje naše radno opterećenje zahtijeva. Nakon što upit prođe kroz pronalaženje i rangiranje kako bi se dobio skup kandidata relevantnih stranica, vruća pohrana se skupno ispituje za sadržaj tih stranica. Ovi zahtjevi za čitanje stižu do usmjerivača i usmjeravaju se na odgovarajući podatkovni čvor. Usmerivač daje prioritet slanju zahtjeva čvoru u istoj zoni dostupnosti kako bi se smanjila latencija između zona, ako je moguće. Svaki podatkovni čvor može dohvatiti sadržaj stranice pomoću MultiGet-a, API-ja za skupno čitanje RocksDB-a dizajniranog za dohvaćanje više ključeva istovremeno uz nisku latenciju. Ako čvor sporo odgovara, sustav također može upitati drugu repliku particije na različitom čvoru, čime se poboljšava repna latencija.
Također možemo izbjeći implementaciju uobičajenih značajki koje naš tijek rada ne zahtijeva. Na primjer, većina baza podataka nudi jamstva konzistencije i podršku za transakcije, ali naša vruća pohrana ne zahtijeva transakcije ni sinkronizirane replike. Prihvatljivo je da postoji kratak jaz između trenutka kada je dokument zapišan i kada je dostupan za čitanje, a u redu je i da jedna replika unosi podatke brže od druge. Izostavljanje značajki koje nam nisu potrebne smanjuje opterećenje i troškove našeg sustava.
Pillar i Lorry: put trajne pohrane zapisa
Poseban sloj pohrane prati sve što indeksiramo i obrađujemo, spajajući ažuriranja u verzionirano stanje dokumenta i objavljujući potrebne reprezentacije u CobbleDB i indeks pretraživanja. Za tu smo svrhu izgradili Pillar, naš sloj za stanje dokumenata i objavljivanje.
Pillar je podržan s YTsaurus. On pohranjuje komponente stranice (kao što su metapodaci, komadi i ugrađivanja) u odvojenim obiteljima tablica YTsaurusa. Također prati verzije komada i ugrađivanja, omogućujući višestrukim reprezentacijama suživot bez prepisivanja jednih drugima kako bi se temeljni modeli mogli mijenjati. Budući da Pillar i YTsaurus koriste jeftinu HDD pohranu, možemo pohraniti znatno više dokumenata nego što smo prethodno pohranjivali u DynamoDB.
Pillar prati podskupove, odnosno grupe stranica definirane pravilima, kao što su svježe stranice ili stranice visoke vrijednosti. Pripadnost podskupu određuje koja ažuriranja treba proslijediti nizvodnim komponentama poput CobbleDB-a. CobbleDB koristi skuplju NVMe pohranu, stoga izvozimo samo one dokumente koje zapravo želimo koristiti u rezultatima pretraživanja. Kada se sadržaj stranice ažurira, ili ako se doda ili ukloni iz podskupa, Pillar je odgovoran za stavljanje u red čekanja odgovarajućeg posla izvoza.
Atomske YTsaurus transakcije obuhvaćaju stanje, namjere izvoza i konzumirani unos kako bi se osigurala točnost. Da bi transakcija uspješno završila, sustav mora ažurirati trajno stanje, označiti unos obračunatim i staviti u red čekanja sva potrebna izvoženja; ako se transakcija prekine, ni na jednom sloju se ne vrši nikakva promjena.
CobbleDB očekuje da se ažuriranja grupiraju prema particiji. Izvozi Pillara pretvaraju se u ovaj format putem bes状态ne (bezdržavne) usluge koju zovemo Lorry. Njezin je jedini zadatak čitati zapise izvoza iz trajnog reda čekanja usklađenog s particijama, akumulirati ih u datoteke serija po particijama i predati ih CobbleDB-u.
Između Lorryja i Cobblea, dodatni protokol odvaža ravninu podataka (S3) od upravljačke ravnine. Lorry piše seriju u S3 pod jedinstvenim identifikatorom i registrira seriju unutar Cobblea. Replike particija Cobblea neovisno upituju API ravnine podataka ili upravljačke ravnine za sljedeću S3 seriju za unos i asinkrono primjenjuju ažuriranja serija kronološkim redoslijedom. To znači da spori ili oporavljajući čvor može sustići zaostatak vlastitim tempom, umjesto da usporava ostatak sustava.
Novi put odvaja neposrednu transakciju obrade od unosa u vruću pohranu i pruža put koji se može ponovno reproducirati za inkrementalna ažuriranja i masovne obnove. Ova podjela rada osigurava da ažuriranja trajnog stanja dokumenta ne ometaju latenciju puta čitanja.
Validacija
5x brže
Nakon migracije vruće pohrane, medijan latencije skupnog čitanja pao je s 31,4 ms na 5,60 ms. P90 je pao s 56,7 ms na 9,77 ms, a p99 s 123 ms na 24,2 ms. Omlazi se kreću od 5,08× do 5,80×, uz poboljšanja u tipičnim zahtjevima i repu.
Ovi brojevi su izvedeni iz skupnih čitanja, pri čemu svaki upit traži otprilike 10-15 ključeva. Prosječna veličina stavke u payloadu je 50KB. Oba sustava su ispitivana s oko 200k rps, iako smo također pokrenuli testove opterećenja do 500k rps bez degradacije.
Kako bi se izolirao doprinos CobbleDB-a, svi ostali aspekti postavljanja držani su konstantnima. Međutim, ovo ostaje opservacijska usporedba prije i poslije; sustavi su posluživali promet uživo iz produkcije u različito vrijeme, umjesto istih zahtjeva u kontroliranim uvjetima. Stoga smo izmjerili i performanse oba sustava na sintetičkom benchmarku. Kako bismo aproksimirali zahtjeve viđene u produkciji, uputili smo upite oba sustava sa serijama od 10-15 ključeva i vrijednostima u rasponu od 100B do 100 KiB.
DynamoDB se bori u ovom kontekstu jer se njegov upravljani put čitanja ne može prilagoditi za skupna čitanja ove veličine. Suprotno tome, CobbleDB je optimiziran upravo za ovo okruženje, budući da upravljamo raspoređivanjem, predmemorijom i kontrolama replika. On grupira ključeve po particiji, izvršava čitanja paralelno protiv replika particija i može smanjiti utjecaj sporih čitanja u odnosu na druge replike. Naši rezultati pokazuju da ovi dizajnerski izbori vode do bržih čitanja u produkcijskom okruženju.
20% jeftinije
CobbleDB je također znatno jeftiniji od DynamoDB-a. Uz pohranu, DynamoDB također naplaćuje svaki pročitani ili zapisani bajt. Na ljestvici našeg korpusa i prometu posluživanja, ovi troškovi temeljeni na korištenju postaju značajan dio ukupnog troška. Kontinuirana ažuriranja troše kapacitet pisanja, dok svaka serija pripremljenih stranica dohvaćenih za upit troši kapacitet čitanja.
Izračunali smo uštede troškova na temelju internih procjena veličine pohrane, jedinica kapaciteta pisanja i jedinica kapaciteta čitanja. Na svakoj razini obveze, CobbleDB je najmanje 20% jeftiniji od DynamoDB-a. Stvarne su uštede vjerojatno još veće, budući da ovi rezultati ne uzimaju u obzir vjerojatne uštede sigurnosne kopije od kompresije.
Kako nam je roj AI agenata pomogao da ga izgradimo
Izgradnja CobbleDB-a i okolne infrastrukture bila je sve samo ne jednostavna. Sama jezgra baze podataka CobbleDB ima otprilike 40.000 linija Rust koda, a migracija je također zahtijevala opsežan rad na provjeri točnosti i ponašanja u slučaju kvara na produkcijskoj skali, integraciju CobbleDB-a s putovima obrade i posluživanja te siguran prijelaz produkcijskog prometa.
Ubrzali smo ovaj napor koristeći interni sustav koji upravlja rojem agenata za kodiranje. Sustav je dizajniran da bude vrlo ustrajan; zadržava ciljeve projekta, aktivne rizike, povijest repozitorija i prethodne odluke kroz sesije.
Projektu CobbleDB dodijelili smo kolektiv takvih proaktivnih, stalno uključenih agenata. Njihov prvi zadatak bio je izgraditi točan model posla koji je već u tijeku. Revidirali su nit projekta i aktivne niti, povezali neriješene stavke s njihovim pull requestovima i vlasnicima te izradili trenutni izvještaj o zdravlju sustava i sljedećim radnjama. Od tamo su djelovali u nekoliko dijelova inženjerske petlje:
- Pregledane promjene koda i infrastrukture.
- Izneseni blokatori koje je bilo lako propustiti, uključujući nesigurne pretpostavke vraćanja u prethodno stanje, zastarjele reference gradnje i konfiguracije koje bi pale tijekom izvođenja.
- Pripremljeni ciljani popravci, testovi, promjene nadzora i operativna dokumentacija.
- Praćeni CI, pregled i infrastrukturne kapije dok su produkcijske akcije ostale izričito u vlasništvu ljudi.
- Praćena uvođenja i vježbe sigurnosne kopije ili vraćanja u prethodno stanje, a zatim uspoređeno uočeno stanje sustava s kriterijima uspjeha uvođenja.
- Održavana izvješća projekta kako bi inženjeri mogli vidjeti što je isporučeno, što je ostalo blokirano i gdje je ljudska prosudba još uvijek potrebna.
Inženjeri su i dalje postavljali arhitekturu, pregledavali posljedične promjene i odobravali produkcijske operacije. Agenti su se nosili s velikim dijelom kontinuirane inspekcije i praćenja između tih odluka. To je omogućilo malom timu da učinkovito vodi projekt – temeljnu infrastrukturu CobbleDB-a izgradila su dva ljudska inženjera i stotine AI agenata u dva mjeseca.
Zaključak
CobbleDB nije baza podataka opće namjene; izgrađena je namjenski za naše specifično radno opterećenje višekratnog skupnog čitanja pripremljenih zapisa stranica, potaknuto asinkronim cjevovodom obrade. Odvajanjem trajnog stanja, isporuke ažuriranja i posluživanja u vrijeme upita, možemo optimizirati svaku odgovornost neovisno, bez prisiljavanja jedinstvenog sučelja baze podataka da ih sve prilagodi ili guranja poslova održavanja na put aktivnih upita. Migracija na CobbleDB značajno je poboljšala i medijan i repnu latenciju uz istovremeno smanjenje troškova infrastrukture.
Kako nastavljamo razvijati AI-nativnu infrastrukturu unutar kuće, možemo optimizirati performanse i troškove na načine koji nisu mogući kada smo vezani uz implementacije trećih strana i modele cijena. Moćni AI agenti pomiču računicu još više u korist izgradnje umjesto kupnje.
Planiramo uskoro otvoriti kod (open-source) CobbleDB-a, tako da drugi timovi koji grade AI-nativne sustave pretraživanja mogu imati koristi od istog sloja pohrane koji pretraživanje čini bržim i jeftinijim unutar naših proizvoda.
Citiranje
@online{perplexity2026Cobbledb,
author = {{Perplexity} and Alexandr Yarats and Marco Montagna and Aleksei Bykov and Alexey Gusev and Ali Abdullaev and Amir Mokhammed-Ali and Andrey Zosimov and Denis Kremko and Gleb Vishnevsky and Micah Zirn and Phi Hoang and Claire Beamer and Jeremy Yang and Jerry Ma and Denis Yarats},
title = {{CobbleDB: Rebuilding AI search storage for lower latency and cost}},
date = {2026-09-14},
url = {https://www.perplexity.ai/hub/blog/cobbledb}
}