Pipeline for markedspriser
Automatisk innhenting av markedsdata fra Buff163 til PostgreSQL. Den er prisgrunnlaget for alle skin-plattformene jeg driver.
Hva det er
En hodeløs datapipeline uten offentlig brukergrensesnitt, og det er hele poenget. Den skraper hele tiden Buff163, det største annenhåndsmarkedet for CS2-skins, normaliserer det den finner og lagrer det i PostgreSQL. De andre labprosjektene henter prisene sine derfra.
Slik fungerer det
Playwright styrer en samling nettleserkontekster mot endepunktene til markedsplassen, fordi dataene rendres i nettleseren og begrenses per fingeravtrykk. Forespørslene planlegges rundt strupevinduene jeg har observert. Resultatene sammenlignes med forrige kjente tilstand, og bare endringene skrives. Det holder skrivevolumet nede og signalet videre rent.
Lagringen er et partisjonert Postgres-skjema: én tabell for varenes identitet, tabeller som bare får nye rader for prispunkter, og Redis som rask cache for «nåverdien» som plattformene leser ved hver forespørsel. Når prisen på en vare endrer seg, får abonnentene beskjed gjennom det samme Socket.io-laget som IO Saga kjører på.
Hvorfor det er viktig
Hvert eneste kjøps- og salgstilbud på plattformene mine kan spores tilbake til denne pipelinen. Den er den mest bærende delen av infrastrukturen i laben. Alt annet er presentasjon, og dette er sannhetskilden. Svikter den, blir prisene utdaterte, og utdaterte priser betyr ekte penger tapt til arbitrasje. Derfor slår overvåkingen her alarm raskere enn for noe annet jeg kjører.
[SYS.03 // RÅDGIVNING.ÅPEN]
Står du fast med et vanskelig teknisk problem? Kanskje jeg kan hjelpe.
Jeg tar på meg et og annet rådgivningsoppdrag, skreddersydd programvarearkitektur og forskningssamarbeid. Det finnes ingen salgstrakt. Du skriver til meg, og jeg svarer.
NP // NORDICPRODUCTIONS.NO