nur so am Rande: in der Regel liegt es nicht am css…
Das stimmt schon, aber im konkreten Fall geht es ja nicht um allgemeine Performance, sondern explizit ums Scrollen. Da ist neben Lazy-Loading und Infinite-Scrolling auch CSS ein üblicher Verdächtiger. Alles was einen Repaint beim Scrollen auslöst, kann zu Verlusten bei den FPS führen. Das wirkt dann als gäbe es einen Sprung beim Scrollen. Je mehr aufeinanderfolgende Frames verloren gehen, desto größer ist der Sprung. Die Animation wirkt dann nicht mehr flüssig. Als Faustregel gilt, dass alles was sich nicht mit derselben Geschwindigkeit wie die Haupt-Scrollfläche bewegt, zu Problemen führen kann. Das betrifft bspw. Parallax-Effekte sowie fixierte und klebrige Flächen. Meine Erfahrung ist aber auch, dass Sprünge beim Scrollen von den meisten Benutzer:innen nicht als störend wahrgenommen werden, solange sie nicht allzu groß sind.
Die Schilderung des TO deutet aber auf Lazy-Loading hin: Ein Symptom von Lazy-Loading ist ja, dass Inhalte prinzipbedingt zu spät geladen werden, das macht sich dann beim ersten Durchscrollen bemerkbar. Sobald einmal alles geladen ist, ist dann meist alles gut.