Es taucht meistens in Mediathekbeiträgen der TV-Sender auf, die man oft auch (leicht) speichern kann.
Ich habe die Erfahrung gemacht, dass beim Firefox unter Linux ein Neustart des Browsers regelmäßig hilft... (weiß der Teufel warum) - Ein Neuladen der Seite und des Videos hilft nicht, auch bei anderen Videos tritt dann (also ohne Neustart des Browsers) diese Verzögerung auf. Es ist oft deutlich mehr als 1 Sekunde.