FIFO und FFT bei hoher Abtastrate

Nach einigen Wochen intensiver Arbeit bin ich nun der Lösung ein ganzes Stück näher gekommen.
Um die auftretende Latenz (ich nenne das jetzt einfach mal so, in Ermangelung eines besseren Begriffs) der FIFOs zu umgehen nutze ich nun mehrere FIFOs, die in einer Festen Reihenfolge benutzt werden. Das klappt soweit ganz gut und ich konnte damit die erreichbare Abtastrate erhöhen. Das einzige Problem, was ich habe ist, dass ich nicht weiß, wie ich das Schreiben und Lesen in der Art synchronisieren kann, dass die Daten auch in der richtigen Reihenfolge ausgelesen werden. Derzeit scheint das nämlich nicht zu stimmen, da die Ausgabe des Spektrums bei zwei Puffern auch zwei Peaks zeigt, obwohl nur einer vorhanden sein sollte. Interessanterweise ist ein Peak immer korrekt und der Andere ist am halben Spektrum gespiegelt.
Nun ja, das bringt mich wieder zur FFT und ihrer Funktionsweise, da ich glaube, dass das irgendwie damit zusammenhängt.
Ich betreibe die FFT in einer SCTL mit einem Cycle pro Sample und 512 Elementen im Forward modus. Eine Latenz von ca. 1600 Zyklen wird mir damit angezeigt.
Wenn die FFT 1 Zyklus pro Sample benötigt, heißt das ich gebe ihr 512 mal pro Zyklus einen Datenwert und erhalte nach 1600 Zyklen das Ergebnis?
Oder Funktioniert das irgendwie anders, bin da gerade irgendwie überfordert und die Hilfe is zwar nicht schlecht aber aus ihr werde ich in dieser Hinsicht auch nicht so recht schlau.

Wäre toll, wenn da jemand etwas Licht ins dunkle bringen könnte.