Datenspeicherung mit 20 MB/s in eine Datenbank

Gute Morgen die Herrschaften,

ich sitze derzeit an einem großen Problem und wäre interessiert ob diesbezüglich jemand einen sinnvollen Vorschlag hat, weil er Erfahrungen in dieser Richtung mitbringt.

Worst Case:
Datenrate von 20 Megabyte / Sekunde schreiben
(2500 Datenpunkte (Single), getaktet mit 2 kHz)
Versuchsabläufe von bis zu 10 Stunden (ca. 720GB+) sind nicht grundsätzlich auszuschließen.

Ist es noch möglich soetwas in lesbarer Form (kein Blob) in einer lokalen Datenbank (MySQL) zu speichern? Ein großes Problem scheint das Umwandeln der Datenpunkte in String zu sein, um diese der Datenbank via Query zu übergeben. Das jagt die CPU Last eines Quadcore Prozessors an den Anschlag. Ist es irgendwie möglich die Daten ohne diese Umwandlung zu übergeben?

Es geht (leider) nicht um Sinnhaftigkeit sondern um Machbarkeit.

Sachdienliche Hinweise werden dankend entgegen genommen.

Anzeige

' schrieb:ich sitze derzeit an einem großen Problem und wäre interessiert ob diesbezüglich jemand einen sinnvollen Vorschlag hat

Es geht (leider) nicht um Sinnhaftigkeit sondern um Machbarkeit.

Sorry, aber ich muss das jetzt mal fragen...

Du erwartest sinnvolle Vorschläge, untersagst aber gleichzeitig eine alternative Vorgehensweise.

Wenn deine Holzhammermethode nun einfach nicht sinnvoll ist... wird dir keiner antworten, da du darauf bestehst diese Methode anzuwenden.

Anders gefragt... es geht dir um die Machbarkeit... du willst es aber so machen und nicht anders. Punkt.
Was wenns halt nicht geht?

Da kann man einiges in Frage stellen.


Naja. Schönen Freitag & erholsames WE euch allen ^_^


Gruß SeBa

Das "Es geht (leider) nicht um Sinnhaftigkeit sondern um Machbarkeit." bezog sich auf die Datenrate, nicht auf die Methodik. Sorry, wenn das falsch rüberkam.

Sobald du Daten in eine Datenbank via Query eintragen willst, muss immer auch eine Umwandlung stattfinden. Dabei ist es egal für die Prozessorlast ob du es nun explizit in deinem eigenen VI machst oder es automatisch in einer von dir aufgerufenen Funktion durchgeführt wird.
Bei solchen Datenmengen knicken diese schwachen Spielzeugcomputer dann halt zusammen... (:DAchtung: Spass!)

Schafft Labviews hauseigenes Messdatenformat nicht solche Datenraten?
Dann könnte man erst lokal während der Messung speichern und anschliessend die Daten kovertieren und in die Datenbank übertragen.

Also sei Dir als erster sachdienlicher Hinweis das Stichwort "TDMS" gegeben.

Hoffe es gibt Dir einen Impuls in die richtige Richtung.

Grüsse,
//Tobias