+- LabVIEWForum.de (https://www.labviewforum.de)
+-- Forum: LabVIEW (/Forum-LabVIEW)
+--- Forum: LabVIEW Allgemein (/Forum-LabVIEW-Allgemein)
+--- Thema: Datenspeicherung großer Datenmengen (/Thread-Datenspeicherung-grosser-Datenmengen)
Datenspeicherung großer Datenmengen - presspappe - 06.12.2006 16:35
Hallo zusammen,
werde in Kürze meine Diplomarbeit beginnen, in der es u.a. darum geht, Signalverläufe von Sensoren an einem technischen Prozess über längere Zeit aufzunehmen.
Zu den Details:
An einem technischen Prozess (Maschine) sollen über eine längere Zeit (ca. 1 - 2h) Signalverläufe unterschiedlichster Analoger Sensoren (ca. 8 - 10 Stück) mit einer Abtastrate von etwa 2kHz aufgenommen werden. Die Signalverläufe sollen in einer (oder mehrerer) Dateien gespeichert werden. In einem weiteren LabVIEW Programm sollen die Signalverläufe aus dieser Datei(en) ausgelesen werden, um ausgewertet und visualisiert zu werden.
Da ich LabVIEW Neuling bin, kam bei mir die Frage auf, wie ich so große Datenmengen abspeichern kann, es gibt da in LabVIEW ja mehrere Möglichkeiten (Binärdateien, ASCII- oder Protokolldateien).
Bitte berichtet mir doch mal Eure Erfahrungen mit Datenspeicherung. Leider hat keiner meiner Betreuer auch nur ein bisschen Ahnung von LabVIEW, so dass ich von der Seite keine Unterstützung bekommen werde.
Vielen Dank im Voraus.
PS: Benutze LabVIEW 7 Studentenversion, LabVIEW 8.2 wird mir aber bald zur Verfügung stehen.
Datenspeicherung großer Datenmengen - Batou - 06.12.2006 18:03
Hatte in meiner DPA auch so ein Problem. Bei mir ging es um 4GB große Datenblöcke.
Vorab: LabVIEW krepiert i.a. sofern dein Datenarray größer als 800MB wird. Das liegt an dieser blöden Speicherbegrenzung von WinXP, die jedem Programm maximal 1,3GB zu Verfügung stellt. Auch wenn es klappt, weil du unter der Grenze bist, die Performance, die dir dein Rechner dann liefert, willst du nicht.
Ich habe es wie folgt gelöst:
Daten direkt auf die Festplatte schreiben und dann mit einem zweiten Programm bearbeiten.
(Bei mir waren es 3D-Bilddaten ähnlich den Aufnahmen einer Röntgen-CT = hintereinander gestapelte Bilder. Ich habe ein Bild aufgenommen und weggespeichert, in die gleiche Datei dahinter das nächste Bild, usw. Beim Auslesen habe ich mir den Abstand (in Byte) von Bild zu Bild genommen und mit einer Schleife dann nach und nach auf jedes Bild zugegriffen, es bearbeitet und in eine neue Datei geschrieben. Das Tempo war enorm).
Ich muß man gucken, ob ich die VIs noch habe.
Datenspeicherung großer Datenmengen - Batou - 06.12.2006 18:27
Hier eine PDF mit den wesentlichen Inhalten aus den erwähnten Programmen.
Datenspeicherung großer Datenmengen - Lucki - 06.12.2006 18:52
In LabVIEW 8.20 wurde eigens für Deine Bedürfnisse ein neues sehr schnelles Datenformat entwickelt: TDMS (TDM Streaming) Das sollte Deine erste Wahl sein.
Bei der Speicherung so großer Datenmengen solltes Du immer bedenken, daß kein Mensch mit solchen Daten so etwas anfangen kann. Sie müssen also verarbeitet werden, so daß eine verwertbare Information herauskommt. Und da bietet sich natürlich an, mit der Datenverarbeitung gleich online beginnen, damit solche riesenhaften Datenmengen gar nicht erst entstehen. Beispiele für solche Überlegungen: Können mehrere Daten immer zu Mittelwerten zusammengafaßt werden? Kommt es mehr auf die Spitzenwerte oder Ausreißer oder andere Anamolitäten an? Gibt es unwichtige Datenbereiche?
Datenspeicherung großer Datenmengen - presspappe - 06.12.2006 22:50
Vielen Dank schonmal,
das sind genau die Tips die ich benötige. Das mit TDMS hört sich ja schonmal gut an, leider muss ich warten, bis ich LabVIEW 8.2 bekomme.
Über weitere Hilfen zu dem Thema würde ich mich freuen.