+- LabVIEWForum.de (https://www.labviewforum.de)
+-- Forum: LabVIEW (/Forum-LabVIEW)
+--- Forum: LabVIEW Allgemein (/Forum-LabVIEW-Allgemein)
+---- Forum: Datenbank & File IO (/Forum-Datenbank-File-IO)
+---- Thema: Zyklustabellen (/Thread-Zyklustabellen)
Seiten: 1 2
RE: Zyklustabellen - megalopo - 19.06.2012 21:22
Es handelt sich hier lediglich um eine Beispieldatei. Die eigentliche Datei hat mehrere hunderte von GB. Und weil jeder Zyklus ca. 2 MB hat, soll der Tester von allen Messungen nur die letzten 200 Zyklen haben.
RE: Zyklustabellen - GerdW - 19.06.2012 21:36
Hallo Megalopo,
noch so eine Information, die du uns erst nach 5 Tagen mitteilst: Dateien, die >100GB groß sind...
Zitat:Und weil jeder Zyklus ca. 2 MB hat, soll der Tester von allen Messungen nur die letzten 200 Zyklen haben.Du willst also (grob überschlagen) 200*2MB=400MB an Textdaten im Speicher halten? Vergiss es...
Spätestens beim Umwandeln der Textdaten in DBL-Arrays kracht es!
Ich rate dazu, zu den Messdaten-Dateien Indexdateien anzulegen, in denen du vermerkst, wann/wo ein neuer Zyklus beginnt. Dann kann man schnell auf die Daten eines (!) Zyklus zugreifen.
Ich rate auch dazu, ein anderes Dateiformat einzusetzen. Die Daten binär abzulegen wäre so eine Idee, die einen schnellen Zugriff ermöglichen würde...
Formuliere bitte noch einmal genau, was du wirklich haben willst. Wieso,weshalb, warum...
RE: Zyklustabellen - jg - 19.06.2012 21:58
(19.06.2012 21:22 )megalopo schrieb: Die eigentliche Datei hat mehrere hunderte von GB. Und weil jeder Zyklus ca. 2 MB hat, ...Da schmeiße ich gleich mal das Stichwort Datenbank in den Raum...
Gruß, Jens
RE: Zyklustabellen - megalopo - 19.06.2012 22:00
Ich benötige die Messdaten der letzten 200 Zyklen, diese sollen in einem Diagramm dargestellt werden. Wie kann ich dies mit LabView programmieren?
RE: Zyklustabellen - GerdW - 20.06.2012 08:29
Hallo megalopo,
Zitat:Ich benötige die Messdaten der letzten 200 Zyklen, diese sollen in einem Diagramm dargestellt werden. Wie kann ich dies mit LabView programmieren?Du kannst das wie in jeder anderen Programmiersprache auch lösen:
- Datei durchsuchen und interessante Teile laden
- Text nach Zahlen umwandeln
- Plots erstellen und anzeigen
Nochmal:
Es ist nicht trivial, 400MB Textdaten im Speicher zu haben und damit weiter arbeiten zu wollen. Überlege genau, was du da machen willst. Selbst wenn nach Umwandeln in DBL-Werte "nur" 200MB Daten im Speicher stehen, braucht LabVIEW schnell mal >500MB, bedingt durch Datenkopien für die graphische Anzeige und evtl. andere Indicators/Zwischenspeicher...
Tipps:
- Bei NI gibt es ApplicationNotes zum Umgang mit großen Datenmengen. Die solltest du dir durchlesen!
- Es ist meist nicht sinnvoll, mehr Punkte in einem Plot zu haben als die graphische Anzeige (in Pixeln) breit ist...
RE: Zyklustabellen - jg - 20.06.2012 20:55
(20.06.2012 08:29 )GerdW schrieb: - Datei durchsuchen und interessante Teile ladenZum Thema "schrittweises Lesen einer Datei", dazu hatten wir gerade eben einen anderen Thread:
http://www.labviewforum.de/Thread-Zeilen-aus-einer-Datei-in-andere-Kopieren
Denn mehrere 100 Gig bekommst du wohl kaum auf einen Schritt eingelesen.
Gruß, Jens