+- LabVIEWForum.de (https://www.labviewforum.de)
+-- Forum: LabVIEW (/Forum-LabVIEW)
+--- Forum: LabVIEW Allgemein (/Forum-LabVIEW-Allgemein)
+---- Forum: Datenbank & File IO (/Forum-Datenbank-File-IO)
+---- Thema: 100-300 MB tdms files öffnen (/Thread-100-300-MB-tdms-files-oeffnen)
Seiten: 1 2
100-300 MB tdms files öffnen - dimitri84 - 23.10.2009 10:48
Hallo allerseits,
ich stehe vor dem Problem, dass ich sehr lange Messungen laden und dann "frei" in den Messungen rein- und rauszoomen möchte. Dabei geht es um Datensätze, die über 4-6 Stunden aufgenommen wurden; 4 Kanäle, 1k Abtastrate. Wie gesagt im tdms Format. Sind die Messungen nur wenige MB groß funktioniert alles super ... wenn ich aber eine 100 MB tdms Datei laden möchte kommt nach 10 Sekunden die Meldung "Speicher voll"! Jetzt hätte ich gerne ein paar Tipps um Speicherbedarf zu sparen und ein paar Hinweise, wofür denn alles Speicher angelegt wird und ob es da von LV's Seite aus Begrenzungen gibt. An Arbeitsspeicher steht mir 1GB zur Verfügung.
Z.B. bringt es in diesem Zusammenhang etwas, wenn ich nicht über die Express VI "Messwerte lesen" die Daten lesen, sondern über die original VIs?
Gruß Dimitri
100-300 MB tdms files öffnen - schrotti - 23.10.2009 11:50
Auf jeden Fall die TDMS-Primitives benutzen. Aber 100 MB in LabVIEW laden, im Graph anzeigen und mit geringer Latenz im Graph herumfahren, daraus wird so einfach nichts. Kann mir ehrlich gesagt überhaupt nicht vorstellen, wie das in LV umzusetzen wäre. Für so etwas taugt Diadem, Uniplot etc viel,viel,viel besser. Uniplot kostet glaub ich 900 € und ist damit bestimmt billiger als eine um Längen schlechtere LV-Lösung.
100-300 MB tdms files öffnen - dimitri84 - 23.10.2009 12:01
Diadem wäre im Prinzip da ... etwas ältere Version, sodass man die tdms in tdm konvertieren muss voher. Mir ist jetzt Diadem nicht so vertraut aber ich weiß nicht, ob man dann z.B. zu einem beliebigen Ausschnitt das Spektrum bekommt mit Medianfrequenz ... oder sich anstatt des bipolaren Rohsignals den Effektivwert ausgeben lassen kann.
Der tdms viewer schafft ja auch wesentlich größere Dateien als mein "Player". Also werd' ich wohl meins optimieren soweit es geht und die Grenze rausbekommen ... was man laden kann. Dann müssen die Messungen entsprechend bei der Aufnahme gesplittet werden.
PS Was ist denn von LVs Seite aus für eine Grenze gegeben? Ich könnte doch bestimmt was rausholen, wenn ich dem Rechner mal etwas mehr RAM gönne...
Oder was wäre, wenn ich Festplattenspeicher auch nutzen wollen würde und 'ne größere Latenz in Kauf nehmen würde? Wäre das machbar?
100-300 MB tdms files öffnen - schrotti - 23.10.2009 14:49
Für ältere Versionen von Diadem gibt es ein Plugin für TDMS. Der TDMS-Viewer ist mit größeren Dateien heillos überfordert. Du merkst das wahrscheinlich nicht, da in den Defaulteinstellungen nur glaub ich 1000 Zeilen gelesen werden. Ein freies scrollen und zoomen ist dann allerdings nur in den 1000 Datenpunkten möglich und nicht im kompletten Kanal. Natürlich könntest du dir einen Viewer programmieren, der beim scrollen/zoomen Daten nachlädt, zur Visualisierung auch Reduziert und aus dem Speicher entfernt. Wenns die Darstellung aber fix gehen soll wirds mit LV eh nichts. Und das Rad neu erfinden macht auch keinen Sinn.
100-300 MB tdms files öffnen - schrotti - 23.10.2009 14:53
' schrieb:PS Was ist denn von LVs Seite aus für eine Grenze gegeben? Ich könnte doch bestimmt was rausholen, wenn ich dem Rechner mal etwas mehr RAM gönne...Zum Postprocessing habe ich ein Workstation mit 2xQuad, 16 Gig Ram und zwei Raid 0+1 und bin immer noch unzufrieden.
' schrieb:Oder was wäre, wenn ich Festplattenspeicher auch nutzen wollen würde und 'ne größere Latenz in Kauf nehmen würde? Wäre das machbar?Das entspräche deiner Datei. Du müsstest dann eben immer nur einen Ausschnitt laden und anzeigen. Großartig scrollen/zoomen ist dann nicht.
100-300 MB tdms files öffnen - rasta - 24.10.2009 09:32
Hallo,
im Anhang mal ein Beispiel wie es gehen könnte, auch ohne Schrotti´s Rennsemmel
.Ich habe das Beispiel „TDMS - Concurrent File Access VI: LabVIEWexamplesfileplat-tdms.llb“ gefunden und ein wenig umgeändert.
Es ist bei weitem noch nicht fertig aber Potential genug da.
Vorgehensweise:
Mit oben genanntem Beispiel (TDMS - Concurrent File Access.vi) eine TDMS-Datei erstellen und diese dann im angehängten
Beispiel öffnen.Gruß
Ralf
100-300 MB tdms files öffnen - dimitri84 - 24.10.2009 11:56
Vielen Dank! Werde mich am Monatg damit befassen und berichten was ich damit hinbekomme. Bin mal gespannt.
100-300 MB tdms files öffnen - rasta - 25.10.2009 15:44
' schrieb:Diadem wäre im Prinzip da ... etwas ältere Version, sodass man die tdms in tdm konvertieren muss voher. Mir ist jetzt Diadem nicht so vertraut aber ich weiß nicht, ob man dann z.B. zu einem beliebigen Ausschnitt das Spektrum bekommt mit Medianfrequenz ... oder sich anstatt des bipolaren Rohsignals den Effektivwert ausgeben lassen kann.Es besteht eventuell noch die Möglichkeit kostengünstiger mit einer Altversion auf aktuell 11.1 updaten, einfach mal bei NI nachfragen und dich beraten lassen. DIAdem ist prädestiniert für solche Datenmengen und ebenfall für die Suche in diesen Datenbeständen. (wenn man es auch nutzt).
Im Anhang eine Eva-Stufe weiter (Erkennung der Kanäle sowie deren Auswahl aus der ersten Kanal-Gruppe).D.h. es sollte für alle TDMS-Dateien funktionieren ohne zwingend eine aus dem Beispiel nehmen zu müssen.
Eine weitere Eva-Stufe (Gesamtansicht alle 100/1000..Werte) werde ich in naher Zukunft für mein aktuelles Projektteil (Online-Visu Messdaten) brauchen, also wer Lust hat..
Gruß
Ralf
Anhang:
100-300 MB tdms files öffnen - dimitri84 - 26.10.2009 14:32
Hallo rasta,
Hut ab! Das VI klappt ganz hervorragend! Vielen Dank nochmal für deine Mühe.
Meine LabVIEWfähigkeiten sind leider immer noch sehr begrenzt, sodass bei mir noch einige Fragen offen geblieben sind. Um dein VI in meinem Programm verwenden zu können, muss ich es jedoch etwas besser verstehen. Hoffentlich wird es jetzt nicht zu trivial
[attachment=22001]
Werden da Leerzeichen aus dem Gruppen-/Kanalnamen gelöscht? Wenn ja, warum ist das nötig?
Der boolsche Ausgang "gefunden" beim VI "Eigenschaften lesen" wird in der ausführlichen Hilfe nicht beschreiben (
). Wozu ist der da, was gibt er an?[attachment=22002]
Gehe ich recht in der Annahme, dass wenn ich nur eine Gruppe habe, dieses "Array indizieren" VI einfach weggelassen werden kann?
[attachment=22003]
Wenn ich meine 4 Kanäle gleichzeitig in einem Stapelplot anzeigen lassen möchte, lasse ich dann das oben markierte "Array indizieren" VI einfach weg?
Und weil ich die Funktion der boolschen "found" Variable nicht weiß, verstehe ich auch nicht ganz wozu die Case Struktur ist, in der die Daten gelesen werden. Vielleicht kannst du einen Satz dazu schreiben.
Gruß dimitri
100-300 MB tdms files öffnen - dimitri84 - 26.10.2009 15:40
Zitat:Werden da Leerzeichen aus dem Gruppen-/Kanalnamen gelöscht? Wenn ja, warum ist das nötig?
Die Frage hat sich erledigt.