+- LabVIEWForum.de (https://www.labviewforum.de)
+-- Forum: LabVIEW (/Forum-LabVIEW)
+--- Forum: LabVIEW Allgemein (/Forum-LabVIEW-Allgemein)
+---- Forum: Datenbank & File IO (/Forum-Datenbank-File-IO)
+---- Thema: viele Werte in Datei speichern (/Thread-viele-Werte-in-Datei-speichern)
Seiten: 1 2
viele Werte in Datei speichern - darkmask - 21.08.2007 10:58
Hallo,
Ich habe 2 Messkarten von denen ich insgesamt 20 Analogkanäle auslese mit einer Abtastrate von 1KHz.
Mein Problem ist dass ich über 2 Stunden messen muss. Ergo, es kommen sehr viele Daten zusammen die ich wegspeichern muss.
Momentan habe ich die Daten mit der Funktion "write to Spreadsheet File" sequentiell in eine Datei geschrieben.
Mir macht die Dateigröße ein Problem, da ich als nächstes über 40 Tage je 2 Stunden aufzeichnen muss.
Gibt es keine elegante Lösung viele Daten wegzuspeichern?
Schließlich kann so eine DAQ-Karte einiges mehr. 1 GS sind doch heutzutage kein Thema mehr.
Es muss doch auch dann die Möglichkeit geben diesen Haufen an Daten wegzubekommen, oder ?
Vielleicht könnt ihr mir da weiterhelfen.
Viele Grüße,
Werner
viele Werte in Datei speichern - Achim - 21.08.2007 11:08
Und wo ist jetzt dein Problem? Was hakt denn genau? Ein bisschen konkreter solltest du schon werden!
Am besten mal dein VI posten, evtl. hast du nen grundsätzlichen (Programmier-) Fehler...
Gruss
A.
viele Werte in Datei speichern - darkmask - 21.08.2007 11:17
Problem ist dass meine Datei über 1 GB groß ist.
Gibt es die Möglichkeit dass man z.B. indem man die daten als Binärdatei abspeichert die Dateigröße kleiner bekommt.
Wenn ich sonst über 40 Tage messe, platzt irgendwann meine Festplatte.
Mich interessiert es was ich machen kann, damit meine Daten schnell abgespeichert werden können und, vielleicht noch wichtiger, dass die Datei nicht allzu groß wird.
Gruß,
Werner
viele Werte in Datei speichern - jg - 21.08.2007 11:22
Schau mal in der Palette der File-VI's nach, da gibt es z.B. die Funktion WriteToBinaryFile.
Da kannst du Zahlen dann im "internen" Speicherformat speichern, d.h. eine DBL belegt dann genau 8byte im File.
MfG, Jens
viele Werte in Datei speichern - Achim - 21.08.2007 11:27
Hm,
wer lange misst hat viele Daten...
Probiers mit nem Binärfile halt einfach mal aus...das kannst du dann halt leider nicht mit z.B. Excel öffnen!
Gibts evtl. irgendwelche redundaten Daten, z.B. mehrfache Zeitstempel?
A.
viele Werte in Datei speichern - RoLe - 21.08.2007 11:38
Weis ja nicht was du misst und wozu.
Vielleicht kannst du ja die Datenmenge reduzieren, indem du die Daten vor dem schreiben analisiert, filteren oder was auch immer, und nur das schreibst das auch wichtig ist.
Was nützen die 1GB von Daten wenn davon 900Mb unrelevant ist?
viele Werte in Datei speichern - darkmask - 21.08.2007 12:02
Für diesen Versuch ist es (leider) relevant, dass ich einen kompletten Zyklus eines Klimatests in einer Klimakammer aufzeichne.
Ein Zyklus dauert nun mal 2 Stunden. Die Prüflinge müssen in dieser Zeit komplett überwacht werden.
Bisher hatte ich einerseits Probleme mit der Speicherauslastung, d.h. der Speichervorgang hat relativ lange gedauert (ca. 150 ms).
Ich erstelle jeden Tag ein neues File in welches ich dann meine Daten hineinschreibe. Dies mache ich indem ich die gelesenen 2D-Werte von der DAQ-Karte über die Funktion in Spreadsheet Datei schreiben.
Von der DAQ-Karte lasse ich mir immer ein Datensatz von 1000 Samples bei einer Rate von 1KHz ausgeben, sprich 1 Sample entspricht 1ms.
Ich hole mir zu Beginn der Messung den Zeitstempel, damit ich eine Definierte Anfangszeit habe.
Wollte anfangs zu jedem Ausleseintervall die Zeit mitprotokollieren, aber habe davon abgesehen, da das Auslesen des Zeitstempels auch sehr viel Zeit beansprucht hatte.
Am Ende der Messung habe ich eine Datei die knapp 1 GB groß ist.
Mich interessiert es einfach ob es prinzipiell eine einfachere Methode gibt so viele Werte zu speichern.
Oder wie würdet ihr die Datei abspeichern. Habe irgendwo in Internet gelesen, dass ich die Datei um 2/3 kleiner hinbekomme wenn ich die Daten binär abspeichere.
Stimmt das?
Wie bekomme ich es dann hin wenn ich die Daten immer wieder an die Datei anhängen will.
Werner
viele Werte in Datei speichern - Achimedes - 21.08.2007 12:06
Die Idee mit Filtern ist mal keine schlechte Idee.
Kleiner als Binär wirst du die Dateinicht bekommen. Wahrscheinlich bringt auch Zip-en nix mehr.
Villeicht kannst du immer wenn dieDatei größer wie 100MB wird, ne neue datei beginnen und die alten Dateien in Messpausen auf einen Server schieben.
Eine 500GBPlatte kostet aber auch nicht mehr die Welt. Steckst du halt noch ein oder zwei in deinen Mess PC dazu.
viele Werte in Datei speichern - RoLe - 21.08.2007 13:01
Also es gibt noch folgendes:
(in englisch)
OpenG http://www.OpenG.org
Dort gibt es ein Packet "Large File I/O"
z.Bsp:
LF Write File (STR).vi - Writes an string using a double precision number as
offset to work for files larger than 2GB.
Hoffe es hilft
MfG RoLe
viele Werte in Datei speichern - Achim - 21.08.2007 15:29
' schrieb:Habe irgendwo in Internet gelesen, dass ich die Datei um 2/3 kleiner hinbekomme wenn ich die Daten binär abspeichere.[attachment=8205]
Stimmt das?
Wie bekomme ich es dann hin wenn ich die Daten immer wieder an die Datei anhängen will.