+- LabVIEWForum.de (https://www.labviewforum.de)
+-- Forum: LabVIEW (/Forum-LabVIEW)
+--- Forum: LabVIEW Allgemein (/Forum-LabVIEW-Allgemein)
+---- Forum: Datenbank & File IO (/Forum-Datenbank-File-IO)
+---- Thema: stetiges Schreiben in eine Datei (/Thread-stetiges-Schreiben-in-eine-Datei)
Seiten: 1 2
stetiges Schreiben in eine Datei - Predator - 13.06.2009 07:45
Hallo Ihr kompetenten Leute,
ich habe ein Problem mit meiner erstellten Software und bitte um Eure Hilfe...
diese Software ist eine Prüfstanssoftware für Dauerlaufversuche. Das heißt es werden kontinuierlich Messdaten (pro Datensatz 25 Datums) in eine Datei geschrieben. Das Wegschreiben mache ich zur Zeit mit dem Write to Spreadsheet File.vi, was bei steigender Dateigröße die Programmgeschwindigkeit ausbremst. Kann der Grund dafür sein, dass das vi bei jeder Speicherung die Datei öffnet, schreibt und wieder schließt, was je nach größe der Datei sich auf die Laufzeit ausübt? Wenn das der Fall ist benötige ich eine Lösung. Vielleicht Datei nur einmalig beim Start öffnen? Oder liegt das Problem woander?
Vielen Dank im voraus...
stetiges Schreiben in eine Datei - ImExPorty - 13.06.2009 08:10
Hallo Predator,
bei der Frage nach einer sinnvollen kontinuierlichen Datenspeicherung an einem Prüfstand kommt auf die nachfolgenden Informationen an:
-Gesamtdatenmenge/Zeit
-Datenformat, Datenstruktur
-Datensicherheit
-gewünschte Weiterverarbeitung
-Zieldateigrößen
-Zusatzinformationen
-Datenverwaltung
das maximale Optimum ist das Onlinestreaming in eine Binätdatei
stetiges Schreiben in eine Datei - Y-P - 13.06.2009 08:32
Schau' Dir mal folgendes Bsp. an....
[attachment=19060]
Gruß Markus
stetiges Schreiben in eine Datei - Predator - 13.06.2009 08:33
ImExPorty,
vorab nochmal ne Frage... wie funktioniert das mit dem zitieren? bekomm das irendwie nicht gebacken:-(
hier noch die fehlenden informationen:
-Gesamtdatenmenge/Zeit
unbegrenzt, je nach dauer der Messung, ca. alle 2sec. eine Messung, Gesamtdauer der Messreihe 6-14Tage
-Datenformat, Datenstruktur
speicherung als txt-Datei, 25 Werte in einer Zeile, mit Tab getrennt
-Datensicherheit
???
-gewünschte Weiterverarbeitung
noch nicht bekannt, bei einer derartigen Größe der Datei gilt es noch zu klären, ob die Datei von anderen Programmen geöffnet werden kann.
-Zieldateigrößen
unbekannt
das maximale Optimum ist das Onlinestreaming in eine Binätdatei
die Messdaten speichere ich zusätzlich in eine Binärdatei um bei einer Messunterbrechung die Daten wieder in die Anzeigeinstrumente zu laden..
Gruss Predator
stetiges Schreiben in eine Datei - Y-P - 13.06.2009 08:35
Unter dem Beitrag "Zitieren" anklicken und dann ganz unten auf "Antworten".
Hast Du mein Bsp. schon mal angeschaut? Da siehst Du einen großen Unterschied zwischen 2 Speichermöglichkeiten.
Gruß Markus
' schrieb:vorab nochmal ne Frage... wie funktioniert das mit dem zitieren? bekomm das irendwie nicht gebacken:-(
stetiges Schreiben in eine Datei - Predator - 13.06.2009 08:52
Hi Y-P
danke für die Antwort und das Beispiel.. Kann es jedoch nicht öffnen, habe LV 8.5
' schrieb:Schau' Dir mal folgendes Bsp. an....
[attachment=46953:Streaming.zip]
Gruß Markus
stetiges Schreiben in eine Datei - ImExPorty - 13.06.2009 09:57
Hallo Predator,
' schrieb:...unbegrenzt, je nach dauer der Messung, ca. alle 2sec. eine Messung, Gesamtdauer der Messreihe 6-14Tage => ca. 60 MB-Dateien, das kann schon langweilig werden wenn das Zielprogramm keine sinnvolle Importfunktion besitzt
...Datensicherheit ....hiermit ist gemeint was passiert wenn das System sich nicht so verhält, wie man hofft, z.B: Stromausfall, PC-hängt, Festplattenproblem, Zugriffsproblem....mit den Daten
...gewünschte Weiterverarbeitung noch nicht bekannt ...ist natürlich eine ziemlich grundlegende Frage, da hier gewaltige Schnittstellenprobleme auftreten können
... bei einer derartigen Größe der Datei gilt es noch zu klären, ob die Datei von anderen Programmen geöffnet werden kann....viele Programme haben noch eine 2GB Grenze was den Datenimport angeht...aber z.B. Excel hat abhängig von der Version noch ganz andere Hürden z.B. Zeilenanzahl 65535 und da ist man mit den angegeben Speicherraten schon nach einem Tag nah dran
...die Messdaten speichere ich zusätzlich in eine Binärdatei um bei einer Messunterbrechung die Daten wieder in die Anzeigeinstrumente zu laden.. könnte gut sein, das kontinuierliches binär schreiben vom Messprogramm und asynchrones ASCII-aufbereiten optimaler wäre
stetiges Schreiben in eine Datei - Y-P - 13.06.2009 10:06
Ups.... Hier ist es für LV 8.5.
[attachment=19061]
Gruß Markus
' schrieb:Hi Y-P
danke für die Antwort und das Beispiel.. Kann es jedoch nicht öffnen, habe LV 8.5
stetiges Schreiben in eine Datei - gottfried - 13.06.2009 10:51
Hallo,
ich verfolge meist folgendes Konzept: ich schreibe die Daten eines Tages in Directorys die heissen wie das Datum und darinnen heissen die Daten wie die Uhrzeit. Dann haste kleine Datenhappen und der Zugriff und die Archivierung ist sehr einfach.
stetiges Schreiben in eine Datei - ImExPorty - 13.06.2009 11:09
gutes Konzept....
@Predator: zusätzlich noch frei vorgebbare maximale Dateigröße und zeitlich definierte Sicherungskopien sowie Ringspeicher und Eventmodi könnten die gottfried-Variante noch abrunden
aber....
was macht man wenn die Zielsoftware keine sinnvolle Verwaltung dieser so angelegten Datenpools ermöglicht (z.B. keine Zahlen/Punkte,Sonderzeichen im Namen erlaubt..keine Sortierung der Form DD.MM.YYYY.-HH
S:MM,sss ermöglicht, .....)? => wichtigste Entscheidung: mit was wird der Datenpool später verwaltet/analysiert, denn dann können die Strukturen für die Zielsoftware von LV bereits sinnvoll angelegt werden, obwohl es unter Umständen rein datentechnisch eine weitergehende Optimierungsvariante gäbe, die dann jedoch mit erhöhtem Aufwand erst konvertiert werden muss, bevor die Zielsoftware darauf zugreifen kann.... leider schreibt bei weitem nicht jeder mal eben schnell ein LV - VI um die Daten zu aufzubereiten... oder G... sei Dank, ...denn dadurch kann man Geld verdienen
