Wann lohnt sich eine eigene Datenbank?

Hallo Gemeinde,

ich erzeuge Datensätze in einer Produktionsstätte während meiner Doktorarbeit in 1Min-Abschnitten, aber rund um die Uhr. Im Augenblick erstelle ich einzelne Textdateien und importiere diese mir dann in ein Excel-Sheet. Würde sich für mich eine SQL-Datenbank lohnen? Was unterscheidet eine Datenbank von einer Excel-Datei - welche Vorteile bekomme ich dadurch?

Als Start würde ich SQL-Datenbank - Free 1 oder LabSQL versuchen. Welches Datenbank-Format wäre sinnvoll? Ich habe den Vorteil, dass ich es mir aussuchen könnte.

Danke, Heinrich

Anzeige

Hallo Heinrich,

wie groß sind die Datensätze (MB)? Das wären also auch 1440 Datensätze pro Tag und wie viele Daten enthält so ein Datensatz den Du jede Minute speicherst? Wie wichtig ist u.a. ein Datensatz der 1 Monat alt ist? Wenn die Datensätze eine bestimmt Größe haben sollte man nicht mehr Excel benutzen, um die Daten zu verwalten. Ich kenne ein Beispiel, da gab es eine Firma die hatte Artikeldaten per Excel gespeichert und im Laufe der Zeit sind die Daten angewachsen. Die haben dann im Ende 500 MB per Excel und übers Netz immer auf den Rechner geladen - das ist dann natürlich Sinn frei.
Fraglich ist hier auch ob LabSQL bzw. eine SQL Datenbank das Richtige ist. Vielleicht mal im IT Bereich deiner Firma nachfragen oder ähnliche Foren abklappern - es gibt da bestimmt auch gute Lösungen. Und der negative Aspekt einer Datenbank ist ja immer, dass die Pflege brauchen.

Gruß snuz

Ein Datensatz ist circa 3kb groß. Eine extreme Langzeitverfügbarkeit der Daten ist nicht nötig. Es würde reichen, 2-3Monate alte Daten zu archivieren oder eine neue Datenbank anzufangen. Es gibt doch bestimmt irgendwo ein Tutorial für sowas....hier in der Uni sind die industrienahen Anwendungen leider nicht verbreitet.

Hallo Heinrich,

nun 3kB ist nicht viel. Was für Daten sind da denn drin gespeichert (also Datum, Name, Wert1 bzw. wie viele Werte enthält die Datei)? Was ich noch nicht ganz verstanden habe, die 3kB ist das ein Datensatz pro Minute oder sind es die Datensätze in 24 Stunden und werden die Dateien die jede Minute gespeichert werden in eine gemeinsame "Tages"-Datei gespeichert oder liegen am Ende des Tages 1000 Datensätze in einem Ordner?
Hilfe würde hier einer deiner Datensätze geben oder ein Screenshot vom Ordner mit Ausführungen.

Ich gehe momentan davon aus, dass Du pro Minute einen Datensatz bekommst der 3kB groß ist, daraus folgt, dass bei 1440 Datensätze am Tag, um die 4,3 MB zusammen kommen, wieder pro 2-3 Monate (ich gehe mal vom Maximum aus) 387MB an Daten auf die Du zugreifen möchtest.

Wenn dem so ist, sollte man vermutlich auf eine Datenbank zurück greifen bzw. benutzen, Beispiele gibt es da auch von LabView. Erstellt habe ich noch keine Datenbank in LabView, nur mit MySQL und über PHP Admin. Über diese Tools kann man diese auch gut verwalten, wenn man mal Chaos in der Datenbank hat (bezieht sich allerdings auf eine Artikeldatenbank, die übers Netzwerk erreichbar sein musste). Nachteil ist, auf einem Rechner muss ein SQL Server laufen (nur das als Info, wenn es ein Messrechner ist bzw. es müssen bestimmt Ressourcen vorhanden sein).

Kannst ja mal schreiben welche Gedanken Du dir noch gemacht hast, wenn Du dich für eine SQL Datenbank via LabView entscheidest programmiere ich gerne mit oder trage gerne Informationen bei.

Gruß snuz

P.S. Interessant zu wissen, nach was gesucht werden soll, wenn man die Datensätze hat, also was ist von Interesse.

' schrieb:Als Start würde ich SQL-Datenbank - Free 1

Aber nur kostenlos als Student. Voraussetzung MS Access...

' schrieb:oder LabSQL versuchen.

Könnte gehen, vielleicht ein wenig "veraltet" mit LV 6. Und natürlich kein Support mehr.

Wenn du eine guten, kostenlosen DB-Engine suchst: MySQL.
Und als Ersatz für das DB-Toolkit von NI gibt es das hier: http://www.ib-berger.com/index.php?action=adotool

Gruß, Jens

Ob sich eine Datenbank lohnt hängt auch von der Struktur der Daten und der weiteren Verwendung der Daten ab. Wenn es sich nur um Zeitreihen von ein paar Sensoren handelt, die exemplarisch gezeigt und diskutiert werden sollen, halte ich eine Datenbank für nicht notwendig. Wenn die Daten hinsichtlicher Fragestellungen analysiert werden sollen und sowas wie "Zeige mir die Sensordaten von Montagen bei denen Teil x geprüft wurde", ist eine Datenbank sicherlich angemessen.

Gut, ich werde erst einmal die Datensätze in eine Excel-Datei speichern - die SQL-Geschichte ist mir noch etwas zu aufwendig. Trotzdem danke für eure Kommentare.

Oder PostgreSQL. Das verwende ich schon länger.

Gruß Markus

' schrieb:Wenn du eine guten, kostenlosen DB-Engine suchst: MySQL.

Vielleicht gehen ja auch die TDMS-VI (oder die älteren Data Storage VI) von LabVIEW?

Übrigens mache ich meist einen Bogen um Excel. Ich gehe meist auf klassische Textdateien. Die lassen sich dann auch auf Rechnern ohne Winzigweich-Produkten verarbeiten.