+- LabVIEWForum.de (https://www.labviewforum.de)
+-- Forum: LabVIEW (/Forum-LabVIEW)
+--- Forum: LabVIEW Allgemein (/Forum-LabVIEW-Allgemein)
+--- Thema: Genauigkeit passt nicht(String nach Zahl und dann in Array) (/Thread-Genauigkeit-passt-nicht-String-nach-Zahl-und-dann-in-Array)
Genauigkeit passt nicht(String nach Zahl und dann in Array) - Bobbycartuner - 03.11.2010 16:35
Hallo,
habe ein kleines Problem, das ich erst nach ein paar Wochen Arbeit an meinem Programm entdeckt habe.
Ich konvertiere eine String Tabelle in ein Zahlenarray, angeblich mit der Genauigkeit von 15 Stellen.
(Double 64bit reell)
lasse ich mir nun aber das Array anzeigen sind drei Stellen weg dabei aber immer schön gerundet.
Meine Zahlen sehen ungefähr so aus: 1,23456789E-05 mMn (wie in Numerik gelernt) sind das 9 Stellen und sollten somit alle angezeigt werden. Selbst wenn man die Zahl asuschreiben würde wären es 15 Stellen.. 0,0000123456789 (wobei die Stellen ja erst ab der ersten Ziffer ungleich 0 gezählt werden)
Liegt es an der Array Anzeige Funktion oder wird doch falsch von String nach Zahl gewandelt?
Gruß vom Tuner
Genauigkeit passt nicht(String nach Zahl und dann in Array) - Lucki - 03.11.2010 16:47
Eine Realzahl hat intern immer ihre volle Genauigkeit, aber in der Anzeige einer solchen Zahl sind immer nur so viele Stellen zu sehen wie in den Anzeigeeigenschaften vorgegeben. Was ist denn dort eingestellt?
Genauigkeit passt nicht(String nach Zahl und dann in Array) - Bobbycartuner - 03.11.2010 16:51
Jo da lag der Fehler. um in die Anzeigeeigenschaften zu gelangen muss man aber nicht(wie ich es immer versucht habe)
rechtsklick auf das gesamte Array, sondern auf ein Feld. Dort findet man dann auch Anzeigeeigenschaften, die auf 6 Stellen Genauigkeit stand.
Bedankt