INFO: Dieses Forum nutzt Cookies...
Cookies sind für den Betrieb des Forums unverzichtbar. Mit der Nutzung des Forums erklärst Du dich damit einverstanden, dass wir Cookies verwenden.

Es wird in jedem Fall ein Cookie gesetzt um diesen Hinweis nicht mehr zu erhalten. Desweiteren setzen wir Google Adsense und Google Analytics ein.


Antwort schreiben 

Ungenauigkeit von Floatingpoint (allgemein)



Wenn dein Problem oder deine Frage geklärt worden ist, markiere den Beitrag als "Lösung",
indem du auf den "Lösung" Button rechts unter dem entsprechenden Beitrag klickst. Vielen Dank!

26.07.2010, 13:02 (Dieser Beitrag wurde zuletzt bearbeitet: 26.07.2010 13:10 von GerdW.)
Beitrag #12

GerdW Online
______________
LVF-Team

Beiträge: 17.469
Registriert seit: May 2009

LV2021
1995
DE_EN

10×××
Deutschland
Ungenauigkeit von Floatingpoint (allgemein)
Hallo eMKay,

"Ich addierte Zahlen im Bereich von 0,0001 bis 1 und Zahlen von 7,7973687345558207E-18 bis 9,9999999999985964E-5"
EXT benutzen 64bit oder ~19 Dezimalstellen!
Schauen wir uns das mal an:
+0.000 100 000 000 000 000 000 000 000 000 000 0 (erste Zahl, abgesehen von Rundungsfehlern aufgrund unendlichem binären Bruch!)
+0.000 000 000 000 000 007 797 368 734 555 820 7 (zweite, sehr kleine Zahl)
=0.000 100 000 000 000 007 797 368 734 555 820 7 (Summe, "von Hand")
=0.000 100 000 000 000 007 797 4 (Summe, als EXT-Zahl, durch mich gerundet)

Problem erkannt? Dir fehlen plötzlich 12 Stellen im Ergebnis...

Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
Antwort schreiben 


Nachrichten in diesem Thema
Ungenauigkeit von Floatingpoint (allgemein) - GerdW - 26.07.2010 13:02

Möglicherweise verwandte Themen...
Themen Verfasser Antworten Views Letzter Beitrag
  LV allgemein: Labels der VIs im block diagram immer anzeigen laumann 10 8.688 05.02.2016 09:44
Letzter Beitrag: Freddy
  Systeminformationen Allgemein ermitteln dbuckl 14 8.058 24.03.2015 10:20
Letzter Beitrag: GerdW
  [Allgemein] Hilfe bei Euler-Winkeln Yantit 1 2.978 09.03.2011 08:17
Letzter Beitrag: Yantit
  LabVIEW Allgemein kcccp 11 10.375 06.07.2009 15:00
Letzter Beitrag: kcccp
  DataSocket allgemein Snoop2000 3 4.634 16.04.2008 03:58
Letzter Beitrag: thomas.sandrisser
  Reihenfolge von 2 Case-Strukturen bzw. Case-Struktur allgemein Bob 2 5.162 10.08.2007 14:52
Letzter Beitrag: Bob

Gehe zu: