Spendenaufruf Overpass API 2014
Overpass API: Mehr Kapazität[Bearbeiten | Quelltext bearbeiten]
Am 28. Mai erreicht die Overpass API ein kleines Jubiläum: seit dann fünf Jahren versorgt sie die Nutzer von OpenStreetMap mit genau dem Teil der Daten, den sie wollen.
Das tut sie mit durchaus Erfolg: allein im letzten Jahr ist die durchschnittliche tägliche Nutzerzahl von 700 auf 4500 gestiegen (Vergleich März 2012 bis März 2013 gegenüber März 2013 bis März 2014).
Auch die Anzahl der Anfragen ist auf mittlerweile durchschnittlich 180.000 pro Tag gewachsen, die abgefragte Datenmenge auf 45 GB pro Tag.
Kehrseite des Wachstums ist, dass nun doch so langsam die Kapazitätsgrenze der Festplattengeschwindigkeit auf dem Server erreicht ist. Statt den Mangel zu verwalten, würde ich gerne die Kapazität erhöhen: mit einer SSD statt einer traditionellen Festplatte ist etwa eine Verzehnfachung der Kapazität möglich.
Dies schafft dann auch die Kapazitätsreserve, um demnächst auch alte Daten archiviert anbieten zu können und dann endlich unerwünscht gelöschte Daten in der OpenStreetMap-Datenbank leicht wiederfinden zu können.
Das kostet allerdings Geld, auf eine Sicht von 2 Jahren etwa 1300 EUR. Nach Rücksprache mit dem FOSSGIS würde ich gerne im Wege von Spenden an den FOSSGIS
FOSSGIS e.V. BLZ: 551 900 00 Mainzer Volksbank Kto.: 415938026 IBAN: DE93 5519 0000 0415 9380 26 BIC: MVBM DE 55
mit Betreff "Overpass API" dieses Geld sammeln. Für alle, die gerade eine Steuererklärung gemacht haben: Spenden an den FOSSGIS sind von der Einkommenssteuer befreit, wenn man sie in der Steuererklärung angibt und eine Kopie des Kontoauszugs beilegt. Ich selbst werde 50 EUR spenden, aber auch eine Spende von 5 EUR finanziert die Erweiterung bereits für 3 Tage.
Sollte mehr Geld zusammenkommen, werden wir den Betrieb der Overpass API einschließlich der SSD-Erweiterung für mehr als zwei Jahre im Voraus finanzieren können. Sollte weniger Geld zusammenkommen, entsprechend kürzer.
Zu den technischen Details: Wie man im Munin für die Overpass API unter Lese-/Schreibauslastung sehen kann, sind die Festplatten an etwa 16 Stunden des Tages über 95 Prozent aktiv, d.h. an ihrer definitiven Leistungsgrenze.
Ein Testlauf im Umfeld der OpenSeaMap (mit einer nicht Server-tauglichen SSD) hat für das weltweite Auslesen von Seezeichen die Laufzeit von 30 Minuten auf 2 Minuten reduziert. Daher die Hoffnung, dass eine SSD eine Kapazitätserweiterung um den Faktor 10 tatsächlich erbringen kann.
Die Statsitiken zu Nutzerzahl, Datenmenge und Abfragenzahl sind leider etwas schwierig zu lesen, da ich sie nicht groß aufbereite: Der komplette Datensatz wird als JSON übertragen und kann dann client-seitig im Browser untersucht werden.
Mit dem ersten Dropdown-Feld kann gewählt werden, ob alle Abfragen oder nur die auf /api/interpreter bzw. nur die auf /api/xapi usw. berücksichtigt werden. Mit dem nachfolgenden Testfeld kann auf ein einzelnes Land mit ISO-Ländercodes eingeschränkt werden.
Zu "Ltr" oder "Rtl" ist etwas mehr Erklärung notwendig: Jedes Diagramm stapelt die Zahlen segmentiert nach total abgefragter Datenmenge pro IP-Adresse pro Tag. So lässt sich unterscheiden, ob sehr viele Nutzer jeweils wenig Daten herunterladen (z.B. eine neue Smartphone-App), sehr wenige Nutzer sehr viele Daten (Massennutzer) oder viele Benutzer mittlere Datenmenge (Wachstum der normalen Nachfrage). Die Stufen sind: unter 1 KB, 1 KB - 10 KB, dann weiter mit Zehnerpotenzen bis 100 MB bis 1 GB, danach über 1 GB. Die graue Kurve zählt z.B. Nutzer, die insgesamt weniger als 1 KB Daten heruntergeladen haben. Die grüne Kurve liegt bei 1 MB bis 10 MB, die rote Kurve kennzeichnet die höchste Stufe über 1 GB. "Ltr" stapelt klein auf groß, "Rtl" stapelt groß auf klein.
Mit dem nächsten Zahlenfeld kann man das anzuzeigende Maximum automatisch bestimmen lassen (Wert "0") oder manuell setzen (anderer Wert). Danach folgen zwei Felder für minimales und maximales Datum. Das letzte Feld erlaubt, über mehr als einen Tag zu mitteln; es wird dann der Mittelwert der letzten entsprechend vielen Tage angegeben. Z.B. habe ich obige Werte mit dem Jahreswert 360 berechnen lassen.
