While the heart of OpenStreetMap is the community of mappers, it has also a remarkable ecosystem of software developed and used for OpenStreetMap. Many people are surprised to learn that it is so federated that the OpenStreetMap Foundation does only a tiny part of it.

The key to understand that is that many software projects have developers out of personal passion. The long time editing tool Potlatch has been developed and kept alive by Richard Fairhurst, JOSM luckily has a whole team behind it, and also Vespucci, OSMAnd, Nominatim and Osmium each are closely tied to names, as well as many other tools. This both keeps each of the tools focused and gives them a direction. Large organizations cannot offer that, because more often than not the managerial fashion of the season will interfere with pursuing long term goals.

Nonetheless, outsiders that expect a single point of contact shall have one. This is where the idea of the Engineering Working Group comes into play: it has a more specific mission than the board in general, but it still can send people and inquiries to the right places.

The EWG does not replace issue trackers. The EWG is not the right venue for comprehensive visions of the future. But it shall help to improve the flow of information related to development of OpenStreetMap related software.

I’m happy to chair the just restarted EWG.

My biggest contribution to the OpenStreetMap software ecosystem is the Overpass API: to enable all mappers to search for the information they want in the OpenStreetMap database by suitable formal expressions. I have developed the Overpass API completely in spare time, mostly because no organization by any measure ever would have approved such a project. This also includes to do reliable and meaningful testing, and this is again is in any organization a hard point to sell, even more because lip service and self-perception say otherwise. Hence the Overpass API itself is also a good example to illustrate the development model of personal passion.

My day job is at MENTZ, a company that develops software for public transit. It is itself a heavy user of OpenStreetMap data, most notably for pedestrian routing including routing of disabled people. We use OpenStreetMap also for better public transit information in general, but that is more like yet another stylesheet for the renderer than something specific. The challenge in pedestrian routing is that walking habits and potential states of ways are so wildly different that there is no standardization how to tag things and thus essential attributes still missing in many places - because it is so hard to explain to mappers what properties really matter.

The sessions of the EWG are public by default, and we encourage everybody else who has to say something on a topic to tell it the EWG. We will do our best to distill the factual arguments even out of contributions that take a stand.

Of course the best way to do that, to be as neutral and well-informed as possible about the OSM software ecosystem is to have enough members. So if you think your knowledge about OSM software development can help, please ask on engineering@osm.org for joining the EWG.

Vorab das Wichtigste: Die neue Version 0.7.53 ist auf overpass-api.de und dev.overpass-api.de jetzt aktiv. Die Rambler-Instanz wird in den nächsten Tagen folgen.

Weitere Details dazu werde ich weiter unten geben, ebenso, warum ein Vorfall rund um Pokemon Go mein Weltbild zu Zugriffsregeln erschüttert hat.

Doch zunächst möchte ich die Zahl des Monats präsentieren: 74.9 Prozent. Von 74.9 Prozent aller IPv4 /24-Subnetze, also aller überhaupt möglichen solchen Subnetze weltweit, habe ich mittlerweile Zugriffe in den Logfiles gefunden. Zu diesen Netzen gehören z.B. die von General Motors, Ford, Toyota, Daimler, BMW und Volkswagen. Bei Medienhäusern z.B. New York Times, Guardian und Der Spiegel. Weiterhin: SNCF, Deutsche Bahn, SBB, zahlreiche Universitäten und sogar ESRI. Selbstverständlich auch eine lange Liste von gewöhnlichen Internet-Providern. Zur Erinnerung: die Overpass API liegt eher im Maschinenraum und ist mehr technisch als nutzerfreundlich. Daher dürfte die amortisierte Reichweite der diversen Tile-Server noch weitaus höher liegen. Das passt sehr gut zu der Beobachtung, dass große Teile der öffentlichen Verwaltung in Deutschland damit experimentieren, OpenStreetMap in ihre Arbeitsabläufe zu integrieren.

Fazit: OpenStreetMap ist alles andere als klein. Es ist bereits der De-Facto-Standard für Geodaten. Und wenn es Wachstumsgrenzen für OpenStreetMap gibt, dann ist die Wichtigste davon die Größe der Menschheit.

Das heißt nicht, dass eine Mehrheit der Menschheit bereits OpenStreetMap nutzt. Geodaten kann man nicht essen, sie sind auch kein Medikament. Geodaten sind wichtig, aber nicht der Schwerpunkt der Welt. Die Statistik von oben sagt also: Wer sich für Geodaten interessiert, der kennt höchstwahrscheinlich OpenStreetMap.

Daher ist “irrelevant” ein abwegiges Adjektiv für OpenStreetMap. Blog posts, die beides zusammenzubringen versuchen, sind schlicht falsch. Das bedeutet nicht, sie seien böswillig. Aber es bedeutet, dass sie aus einem sehr ungewöhnlichen Umfeld der letzten 25.1 Prozent des Internets kommen. Daher gibt es keinerlei Veranlassung, irgendwelche obskuren und verworrenen Dokumente namens “CoC” in die Community einzuschmuggeln. Die Leute, die damit geworben werden sollen, wird es höchstwahrscheinlich gar nicht geben. Es wäre sehr ungewöhnlich, wenn potentielle neue Mapper mehr Bürokratie als Voraussetzung fordern.

Aber zurück zur Overpass API. Während des Wochenendes rund um den 1. Oktober hat es eine Lastspitze gegeben. Meistens kommen solche Lastspitzen von Entwicklern, die versuchen, unverhältnismäßige Mengen Last auf die API zu beaufschlagen. In diesem Fall hat sich aber herausgestellt, dass die Last über overpass-turbo.eu kommt - angesichts der Zielgruppe technisch versierter Nutzer ist das praktisch auszuschließen.

Es hat einige Tage gedauert, bis die Ergebnisse der Suchmaschinen Hilfe für eine Hypothese geliefert haben. overpass-turbo.eu ist in der Pokemon-Go-Gemeinde bekannt geworden. Die Prüfung dieser Hypothese hat zutage gefördert, dass an diesem Wochenende von etwa 30’000 verschiedenen IP-Adressen pro Tag auf die Overpass API zugegriffen worden ist - etwa das Doppelte der normalen Nachfrage. Die empfehlenden Seiten geben jedoch reichlich Attributierung von (und Werbung für) OpenStreetMap - eigentlich ist das genau die Art von Außendarstellung, die wir uns wünschen. Von daher ergäbe es keine Sinn, diese Art Abfragen zu sperren, und es ergäbe erst recht keinen Sinn, overpass-turbo.eu zu sperren.

Daher ist eine Erkenntnis des Wochenendes, dass ich mich um mehr Server-Kapazität bemühen sollte. Einen Teil des Kapazitätsgewinns werden wir über Software-Verbesserungen von Mmd und mir erreichen können. Aber vermutlich taugt die Overpass API als Aushängeschild für OpenStreetMap-Geodaten ab irgendwann in 2017 nur mit einem zweiten Server. Gerade Geodaten-ferne Nutzer werden vernüftige Antwortzeiten brauchen.

Version 0.7.53 glänzt vor allem mit weniger Bugs. Ein paar neue Features gibt es aber auch: * [!key] kann als einfachere Notitation für [key!~”.”] verwendet werden. * Die user-Anweisung kann mehrere Benutzer auf einmal per Komma-getrennter Liste entgegennehmen

Version 0.7.54 wird hoffentlich mit weniger zeitlichem Abstand und schon zum Jahresende fertig. Einige Features habe ich bereits entwickelt, andere sind im SotM-Vortrag (Video sollte folgen) skizziert. Es lohnt also, dranzubleiben. Und sich in der Zwischenzeit an der frohen Botschaft zu erfreuen, dass OpenStreetMap bereits der De-Facto-Standard für allgemeine Geodaten ist.

The most important news is that version 0.7.53 is now live on the dev.overpass-api.de and overpass-api.de server. The Rambler server will follow in the next days.

I will give details on this further below. Also below I will explain how an incident with Pokemon Go shaked my mindset about quota policies.

Before this I will present the number of the month: 74.9 percent. From 74.9 percent of the total IPv4 /24 subnets of the entire world I have observed requests in the logfiles. Amongst some random IP block owners from the logfile: General Motors, Ford, Toyota, Daimler, BMW, Volkswagen. Media Outlets: New York Times, Guardian, Der Spiegel. Further starring: SNCF, Deutsche Bahn, SBB, numerous universities and even ESRI. Of course also long lists of telephone carriers. Remember that Overpass API is a quite deeply buried and highly technical service. It is almost sure that the popularity for the combined tile servers is even higher. This matches very good with the observation that half of the public administration in Germany is figuring out how to get OpenStreetMap in their workflow.

Punchline: OpenStreetMap is by no means small. It is the de-facto standard for general purpose geodata. And if there are limits to the growth of OpenStreetMap in sight, then these are most likley the size of mankind.

This does not mean that the majority of mankind is using OpenStreetMap. Please do not forget that you cannot eat geodata. Or substitute drugs. Geodata is in important field, but not the core of the world or the internet. The statistics from above say that whoever is involved in geodata is almost surely aware of OpenStreetMap.

Hence “irrelevant” is an adjective quite entirely unrelated to OpenStreetMap. Blog posts stating otherwise are simply wrong. This need not be a willful misinformation, but it may be an observation from a very unusal environment somewhere in the last 25.1 percent of the IPv4 space. Hence there is no need to have some obscure and complicated extra documents called “CoC” or so just to please unknown people that might not exist at all. Let aside that there is few to no precedence that extra bureaucracy pleases people.

But back to Overpass API. During the weekend around October 1st I have seen a spike in load. Such a spike is most of the time some developer trying to offload undue amounts of requests on the Overpass API. In this case it turns out that the only client responsible for a load spike is (overpass-turbo.eu)[http://overpass-turbo.eu] - due to the highly technical nature of the tool this is more than unlikely.

It has taken some days until the search engines have delivered the evidence what was going on: overpass-turbo.eu has got credits from the remaining Pokemon Go community. Testing against that hypothesis, I found that people have accessed from 30’000 different IP adresses per each day of the weekend on Overpass API - roughly twice the normal. However, there is plenty of credit for OpenStreetMap. From the logs I can observe that a lot of users come from developing countries. And from my personal environment I know that more than half of Pokemon-Go-players are female. Actually I would call this as exactly what we like to achieve with outreach. Hence, neither blocking these users constituting the spike nor blocking overpass-turbo.eu altogether would be an option that makes sense.

So a second result of this weekend is that I should ask rather soon for more server capacity. The improvements by Mmd and me may help. But a second server at some point in 2017 would probably help to attract people. Maybe even people that do not yet have a relation to geodata.

Version 0.7.53 excels rather at having fewer bugs than at having new features. There are nonetheless some improvements: * [!key] can be used as shortcut for [key!~”.”] * the user statement accepts multiple users as a comma separated list

Version 0.7.54 is hopefully ready at the end of the year. I have already started to develop some features. Others have been sketched in my SotM talk (video tba). So please stay tuned. And in the meantime, please spread the message that OpenStreetMap is already the standard choice for general purpose geodata.