Arbeitsbericht des Programmkomitees FOSSGIS 2020

von Thomas Skowron

Für die FOSSGIS-Konferenz 2020 wurde ich gebeten, das Programmkomitee (PKO) zu leiten. Da dies meine erste Teilnahme im PKO war, hat mich Michael Reichert mit Rat und Tat unterstützt. Weil die meiste Arbeit hinter verschlossenen Türen stattfindet, ist es angebracht, die Arbeitsprozesse und -ergebnisse offen zu legen.

Die Abläufe basieren auf der Dokumentation im Konferenzhandbuch und wurden an einigen Stellen weiterentwickelt. Es ist aber immer sinnvoll pragmatisch und ausgewogen zu handeln und bei Bedarf vom Plan abzuweichen.

Das PKO bestand aus zehn Mitgliedern mit verschiedenen Hintergründen und persönlichen Schwerpunkten, was eine vielfältige Auswahl ermöglicht.

Call for Papers

Für den Call for Papers (CfP) haben wir das Einreichungssystem Pretalx eingerichtet, der es ermöglicht, Vorträge und Workshops über eine standardisierte Oberfläche einzureichen. Mir ist ein Fall bekannt, in dem anstatt einer Einreichung eine Mail gesendet wurde. Der Teilnehmer wurde gebeten, die Einreichung ins System zu übertragen und die Einreichung wurde berücksichtigt.

Der Call for Papers listet die Formate, die eingereicht werden können, in unserem Fall: Vorträge (20 Minuten), Workshops (90 Minuten), Lightning Talks (5 Minuten), Demo-Sessions (60 Minuten) sowie lange OpenStreetMap-Vorträge (40+20 Minuten). Das Format muss dabei bei der Einreichung vom Speaker selbst gewählt werden, das PKO kann aber Änderungen vorschlagen oder vornehmen, sofern notwendig.

Der CfP begann am 1. Oktober 2019 und schloss am 17. November 2019, sodass etwa sechs Wochen Zeit gewährt wurden. Vor dem Start des CfP wurde der 18. November in die Zeitplanung aufgenommen, was aber vom Komitee offiziell auf den 17. November vorverlegt wurde, um den Mitgliedern eine komplette Woche für die Bewertung zu gewähren. In der offiziellen Kommunikation (Konferenzwebseite, Mailinglisten, Einreichungssystem, Social Media) wurde der 17. November verbreitet, inoffiziell war der CfP aber noch bis Mittag des 18. geöffnet, um leichten Verspätungen entgegenzukommen. Da aber nicht alle Referenzen auf den 18. November aus dem Planungswiki getilgt wurden, kam es in einem bekannten Fall zu einer Verwechslung. Diesem Einreichenden wurde eine spätere Einreichung ermöglicht, dieses Angebot wurde aber nicht wahrgenommen.

Für das nächste Jahr muss dies unmissverständlicher gemacht werden: Es gilt nur das Datum im CfP-Text und Einreichungssystem, alle abweichenden Angaben müssen auch aus dem Wiki getilgt werden, um Verwirrungen vorzubeugen.

Bewertungsprozess

Nach Ablauf der Einreichungsfrist haben die Mitglieder des Komitees pro Einreichung eine Bewertung abzugeben. Diese besteht aus zwei Komponenten: Einem numerischen Wert von 0 bis 3 sowie einer verbalen Begründung. Dabei muss und kann nicht jedes PKO-Mitglied für alle Vorträge eine Bewertung abgeben.

Bei Befangenheit sind die Mitglieder dazu angehalten, keine numerische Bewertung abzugeben. Üblicherweise hinterlassen die Mitglieder nur ein “Enthaltung [wegen Beteiligung von x]”. In einigen Fällen haben aber Mitglieder trotz selbst kommunizierter Befangenheit einen Kommentar hinterlassen.

Der Großteil der Bewertungen ist äußerst positiv: Über 40% der abgegebenen Stimmen entsprechen der Höchstwertung von “3”, nur etwa 5% wurden mit “0” bewertet.

Stimmenverteilung

Für die endgültige Bewertung wird der Median der Stimmen ermittelt, sodass sich halbe Bewertungen ergeben können. So ergab sich, dass knapp 40% eine Wertung von “3” erreicht haben. Knapp 80% der Vorträge haben eine Wertung von “2” oder besser. Drei Vorträge wurden vom Komitee mit “0” bewertet.

Wir haben zum ersten Mal dieses Jahr auch die Standardabweichung der Bewertungen betrachtet, damit kontroverse Entscheidungen innerhalb des PKO sichtbar werden und bei der späteren Auswahl ggf. nachdiskutiert werden können.

Für die Reviewer waren die Namen der Vortragenden sichtbar. Dies hat mehrere Gründe: Zunächst lässt sich nicht immer allein anhand des Abstracts oder der Beschreibung die Qualität der Session abschätzen. Die Reputation oder der Hintergrund der Einreichenden spielt auch mit ins Gesamtbild. Wissen wir von guten Vorträgen von früheren Konferenzen oder sehen wir, dass es die erste Einreichung eines Speakers ist, wird dies herausgestellt und führt i.d.R. zu einer höheren Bewertung. Es ermöglicht uns auch, bei mehreren Einreichungen des selben Speakers die beste(n) zu wählen. Speaker, die auf vergangenen Konferenzen z.B. schlecht bewertete Workshops gehalten haben, können wir so leichter identifizieren und entsprechende Maßnahmen treffen: Annahme mit Auflagen oder Ablehnung.

Es gab zudem einige Themendopplungen bei Einreichungen. Hierbei wurde entweder den Speakern vorgeschlagen, die Themen breiter aufzustellen und somit Teilthemen zu behandeln oder das Komitee wählte einen der Vorträge aus.

Bei QGIS-Einsteigerworkshops hatten wir sogar drei Einreichungen. Aufgrund der hohen Beliebtheit und der hohen Auslastung bei vergangenen Workshops haben wir uns entschieden, alle Einreichungen anzunehmen und an verschiedenen Zeitpunkten während der Konferenz anzubieten.

Auswahlprozess

Wir wurden vom Vorstand aufgefordert, auf Diversität bei der Wahl der Einreichungen zu achten. Im Hinblick auf den Frauenanteil haben wir eine Verbesserung erreichen können, dieser ist um 2,5 Prozentpunkte gestiegen. Das Komitee gewährte außerdem studentischen Arbeiten Vorteile bei den Bewertungen, da wir glauben, dass wir damit aufstrebende Teilnehmer besser integrieren können. Einreichungen von lokalen Teilnehmern (Freiburg) wurden ebenfalls leicht bevorzugt.

Sponsoren der FOSSGIS-Konferenz erwerben keine Vortragsslots, sind aber frei darin, Vorträge einzureichen. Die Teilnehmer des PKO sind nicht in die Sponsorenkommunikation involviert und sofern einzelnen Mitgliedern bekannt ist, wer Sponsor ist, sind wir bemüht diesen Umstand zu ignorieren und dies nicht in die Auswahl einfließen zu lassen.

Zur endgültigen Auswahl hat sich das PKO beim Hackweekend in Essen getroffen, um gemeinsam auf Basis der Bewertungen und den Kommentaren eine Auswahl zu treffen und das Programm mit Zeitablauf zusammenzustellen.

Von den zehn Mitgliedern des PKO, waren dabei acht anwesend. Ein weiterer Teilnehmer des Hackweekends ist dabei dazugestoßen, um bei der Auswahl zu helfen.

Zunächst wurden die Workshops gesichtet und eine Auswahl getroffen. Diese wurden sodann auf die Slots der drei Konferenztage verteilt. Als nächstes wurden Vorträge mit dem Schwerpunkt OpenStreetMap (OSM) betrachtet und bei Annahme in die Zeitslots der drei Hauptkonferenztage verteilt. Diese Vorträge wurden vorrangig in den kleinsten der drei verfügbaren Säle einsortiert.

Danach wurden gemeinsam alle Vorträge durchgegangen und vorsortiert: Annahme, Ablehnung oder “Wackelkandidat”. Von den sicher angenommenen wurden dann thematische Cluster gebildet und bevorzugt in gemeinsame Zeitblöcke einsortiert. Eventuelle Lücken wurden mit thematisch passenden Wackelkandidaten aufgefüllt.

PKO Wand

Nach einer Prüfung auf Kollisionen - Speaker müsste zeitgleich oder zeitnah mehrere Vorträge/Workshops geben, Speaker hat zu viele Vorträge oder Themen in verschiedenen Sälen überlappen sich zeitlich - wurde die Planung abgeschlossen.

Übrig gebliebene Wackelkandidaten waren somit nicht angenommen. Für einige Vorträge haben wir auf Basis der Einreichung oder früheren Erfahrungen Auflagen für die Annahme auferlegt, bspw. dass die Beschreibung ausgeführt werden muss oder die Slides vor der Konferenz dem PKO übersendet werden müssen. Dies soll eine hohe Qualität des Programms und eine bessere Übersicht für die Teilnehmer garantieren.

Ich habe dabei versucht darauf zu achten, dass zu jedem Zeitpunkt nur eine Diskussion geführt wird, um durch Parallelisierung keine Verwirrung zu stiften. Dies wurde von Teilnehmern gut aufgenommen.

Rückmeldung an Einreichende

Insbesondere bei Ablehnungen ist es wichtig, den Einreichenden Einblick in die Entscheidung zu geben. Wegen der Vielzahl der Einreichungen war es uns nicht möglich, auf jede Ablehnung detailliert einzugehen, weswegen wir eine Liste von Aspekten zurückmeldeten, die beim Auswahlverfahren eine Rolle spielten:

  • Die Person hält zu viele Vorträge, weshalb wir nur einen Teil annehmen konnten.
  • Als Vortragender sollte eine Person auftreten, keine Institution.
  • Die Zusammenfassung muss Projektfremden prägnant einen Aufschluss darüber geben, worum es sich handelt. Schwer verständliche oder mit Jargon gefüllte Texte haben eine geringe Chance, akzeptiert zu werden.
  • Wenn Software zugrunde liegt, soll es sich um freie Software handeln. Breit aufgestellte Software, die von einer Community getragen wird, wird von uns bevorzugt. Das Programmkomitee sollte erkennen können, dass es sich um freie Software handelt (d.h. entsprechende Fragen im Call for Papers beantwortet).
  • Werbung für Plattformen, die einen Vendor-Lock-in zum Ziel haben, wird nicht angenommen.
  • Es sollte eine Vortragsbeschreibung eingereicht werden, kein wissenschaftliches Paper.
  • Die Vortragsbeschreibung sollte den Vortragsinhalt beschreiben, nicht nur das Projekt/Produkt.
  • Frühe Einreichungen geben dem Komitee die Möglichkeit, Unklarheiten vorab zu klären.

Wir beabsichtigen für zukünftige CfP-Texte diese Aspekte vorab zu kommunizieren.

Es war uns aufgefallen, dass es ein paar Speaker gab, die sehr viele Einreichungen abgegeben haben (in einem Fall neun). Wir wollen in Zukunft darauf hinweisen, die Zahl der Einreichungen pro Person niedrig zu halten und selbst abzuschätzen, welche der Ideen die besten Aussichten auf Erfolg hat.

Um ein breites Spektrum an Vortragenden anzunehmen, versuchten wir die Höchstzahl an Einreichungen pro Person auf 2,5 zu deckeln (Lightning Talks zählen halb). Ein festes Limit hätte aber den Nachteil, dass bei Workshops, die mehrere Leiter haben, dies nicht hinreichend berücksichtigt werden würde. Für zukünftige Konferenzen sollten wir auch hier verbessern und bspw. angenommene Themen an andere Speaker abgeben/ausschreiben. Taugliche Maßnahmen müssen aber noch in Zukunft diskutiert und implementiert werden.

Was haben wir draus gelernt?

In Zukunft sollte die Rolle des OSM-Samstags schon bei CfP besser rausgestellt werden, da sich dort aufgrund des Barcamp.Characters Platz für mehr Diskussionsformate findet.

Insbesondere der Zeitablauf und -bedarf muss an PKO-Mitglieder sowie Einreichende noch klarer kommuniziert werden, damit die Planung kompakt und konzentriert stattfinden kann. PKO-Mitglieder müssen in der Bewertungswoche etwa 15 Stunden investieren, um ein umfassendes Bild von den Einreichungen zu bekommen und möglichst viele Bewertungen abgeben zu können. Dies ist ein hoher Zeitaufwand, deswegen das PKO versucht, diesen Zeitraum frühzeitig zu kommunizieren. Insbesondere aus dem Grund möchten wir weiterhin ein Gremium die Auswahl treffen lassen, anstatt auf ein Publikumsvoting auszuweiten: Es kann kaum von einer großen Gruppe erwartet werden, hunderte von Einreichungen zu sichten. Wir würden zudem befürchten, dass bei einer anonymen Abstimmung Vorurteile verstärkt und die Transparenz insbesondere in Bezug auf Befangenheit sinken würde.

Für den PKO-Leiter muss zwischen dem Bewertungszeitraum und der gemeinsamen Auswahl eine komplette Woche verbleiben, damit dieser Rückfragen der PKO-Mitglieder gesammelt an die Einreichenden zurückgeben kann. Wahrscheinlich muss auch hier den Einreichenden frühzeitig kommuniziert werden, dass sie in dieser Woche für Rückfragen bereitstehen sollten.

Wir konnten dieses Jahr mit zehn PKO-Mitgliedern effizient zusammenarbeiten, können aber immer neue, motivierte Mitstreiter gebrauchen. Sprecht mich gerne an, wenn Ihr Lust habt, mitzumachen.

Fin

Ich möchte hiermit den Mitgliedern des Programmkomitees danken, allen Einreichenden, dem Vorstand für das Vertrauen und allen beteiligten Konferenzorganisatoren. Ich freue mich auf eine tolle Konferenz. Bis dann!

— Thomas Skowron, Leiter Programmkomitee 2020