Projekt Meeresblick | Meeresblick

Abstract und Bericht

Mit dem Beginn der intensiven industriellen Herstellung von Kunststoffen für Verpackungen, Stoffe und Alltagsgegenstände in den fünfziger Jahren begann gleichzeitig auch ein Zeitalter der Umweltverschmutzung. Nicht mehr benötigte Materialien gelangten über Umwege und oft auch direkt in die Ozeane der Erde. Inzwischen gelangen über 10 Millionen Tonnen Plastikmüll jährlich in die Weltmeere und werden an Strände angespült.
Diese Situation im Hinterkopf entwickelten wir ein bildgestütztes Verfahren zur Identifikation der Verschmutzungslage ausgewählter Strände. Hierbei sollten nur öffentlich verfügbare und von hilfsbereiten Nutzern an uns übermittelte Daten genutzt werden (favorisiert Webcams) und keine Eigenbeschaffung notwendig sein.
Die gewonnenen Daten werden anhand von Kantenberechnung, Schwellwerten und Objekterkennung analysiert und klassifiziert. Dazu wurden eigene Datasets zusammengestellt, um häufig an Stränden vorkommende Objekte auszufiltern. Mithilfe auf dem Canny-Algorithmus basierender Verfahren werden Entscheidungen zur Kantigkeit der einzelnen Strandbereiche und darauf aufbauend eine Zuordnung zu Müll getroffen. Durch Farbschwellwerte und Linienerkennung separieren wir Strand vom Ozean. Aus der Kombination dieser Ergebnisse wird ein Verschmutzungsgrad und Flächengröße ausgegeben, welcher von Umweltorganisationen und staatlichen Stellen weiterverarbeitet werden kann.

English: The start of intensive industrial production of plastics for packaging, fabrics and everyday objects in the 1950s also marked the beginning of an era of environmental pollution. Materials that were no longer needed ended up in the earth's oceans via detours and often directly. In the meantime, more than 10 million tons of plastic waste enter the world's oceans every year and wash up on beaches.
Keeping this situation in mind, we developed an image-based method to identify the pollution situation of selected beaches. For this purpose, only publicly available data transmitted to us by helpful users should be used (favoring webcams) and no self-procurement should be necessary.
The acquired data will be analyzed and classified using edge calculation, thresholding and object detection. For this purpose, custom datasets were compiled to filter out objects that frequently occur on beaches. With the help of methods based on the Canny algorithm, decisions are made on the edginess of the individual beach areas and, based on this, an assignment to trash is made. Using color thresholding and line detection, we separate beach from ocean. From the combination of these results, a pollution level and area size is output, which can be further processed by environmental organizations and government agencies.

Projektbericht Meeresblick: Download

Motivation

Was hat uns motiviert dieses Projekt aufzubauen und an diesem mitzuwirken?
Einer unserer Hauptgründe ist das Interesse am Meer und den Umweltschutz. Mit diesem Projekt haben wir die Möglichkeit mit gegen den Meeresmüll vorzugehen. Der angeschwemmte Müll wird von uns mittels Objekterkennung visuell dargestellt, um so schlussendlich zu zeigen wann die höchsten Aufkommen an Stränden ist. Das Aufkommen ist durch verschiedenen Einflussfaktoren, wie Gezeiten, Wind, Stürme etc., sehr variabel. Es wurde von uns die Möglichkeit geschaffen den angeschwemmten Müll an den verschiedenen Formen der Strände zu erkennen und wird dabei vom OceanView Ready Zertifikat ergänzt, da öffentliche Kameras nur selten die gleiche Motivation wie wir verfolgen.
Wir sind eine Gruppe aus elf Studierenden aus dem Fachbereich 3 der Universität Bremen. Vertreten sind die Studiengänge Informatik und Wirtschaftsinformatik. Unterstützt werden wir von Prof. Dr. Ralf Bachmayer, aus der Arbeitsgruppe Marine Umwelttechnologien/ Tiefsee Ingenieurwissenschaften des Marums. Das Projekt startete im Wintersemester 21/22.

Über das Projekt Meeresblick

Meeresbeobachtungen, speziell über längere Zeiträume hinweg sind oft schwierig, zeit- und kostenintensiv. Jedoch wird es immer wichtiger die Zustände unsere Meere und Gewässer mit ihren Küstenlinien zu erfassen und über längere Zeiträume ihre Entwicklungen zu verfolgen. Diese Beobachtungen sind von globalem Interesse mit Bezug auf Klimawandel aber auch lokal mit Bezug auf Verschmutzung, Erosion, Gezeiten, Wellengang, und genereller Nutzung des Meeres, z.B. Tourismus oder Aquakultur, Fischerei, ...
Im Projekt Meerblick geht es darum, existierende Infrastruktur, in unserem Falle z.B. Beach und Harbour Kameras zu nutzen um interessante Beobachtungen durchzuführen. Hierzu soll zusammengefasst werden, welche Küsten, Häfen und Strände bereits "Instrumentiert" sind. Es soll versucht werden einige diese Instrumente oder Sensoren nach potentieller Beobachtungspotential zu kategorisieren und exemplarisch auszuwerten. Dies kann direkt, z.B. Bild-Detektion von Plastikmüll, Gezeiten, ... oder indirekt, z.B. über die Wellenfrequenz den Wellengang durch Modellierung herzuleiten. Es ist davon auszugehen, dass nicht alle Kameras optimal für diese Aufgaben geeignet sind. Ein Leitfaden oder sogar ein OceanView Ready Zertifikat nach unseren Vorgaben ist ein Schritt um den Betreibern solcher Kamera’s bei der Auswahl zu unterstützen.

Quelle: windy.com

Schlagworte und Stichpunkte: Essential Ocean Variables2 (EOV)

Fragestellung: Was kann man aus den Bildern und Videosequenzen an Informationen zum Zustand der Meere und Küsten gewinnen?

Gezeiten (Tides), Wellengang (Seastate), Strömung,...
Küstenerosion, Versandung, Vegetation?
Verschmutzung: Was/Wieviel/Wann wird angeschwemmt?
Nutzung? Tourismus, Fischerei, Aquakultur,...

Mögliche verschiedene Unterprojekte/Schritte:

Datenquellen Charakterisierung (Nacht/Entfernung/...)
Bildverarbeitung
Welche Grössen/Variablen?
Kalibrierung
Hardware Anforderungen (ideal/real) könnte zu einer Zertifizierung (z. B. OceanData ready) bis hin zur eigenen Systementwicklung führen.

Eventuell spätere Erweiterung als Mastersarbeit oder Mastersprojekte

Downloads:

Info Folien Meeresblick

Projekt Kurzbeschreibung

Weitere Projekte

Im Rahmen des Bachelorprojektes konnten wir weitere Projekte zur Müllerkennung und Reinigung der Meere kennenleren. Unteranderem nahm sich Dr. Szymon Krupinski der Firma WasteAnt die Zeit uns sein Startup näher zu bringen und uns die Grundidee zu erklären, mit künstlicher Intelligenz Abfallströme zu optimieren. Dabei konnten wir Ansätze auf unsere Projekt übertragen.

Projekte:	Weitere Informationen:
WasteAnt	hier
Ocean Conservancy
#TeamSeas
The Ocean Cleanup

Literatur

Folgend eine Auflistung der verwendeten Literatur zu Beginn des Projektes:

- N. Jacobs, W. Burgin, N. Fridrich, A. Abrams, K. Miskell, B. H. Braswell, A. D. Richardson, and R. Pless, in Proceedings of the 17th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems, ser. GIS ’09. New York, NY, USA: Association for Computing Machinery, 2009, pp. 111–120.
- Zusammenfassung:
  Es gibt weltweit tausende von öffentlichen Kameres, die Live-Bildübertragungen im Internet anbieten. Die Autoren berichten von Methoden zur Entdeckung und Organisierung der bereits existierenden Kameras. Sie klassifizieren die Bilder in deren Aktualisierungsraten, der räumlichen Verteilung und Charakterisieren deren Umgebung. Deren Ziel ist es, eine vollständige Liste von Urls zu erstellen, die auf ein Live-Bild einer Kamera zeigen und dieses Bild dann zu nutzen, um die ökologischen Eigenschaften der Umgebung zu messen. Sie empfinden, dass diese Masse an Kameras eine ungenutzte Ressource zur Überwachung unserer Welt darstellen. Das dieser Bereich ignoriert wurde, auf Grund der Herausforderung diese große Masse an Bildern überhaupt zu finden und zu organisieren. Deren Arbeit soll dabei helfen, diese Herausforderung zu überwinden.
- T. B. Brown, K. R. Hultine, H. Steltzer, E. G. Denny, M. W. Denslow, J. Granados, S. Henderson, D. Moore, S. Nagai, M. SanClements, A. Sánchez-Azofeifa, O. Sonnentag, D. Tazik, and A. D. Richardson, Frontiers in Ecology and the Environment, vol. 14, no. 2, pp. 84–93, mar 2016.
- Zusammenfassung:
  Der Artikel handelt darüber, dass das Entwickeln von Strategien zur Verringerung der Umweltveränderungen, eine größere und vielfältige Sammlung von erhobenen Daten benötigt. Und das benötigt ein maßgebliches Vertrauen an innovativen Strategien, um mit diesen den ökologischen Wandel lokal bis global zu überwachen zu können. Hier kommen die in den Artikel erwähnten "Phenocams" zum Einsatz. Phenocams sind digitale, automatisierte Zeitraffer-Kameras, die den Vegetationsstand und Veränderung der Umgebung über einen längeren Zeitraum überwachen. Damit diese auch effektiv genutzt werden können, werden Netzwerke wie die US National Ecological Obervatory Network (NEON) oder die European Union's Integrated Carbon Observation System (ICOS) benötigt. Wie man solche Kameras dann im Detail baut und anwendet wird genauer im Artikel erklärt.
- S. Kako, A. Isobe, and S. Magome, Marine Pollution Bulletin, vol. 60, no. 5, pp. 775–779, may 2010.
- Zusammenfassung:
  Studien belegten zwar, dass die Menge an Müll an Stränden einen deutlichen positiven Trend haben, jedoch konnte nicht ausgeschlossen werden, ob es menschliche Fehler gab, außerdem konnte kein genauer Zeitraum bestimmt werden, da Zählungen nur monatlich durchgeführt wurden.
  Es wurde eine Überwachungsmethode mittels zweier Webcams geschaffen. Diese machten alle 90 Minuten ein Bild und machten die Einstreuungsmenge genauer messbar, sowie mögliche Faktoren für Veränderungen erkennbar. Es wurde ersichtlich, dass am Ookushi-Strand der Müll nicht einfach zunahm, sondern sich durch den Einfluss des Windes veränderte. So kam zum Schluss, dass auflandiger Wind die Menge drastisch erhöhte und ablandiger Wind die Menge verringerte. Dadurch ließ sich folgern, dass wissenschaftliche Erhebungen, sowie Strandreinigungsdienste ineffizient und unangemessen nach einem solchen Ereignis waren. Um den Müll an Stränden zu reduzieren, könnten nun effektiver Zeiträume für Reinigungsdienste gewählt werden, außerdem durch systematische Überwachung der Quellen des Meeresmülls.
- E. S. Frode Eika Sandnes, Kim Andre Pettersen and E. Haugstad, in NIK-2011 conference. Faculty of Technology, Art and Design Oslo and Akershus University College of Applied Sciences, 2011.
- Zusammenfassung:
  Der Artikel von der Oslo und Akershus Universität der angewandten Wissenschaft handelt von der Datenerzeugung von Wetterberichten. Meist basieren die Daten von Wetterberichten von Wetterstationen, Satellitenbilder oder Ähnliches. Die Autoren dagegen schlagen ein System vor, das Wetterberichte automatisiert generiert, in dem sie Daten von Kamerabilder verwenden. Es gibt zwei Arten von Wetterberichten, zum einem, die auf Echtzeit-Wetterberichten basieren und dann noch die, die Wettervorhersagen machen. Der Artikel behandelt die Echtzeit-Wetterberichte, erwähnt aber auch, dass die Strategien auch mit Vorhersage-Strategien vereint werden könnten, um diese für Wettervorhersagen verwenden zu können. Die Bilder wurden in Tage und Nächte, Sonnig und Wolkig und Nebel klassifiziert. Es wurden nur öffentliche verfügbare Webcams verwendet. Die Studie endete mit dem Ergebnis, dass sie eine Erfolgsrate von 67.3% hatten, den richtigen Wetterzustand zu bestimmen und das die Strategie am besten bei nächtlichen und wolkigen Bilder funktioniert.
- A. Luijendijk, G. Hagenaars, R. Ranasinghe, F. Baart, G. Donchyts, and S. Aarninkhof, Scientific Reports, vol. 8, no. 1, p. 6641, 2018.
- Zusammenfassung:
  In dem Artikel “The State of the World’s Beaches” wird untersucht wie viel der Küsten aus Sandstränden bestehen und wie sich diese über die Jahre verändert haben. Dabei greifen die Autoren auf kostenfreie Satellitenbilder zurück, welche seit 1984 aufgenommen wurden. Es wird unterschieden wie viel Prozent der Strände über diesen Zeitraum erodieren (24%) und mit welcher Geschwindigkeit. Ebenso werden die Anteile der stabilen und wachsenden Strände ermittelt (48% und 28%).
  Für die große Menge an Satellitenbilder zeigten sich Verfahren des maschinellen Lernens und der Bildverarbeitung als zuverlässig.
  Die Klassifizierung der Bilder wurde von Hand durchgeführt. Es wurde sich dabei auf Sand und Kiesstrände beschränkt, weil die Veränderung von anderen Küstenlinien (z.B. schlammbedeckte oder mit Mangroven bewachsene Küsten ) deutlich komplexer wäre und die Unterscheidung von Sand und Kies auf Satellitenbilder nicht möglich ist. Dabei lässt sich auch ein Korrelation zwischen Breitengrad und somit Klimazone und der Häufigkeit der Sand-/Kiesstrände feststellen.
  Die Studie untersucht dabei die chronische Erosion, also jene die über längere Zeiträume stattfindet. Als Ursache für solche Veränderungen werden unter anderem an Küsten gebaute Strukturen genannt die den natürlichen Transport von Sand behindern oder auch das fördern von Sand in Flussmündungen.
- 2021, April - Shoreline change - sentinel online.
- S. Kako, A. Isobe, and S. Magome, Marine Pollution Bulletin, vol. 64, no. 6, pp. 1156–1162, 2012.
- I. Papachristopoulou, A. Filippides, E. Fakiris, and G. Papatheodorou, “,” Marine Pollution Bulletin, vol. 150, p. 110684, 2020.
- Zusammenfassung:
  EU MSFD TGBL D.10 ‘Guidance on Monitoring of Marine Litter in European Seas’ (Leitlinie zur EU-Kommission zum einheitlichen Vorgehen bei der Beobachtung von Meerverschmutzung).
  Absuchen(=Fotografieren) von 62 Stränden im Golf von Saronikos mittels Motorboot, nur bei kaum vorhandenem Wind Testgruppe von 4 Stränden, in denen die Ergebnisse der Fotos überprüft wurden:
  Alle 3 Monate professionelle Reinigung, Sammlung und Identifikation der Strände, Aufteilung in 8 Materialgruppen und 213 Gegenstandsgruppen
- M. Kammler and G. Schernewski, in Managing the Baltic Sea. Coastline Reports 2, G. Schernewski and N. Löser, Eds., no. ISSN 0928-2734, 2004, pp. 121 – 128.
- Zusammenfassung:
  Vorstellung einer automatischen Verarbeitung der Quantifizierung der Strandbesucher und daraus folgender Analyse über die räumlichen und zeitlichen Ansprüche und das Verhalten der Besucher des Strandes. Für die Verarbeitung wurden Webcams in Kombination mit Luftbildern verwendet. Für die Verarbeitung wurden RGB images in 8-byte greyscale Images umgewandelt, dadurch war eine Analyse durch das greyscale Histogramm möglich. Am Ende wurde, anhand eines Fallbeispiels, eine Feststellung der durchschnittlichen Fläche die jeder Besucher zur Verfügung hat ermittelt.
- V. K. Singh, M. Gao, R. Jain - MM '10: Proceedings of the 18th ACM international conference on MultimediaOctober 2010 Pages 481–490
- Zusammenfassung:
  By taking the location data and contents of posts on social media one can create a heatmap showing how much interaction there is with a topic and in this case the sensor to measure obtain the contents and make them available is a human which brings many advantages with it such as describing emotions, being a first respondent or passing information which is not yet confirmed by government or otherwise official deemened sources. To trigger the creation of an event in the system it is required that multiple people being in the vicinity of each other create posts where the semantic of them is similar enough to be considered discussing the same event. The developed query engine supports 6 sets of operations currently : Selection, Arithmetic and Logical, Aggregation, Grouping, Characterization and Pattern matching, what the use case of each of them pertains to and their in-depth structure is explained in more detail in the research paper.
- Atsuhiko Isobe, Shin’ichio Kako, Tomoya Kataoka, Shinsuke Iwasaki, Charlie Plybon and Thomas A. Murphy, vol. 25, no. 1, pp. 32-35, winter 2017
- Zusammenfassung:
  Es wird geschätzt dass ca. 5 Mio Tonnen Bruchstücke durch Tsunamis in Japan in den Nord Pazifik geflossen sind. Davon sollen 1.5 Mio immernoch am treiben sein. Es ist anscheinend eine schwierige Aufgabe, abzuschätzen wie viele Trümmer davon ans Land gespült wurden. Deren Webcam System basiert darauf in regelmäßigen Abständen automatisch Fotos zu machen und dann per Hand zu zählen wie viele Teile an Land gespült worden sind. Es wurde dann beobachtet, dass es zu unterschiedlichen Zeiten unterschiedlich große Mengen angespült werden. Deren Hypothese war, dass der Wind gerade im Wechsel vom Sommer zu Winter besonders daran Schuld ist, das zu diesen Zeiten mehr angespült worden ist. Mit mehreren Graphen/Modellen wird dies das dann untersucht.
- Atsuhiko Isobe, Shin’ichio Kako, Tomoya Kataoka, Shinsuke Iwasaki, Charlie Plybon and Thomas A. Murphy, vol. 132, pp. 33-43, july 2018
- Zusammenfassung:
  Der Artikel "Sequential webcam monitoring and modeling of marine debris abundance" von Kako Shin'ichiro ; Isobe, Atsuhiko ; Kataoka, Tomoya ; Yufu Kei ; Sugizono Shuto ; Plybon Charlie und Murphy Thomas A aus dem Jahr 2018 ist ein Auszug aus der Zeitschrift "Marine Pollution Bulletin" und beschreibt die kritischen Faktoren zusammen, um eine retrospektive Simulation der zeitlichen Variation der Trümmerhäufigkeit an den Westküsten der Vereinigten Staaten und Kanadas durchzuführen. Mithilfe einer installierten Webcam auf einem Strand in Newport ( Oregon, USA) haben sie eine Studie gemacht, um Informationen zu sammeln.
  Es sei darauf hingewiesen, dass der Wind an der Meeresoberfläche eine wichtige Rolle spielt, da sich Meeresschutt an den Küsten von Newports Stränden festsetzt.
- Scott Workman, Richard Souvenir and Nathan Jacobs, vol. 134, pp. 116-129, may 2015
- Zusammenfassung:
  Der Artikel "Scene shape estimation from multiple partly cloudy days" von Scott Workman, Richard Souvenir und Nathan Jacobs aus dem Jahr 2014 ist ein Auszug von ,,Computer Vision and Image Understanding'' und beschreibt einerseits die Nützlichkeit, die Geometrie einer 3D-Szene zu kennen, und andererseits das zu befolgende Verfahren, um schnell ein vollständiges 2D- oder 3D-Szenenmodell zu lösen.
  Es ist wichtig zu betonen, dass Sonne, Wolken und ihre Schatten eine sehr wichtige Rolle bei der Geolokalisierung, Orientierung und dem Sichtfeld unbeaufsichtigter Kameras spielen und vor allem auch die Einschätzung der Struktur der Szene ermöglichen können.
- O. Sonnentag, M. Detto, R. Vargas, Y. Ryu, B. Runkle, M. Kelly and D. Baldocchi, Environmental Science, 15 july 2011
- Zusammenfassung:
  Der Artikel "Tracking the structural and functional development of a perennial pepperweed (Lepidium latifolium L.) infestation using a multi-year archive of webcam imagery and eddy covariance measurements" von O. Sonnentag, M. Detto, R. Vargas, Y. Ryu, B. Runkle, M. Kelly und D. Baldocchi aus dem Jahr 2011 ist ein Auszug aus der Zeitschrift "Agricultural and forest meteorology" und spricht einerseits über die Verwendung von RGB-Farben, um die Unterscheidung zwischen grünen Pflanzen und Bodenhintergrund zu verbessern, und andererseits mit Hilfe einer Webcam die Informationskapazität des Farbraums zu erkunden, damit man die strukturelle und funktionelle Entwicklung der Pfefferstreuer verfolgt, um geeignete Kontrollentscheidungen zu treffen.
  Als Vorgehen entschieden sich die Autoren für ein von Pfeffer befallenes Weideland auf Sherman Island aufgrund des abwechslungsreichen Klimas in dieser Region. Dann beschlossen sie, einen mikrometeorologischen Turm zu installieren, der sich in einem eingezäunten Gehege im südlichen Teil des Geländes befindet, um den Austausch von Gasen und Energie des Blätterdachs unter Verwendung der Kovarianz der Wirbel zu messen. Sie entscheiden sich dann für eine Webcam (DCS-900; D-Link Corporation, Taipei, Taiwan), die in 2 m Höhe montiert wird. Die Webcam zeigt eine horizontale Ansicht des von Pfefferplantagen befallenen Teils des Geländes. Diese ist über einen Router mit einem kabelgebundenen lokalen Netzwerk verbunden und so konfiguriert, dass Fotos von (680 x 480 Pixel) tagsüber zwischen DOY 277 im Jahr 2007 und 2010 alle 30 Minuten über HTTP extrahiert und in unkomprimierten 24-Bit-Dateien auf einem PC gespeichert werden.
  Die Autoren warnen vor mittelpreisigen Webcams aufgrund ihrer Nachteile wie relativ geringe Schärfe, starkes Rauschen, geringer Kontrast und schlechte Farbbalance, räumen aber ein, dass sie keine Rückschlüsse darauf ziehen können, ob die Bildqualität und die Wahl der Webcam einen Einfluss auf die endgültigen Ergebnisse der Studie haben oder nicht.