Gigmit

Herausforderung

Die Natur des Geschäfts unseres Kunden erfordert kontinuierliches Datenharvesting, um sicherzustellen, dass die Endnutzer eine ständig wachsende Auswahl an relevanten und aktuellen Optionen haben. Einfach ausgedrückt, stellt gigmit sicher, dass Künstler leicht wünschenswerte Musikfestivals, Messen, Shows oder spezielle Veranstaltungsorte finden und die Organisatoren kontaktieren können.

Um dieses Ziel zu erreichen, sammelt gigmit öffentlich verfügbare Informationen von einer Vielzahl von Musik- und Unterhaltungswebseiten in einer einzigen Datenbank. Vor unserer Partnerschaft sammelte gigmit die notwendigen Daten mit Hilfe von Scrapy, einem Open-Source-Web-Crawler für die Datenextraktion mit APIs und allgemeinem Web-Scraping.

Allerdings stießen sie bei diesem Tool auf bestimmte Einschränkungen, weshalb sie sich an Redwerk wandten, um ihnen beim Daten-Scraping und Parsing einer ausgewählten Anzahl von Webressourcen zu helfen. Natürlich erwartete man von uns, dies auf eine Weise zu tun, die den Betrieb der genannten Ressourcen nicht beeinträchtigt und ohne blockiert zu werden. Außerdem mussten wir unter Zeitdruck arbeiten.

Lösung

Der erste Schritt bestand darin, die bestehende Web-Scraping-Strategie zu bewerten und einen neuen Tech-Stack auszuwählen, der weniger Einschränkungen bei der Datenextraktion und -anzeige mit sich bringt.

Wir wählten Django REST, um Datenmodelle zu erstellen und die Interaktionen mit der Datenbank zu verwalten. Dieses Framework ermöglichte es uns, die gesammelten Daten effizient zu organisieren und zu verwalten.

Wir erstellten asynchrone Aufgabenwarteschlangen mit Celery und RabbitMQ, um zu vermeiden, dass die Server mit API-Anfragen überlastet werden. So stellten wir sicher, dass unsere Anfragen geordnet und kontrolliert verarbeitet werden.

Kontaktinformationen waren nicht immer sofort verfügbar, daher nutzten wir die Leistung von Hunter.io, einem KI-gesteuerten E-Mail-Finder.

Die größte Herausforderung bestand darin, das Gleichgewicht zwischen Parsing-Geschwindigkeit und den Grenzen der Hosting-Server zu finden. Dennoch sammelten wir alle benötigten Daten ethisch korrekt, ohne Serviceunterbrechungen oder Beschwerden von den Webadministratoren.