[English]Blog-Leser Jona fragte gerade, ob mir etwas über eine Störung bei "Hornet-Security" bekannt sei. Bisher hatte noch niemand aus der Leserschaft diesbezüglich nachgefragt. Inzwischen gibt es eine zweite Meldung von Matthias. Aber es sieht so aus, als ob die Dienste dieses Anbieters für Managed Security Services aktuell nicht verfügbar sind. Selbst das Support-Forum ist im Web nicht mehr erreichbar. Ergänzung: Es gibt einen partiellen Workaround. Ergänzung 2: Die Funktionalität scheint zurückzukehren. Ergänzung 3: Hornetsecurity hat einen Incidenz-Report veröffentlicht.
Anzeige
Hornetsecurity ist laut eigener Aussage Premium-Anbieter für Managed Security Services. Die Produkte des Anbieters sollen für perfekte und sichere Kommunikation via E-Mail und Internet sorgen, so das Versprechen. Die Managed Security Services sind sofort aktiv und erfordern keine zusätzliche Software, keine Hardware und keinen Wartungsaufwand durch Ihre IT-Experten, heißt es auf deren Webseite.
Webdienste und Support-Seite nicht erreichbar
Aktuell müssen Kunden sich aber arg gedulden, denn es gibt eine massive Störung bei diesem Anbieter für Managed Security Services, da geht momentan (7. Juni 202, 10:40 Uhr) nichts mehr.
Neben Jonas, der fragte, ob über die Störung etwas bekannt sei, meldete sich Matthias einige Minuten später. Bei Matthias im Unternehmenwird der Dienst von Hornetsecurity als Sicherheitslösung für deren Exchange Online verwendet. Er schrieb: "Derzeit scheinen global alle Dienste gestört zu sein.Unser Mailversand und -empfang mit externen Domains ist ebenfalls davon betroffen, nichts geht mehr.". Sieht nach Stress für die IT-Abteilungen aus, die diesen Anbieter nutzen.
Es gibt DNS-Probleme
Die Statusseite liefert mir derzeit einem Fehler "Die Website ist nicht erreichbar", weil die komplette Webseite nicht erreichbar ist bzw. nicht gefunden wird.
Anzeige
Auf statusgator findet sich die obige Darstellung, dass diverse Dienste heute seit ca. 10:14 Uhr gestört waren oder noch sind. Zur Störung von 10:14 Uhr heißt es:
Message: [HSE20240607-01-I] Incident: Partial Service Disruption: Service Control Panel
Details: Currently we are investigating DNS issues which affects the Control Panel. This also affects the email delivery. We are working with maximum priority to resolve it.
Der Anbieter untersucht DNS-Probleme, die das Control Panel betreffen und sich auch auf die E-Mail-Zustellung auswirken. Die Techniker arbeiten mit höchster Priorität an der Behebung des Problems. Laut statusgator sollte dieses Problem binnen 10 Minuten behoben worden sein. Aber es schließt sich nahtlos ein zweiter Eintrag an, der besagt, dass diese Störung andauert. Irgend etwas ist bei deren DNS-Einträgen kaputt gegangen. Jemand aus der Leserschaft betroffen?
Ergänzung: Um 11:28 Uhr ist es mir gelungen, die Statusseite abzurufen (siehe obiger Screenshot), der noch einige Informationen enthält.
Incident Status: Partial Service Disruption
Components: AI Recipient Validation, 365 Permission Manager, 365 Total Backup, 365 Total Protection, Advanced Threat Protection, API, Control Panel – General, Control Panel – Config / Deployment, Control Panel – Email Live Tracking, Control Panel – Backup & Compliance Services, Email Signature and Disclaimer, Email Inbound, Email Outbound, Email Continuity, Email encryption: Websafe, Email encryption: S/MIME, Hornet.email, IMAP/POP3 Services, Security Awareness Service, Ticketsystem, Web Filter, Website
Locations: Canada, Düsseldorf, Frankfurt, Germany, Hannover, North Virginia, USA, Switzerland, Sydney 1, Sydney 2, United Kingdom, USA, West Europe, Global
Auf X gibt es zudem diesen Tweet, wo jemand einen Screenshot der Statusseite gepostet hat.
Name-Server-Umzug als Ursache
Ergänzung: Jan hat mir die Vermutung bestätigt, dass das Ganze mit einem Umzug des Name-Servers zu Hosteurope zu tun habe. Ich poste mal das, was er per E-Mail geschickt habe.
Hallo Günter,
ich habe mir das mal genauer angeschaut.
Für hornetsecurity.com sind folgende Nameserver zuständig:
hornetsecurity.com nameserver = pdns01.domaincontrol.com
hornetsecurity.com nameserver = pdns02.domaincontrol.comDie Abfrage www.hornetsecurity.com liefert folgende Ergebnisse:
*** www.hornetsecurity.com wurde von pdns01.domaincontrol.com nicht gefunden: No response from server.
*** www.hornetsecurity.com wurde von pdns02.domaincontrol.com nicht gefunden: No response from server.
Hornetsecurity verwendete früher den Namen "Antispameurope" und unterhält dafür noch eine alte Domain:
antispameurope.com nameserver = ns2.hans.hosteurope.de
antispameurope.com nameserver = godzilla-haj2.antispameurope.deFragen wir nun bei "Godzilla" nach den Hostnamen der Mailserver, bekommt man die korrekten Antworten:
>mx01.hornetsecurity.com
Server: godzilla-haj2.antispameurope.de
Address: 83.246.65.50
Name: mx01.hornetsecurity.com
Address: 94.100.132.8mx02.hornetsecurity.com
Server: godzilla-haj2.antispameurope.de
Address: 83.246.65.50
Name: mx02.hornetsecurity.com
Address: 94.100.136.8mx03.hornetsecurity.com
Server: godzilla-haj2.antispameurope.de
Address: 83.246.65.50
Name: mx03.hornetsecurity.com
Address: 94.100.134.8mx04.hornetsecurity.com
Server: godzilla-haj2.antispameurope.de
Address: 83.246.65.50
Name: mx04.hornetsecurity.com
Address: 94.100.136.7Ich vermute, dass Hornetsecurity den DNS-Server gewechselt hat und es dadurch zu dem Problem kommt. Die Antispameurope.com liegt bei HostEurope, die auch den primären DNS ns2.hans.hosteurope.de betreiben. HostEurope ist wiederum eine Tochter von GoDaddy, die den pdns0x.domaincontrol.com verwalten.
Ich glaube daher nicht, dass jemand die Domain gekapert hat. Es handelt sich wohl um einen Konfigurationsfehler.
Das bestätigt das, was bereits aus der Kommentarlage hier im Blog erkennbar ist.
Partieller Workaround des Anbieters
Ergänzung: Es gibt einen partiellen Workaround, den Hornetsecurity im Service Control Panel vorgibt. Ein Leser hat mir auf X folgenden Screenshot der betreffenden Seite mit den Hinweisen gepostet (danke dafür).
Vielleicht helfen die obigen Informationen ja weiter.
Problem behoben?
Ergänzung 2: Die Empfehlung für den partiellen Workaround wurde zurückgezogen – mutmaßlich sind die DNS-Probleme behoben. Die nachfolgenden Kommentare zeigen, dass das Problem wohl beseitigt ist.
Incidenz-Report veröffentlicht
Ergänzung 3: Mehrere Blog-Leser haben darauf hingewiesen, dass Hornetsecurity einen Incidenz-Report veröffentlicht habe. Hier dessen Inhalt (Stand 8.6.2024) – der von Nutzern in Kommentaren gepostet Link zum PDF-Dokument lässt sich von mir sporadisch nicht abrufen, weshalb ich den Link gelöscht und die Inhalt nachfolgend herausgezogen habe.
Current Status: Operational
Started: June 7, 2024 09:55 CEST
Resolved:
Affected Infrastructure
Components: AI Recipient Validation, 365 Permission Manager, 365 Total Backup, 365 Total Protection, Advanced Threat Protection, API, Control Panel – General, Control Panel – Config / Deployment, Control Panel – Email Live Tracking, Control Panel – Backup & Compliance Services, Email Signature and Disclaimer, Email Inbound, Email Outbound, Email Continuity, Email encryption: Websafe, Email encryption: S/MIME, Hornet.email, IMAP/POP3 Services, Security Awareness Service, Ticketsystem, Web Filter, Website
Locations: Canada, Düsseldorf, Frankfurt, Germany, Hannover, North Virginia, USA, Switzerland, Sydney 1, Sydney 2, United Kingdom, USA, West Europe, Global
Incident overview
Issue: Global DNS IssuesIncident Description: At 09:27 CET out Monitoring alarmed us about Issues with resolving Hornetsecurity.com DNS
Impact Customer: During the time in which the DNS Records could not be resolved customer were facing issues with In
and Outbound Mail delivery due to our MX Records not being resolvable anymore, additionally all Web Interfaces utilizing the Hornetsecurity.com Domain were not accessible anymore. This includes all our websites, the control Panel and multiple other Products which made use of these domains.Service Impact:The DNS outages also had a strong impact on our external communication capabilities of our support team as they could not be reached by email or via our chat. Our
status.hornetsecurity.com
page was also not reachable externally and could not send any updates to Hornetsecurity customer addresses despite a separate mail infrastructure. While waiting times might have been longer than usual our support team managed to serve 92% of incoming calls.
Root Cause Analysis: We found out that the SOA and NS records were unauthorized and unannounced changed by our
Domain Registrar Hosteurope which belongs to the GoDaddy Group to DNS-Servers we did not configure.To make things even worse the NS Servers did not have the Zone-Configuration replicated which led to a massive Global outage which got increasingly worse as the worldwide DNS propagation took place.
We first established contact with Hosteurope/Godaddy at 09:40h CET with the response that they were already investigating what went wrong during the unannounced migration. From there on we contacted Hosteurope/Godaddy every 20 Minutes to increase priority on the solution.
Unfortunately, it took Hosteurope/Godaddy until 14:00 CET to finally agree on a rollback of their change and revert the SOA/NS records to their original values. We could verify that the rollback was deployed 14:10 CET and the DNS propagation started to happen instantly.
At 14:15 CET we observed a huge number of delayed emails reaching our Servers again and our Infrastructure was able to filter everything without any issues in 30 Minutes which lead to fully operational services at 14:35 CET.
Conclusions and Preventive Measures
To avoid Incidents of this nature in the future we will immediately start to evaluate a Domain registrar with faster responses and solution times. Unfortunately, we could do nothing more than repeatedly escalating this Issue with the Registrar.
We understand the communication is key in such situations. Therefore we will implement redundancy for our status page in order to ensure external Communication even in scenarios like
this.We sincerely regret the incident and
Fällt ein wenig in das Raster, was ich mit HostEurope beobachtet habe, wenn es beim Paketwechsel Probleme gab.
Anzeige
