Status

Am Montag, 3.2.2020, gegen 06:00, ist die Schnittstelle inkl. allen Funktionen (Kauf, Fulfillment, Refund) ausgefallen. Dies aufgrund einer undokumentierten Anpassung des Formates in dem wir Daten von unserem Partner MF Group erhalten.

Auf diese nicht mehr konformen Antworten der MF Group Server war unser Program nicht vorbereitet was leider dazu geführt hat, dass Kunden ein "harter" Error 500 (Fatal Error) angezeigt wurde, anstatt einer sauberen Fehlermeldung. (Wir haben für die Zukunft nun aber einen auf diesen potentiellen Fehler vorbereiteten Fehler-Abfang-Mechanismus vorbereitet.)

Leider war durch die undokumentierte Änderung an den angelieferten Daten eine gröbere Anpassung unserer Schnittstelle nötig weswegen wir bis ca. 23:00 Zeit brauchten, um diese Umprogrammierung umzusetzen sowie auch nachhaltig zu testen. Bei uns gehen alle Programmänderungen strikte durch einen Developmuent-Server => Staging-Server => Production-Server Ablauf um sicher zu stellen, dass Änderungen keine neuen Probleme mit sich bringen und die produktive Umgebung stets so zuverlässig wie möglich läuft.

Positiv zu vermerken:
Alle Refunds und Fulfillments die heute im problematischen Zeitraum getätigt wurden, sind durch unser Fehler-Abfang-System gesichert und heute Abend gegen ca. 23:30 erfolgreich nachbearbeitet worden. Es muss somit nichts weiter unternommen werden.

--

Wir entschuldigen uns in aller Form für diesen Ausfall und die dadurch entstandenen Umstände. Wir versuchen alles um die höchstmögliche Qualität und Verfügbarkeit zu liefern; leider können wir aber auf externe Einflüsse nur beschränkt Einfluss nehmen.

Am Mittwoch, 22.5.2019 ungefähr zwischen 17:00 und 17:20 hat es bei der Schnittstelle von unserem Partner MF Group Timeouts gegeben, die dazu geführt haben, dass Bestellungen die genau in diesem Zeitraum als versendet markiert wurden, mit Problemen zu kämpfen haben.

Die Bestellungen wurden gemäss unseren Untersuchungen bei MF Group erfolgreich bestätigt, jedoch nicht mehr an unsere Zahlungsschnittstelle gegenbestätigt. Dies führt dazu, dass diese Bestellungen in Shopify immer noch als "Pending" markiert werden, obwohl eigentlich alles geklappt hat.

Unser System hat daraufhin am Freitag, 24.5.2019 versucht die fehlerhaften Bestellung erneut zu bestätigen (da es davon ausgegangen ist, dass es beim 1. Versuch nicht geklappt hat). Da die Bestellung aber bei MF Group bereits als bestätigt markiert waren, wurden unsere Anfragen von MF Group System negativ beantwortet. Unser System hat dies als "Zahlung abgelehnt" verstanden und die betroffenen Bestellungen in Shopify leider automatisch storniert.

Wir haben die Shop-Betreiber die davon betroffen waren bereits kontaktiert und möchten uns bei dieser Gelegenheit nochmals für die Umstände entschuldigen.

Intern haben wir aufgrund dieses Vorfalles eine Anpassung an unserer Schnittstelle definiert, welche es uns in Zukunft erlauben wird mit Timeouts und bereits bestätigten Bestellungen besser umzugehen.

Meldung von 22:00

Die technische Umstellung konnte vollständig vollzogen werden. Alle Bestellungen sollten bis spätestens heute, 26.3.2019 Vormittags, bearbeitet worden sein. Es muss nichts weiter gemacht werden.

Meldung von 17:00

Wegen einer technischen Umstellung kommt es momentan zu Problemen mit der Bestätigung von versendeten Bestellungen.

Die Anfragen konnten am heutigen Nachmittag nicht verarbeitet werden, wurden aber von Shopify zwischengespeichert und werden nun unregelmässig erneut angegangen.

Wir haben eine temproräre Lösung installiert, welche alle derzeit unbestätigten Bestellungen in den nächsten Stunden abarbeiten sollte.

Um die technische Umstellung bei uns abzuschliessen, bitte wir alle Shopbesitzer sich schnellstmöglich einmal in unsere App einzuloggen. Dies kann über Shopify Admin oder einfach via diesem Link gemacht werden: https://api.shopify-kauf-auf-r...

Wir werden an dieser Stelle weiter informieren, sobald das Problem ganz gelöst wurde.

Danke für das Verständnis.

Aktualisierung 20:30

Problem wurde von MF Group gelöst. Alle Systeme laufen wieder normal.

Meldung von 18:20

Unser automatisiertes Monitoriung und Alert-System hat seit 18:00 Probleme bei der Authorisierungsanfrage bei MF Group festgestellt. Die Anfragen unserer Schnittstelle werden von den MF Group Servern derzeit nicht oder nur sehr stark verzögert beantwortet, was dazu führt, dass vereinzelte Bestellungen unbegründet abgelehnt werden.

Wir haben MF Group informiert und der Pikett Dienst arbeitet bereits an der Lösung des Problems. Wir werden an dieser Stelle hier wieder informieren, wenn wir mehr wissen.

Gemäss unseren Infos sind übrigens Versand und Gutschriften/Retouren vom Problem nicht betroffen.

Aktualisierung vom 29.10.2018 16:00

Der Staging-Test war erfolgreich und die App läuft wieder einwandfrei.

Aktualisierung vom 27.10.2018

Der Fehler wurde behoben und wird derzeit auf dem Staging-System ausführlich getestet.

Meldung vom 25.10.2018

Derzeit besteht ein Problem mit der Administrationsoberfläche unserer App in Shopify. Wir arbeiten intensiv an der Lösung und werden hier informieren, sobald die Administrationsoberfläche wieder funktioniert. Wir rechnen damit, dass dies bis spätestens bis Sonntag, 28.10 erledigt sein wird.

Zahlungsvorgänge, Rückerstattungen, usw... sind nicht von diesem Problem betroffen und funktionieren einwandfrei.

Aktualisierung vom 20.6.18 16:00

Das Problem wurde gelöst und alle Bestätigungen von Bestellungen wurden nachträglich durchgeführt.

Aktualisierung: 20.6.18 16:00

Das Problem wurde lokalisiert: Shopify hat am 18. Juni 2018 ein unangekündigtes Update an Ihren Webhooks vorgenommen, welches in gewissen Fällen zu einem Fehler bei der Verarbeitung der darin enthaltenen Informationen führt.

"Webhooks" ist ein System bei Shopify mit welchem man als Shopify App gewisse Informationen abonnieren kann und bei Neuigkeiten automatisch eine Meldung erhält. Wir verwenden dieses System um über versendete Bestellungen informiert zu bleiben (wir müssen diesen Vorgang an MF GROUP melden um die definitive Rechnungsstellung auszulösen).

Bei Interesse gibt es zum Problem hier weitere Infos: https://github.com/Shopify/sho...

Shopify hat die Anpassung am 19.6.2018 wieder rückgängig gemacht, was erklärt, weshalb unser System ab diesem Datum keine weiteren Fehler mehr gemeldet hat.

Wir arbeiten derzeit an einem Fix für unser System um die fehlerhaften Prozesse nachträglich auszuführen. Der Fix ist bereits parat wird aber noch auf unserem Testsystem geprüft. Wir rechnen damit, dass heute Abend alle offenen Prozesse durchlaufen werden und dieser Fall abgeschlossen werden kann.

Meldung vom 19.6.2018 16:00

Derzeit besteht ein Problem mit dem bestätigen von versendeten Bestellungen. Die Meldung von Shopify, dass die Bestellung versendet wurde, trifft auf unseren Servern ein, kann aber derzeit aufgrund eines Problems in einzelnen Fällen nicht bearbeitet werden.

Das Problem trat plötzlich und ohne Anpassungen an unserem Code auf, weswegen wir stark davon ausgehen, dass es mit den Webhooks (Meldungen) von Shopify oder mit Heroku, unserer Hostingfirma, zu tun hat.

Soweit wir bisher sagen können, beschränkt sich der Fehler auf Bestellungen die am 18. Juni als versendet markiert wurden. Wir können aber aktuell nicht ganz ausschliessen, dass weitere Bestellungen betroffen sein können.

Derzeit untersuchen wir das Problem zusammen mit unseren Partnern und werden hier informieren, sobald es gelöst wurde.

Der Gateway läuft sonst einwandfrei - die Bestellverarbeitung ist nicht beeinträchtigt.

Die Bestellungen die bis jetzt nicht bestätigt wurden, sind in unserem System als "failed" gespeichert und werden sobald das Problem gelöst wurde, erneut ausgelöst. Sobald das geschieht wird der Status in Shopify auch korrekt aktualisiert und bei MF Group die Rechnungsstellung bestätigt.

Vielen Dank für das Verständnis.

Während einer Systempflege bei unserem Hosting-Anbieter wurde eines unserer Jobverarbeitungssysteme nicht mehr korrekt neu gestartet. Deswegen ist es am Donnerstag, 19. April 2018 für ungefähr 12 Stunden (ca. 8 - 18:00 Uhr) zu erheblichen Verzögerungen bei der Bestätigung von ausstehenden Finanzierungsanfragen gekommen. In diesem Zeitraum verschickte Bestellungen wurden beim Gateway nicht sofort als "bestätigt" markiert, sondern konnten bis am Abend auf "pending" stehen bleiben.

Das Problem wurde am Nachmittag erkannt und sofort gelöst. Die ausstehenden Bestätigungen wurden anschliessend in weniger als 1 Minute verarbeitet.

Aufgrund von einem Problem mit unserem Geschlechtererkennungs-Dienst ist es am Freitag, 23. Ferbuar 2018 zwischen ungefähr 17:00 und 17:30 bei vereinzelten Zahlungsabwicklungen zu einer leichten Verzögerung beim Aufbau der Gateway-Seite gekommen.

Das Problem wurde automatisch erkannt und beseitigt.

Aufgrund von einem technischen Problem konnten von ungefähr Samstag, 28.10.2017, bis Sonntag 5.11.2017, keine Rückerstattungen erstellt werden.

Das Problem entstand durch eine unangekündete und undokumentierte Anpassung an der Schnittstelle von MF Group und hat dazu geführt, dass unser Validierungs-System die Antwort von MF Group nicht als sicher/gültig beurteilt hat.

Die neue Struktur der MF Group Schnittstelle erforderte eine Anpassung des Plugins, welche am Sonntag, 5.11.2017 auf das produktive System aufgespielt wurde.

Alle aktiven Plugin-Nutzer werden detailliert per E-Mail informiert.

Aufgrund von einem technischen Problem auf Seiten Shopify ist unser Gateway am Freitag 31.3.2017 von ungefähr 16:00 - 20:00 ausgefallen.

Das Problem bestand darin, dass Shopify bei der Datenübermittlung eine fehlerhafte Signatur mitgeliefert hat und dadurch eine sichere Kommunkation nicht mehr gewährleistet war. Unser Gateway hat aus diesem Grund sämtlichen Zahlungsanfragen aufgrund von Sicherheitsbedenken abgelehnt.

Das Problem wurde während des Vorfalls sicherheitshalber auch auf unserer Seite geprüft und an Shopify gemeldet. Nach knapp 4 Stunden wurde das Problem von Shopify selber gelöst und unser Gateway hat Zahlungen wieder akzeptiert.