in|ad|ae|qu|at : textfiles rule the world

||| SERVERUMSTIEG | DIE RÜCKSEITE DES SPIEGELS | FALLSTUDIE AS47868 | LANDKARTEN DER INSTABILITÄT | 404 NOT FOUND |||

under-construction

|||

SERVERUMSTIEG

Rechnen wir den kumulierten Lebens- | Arbeits- Zeitverlust von Setzer , Maschinist , Grafikabteilung , Bildredaktion und Lektorat hinter in|ad|ae|qu|at für die nächsten 10 Jahre hoch , der durch die ständigen Serverausfälle anfällt , könnten wir mehrere Vollzeitäquivalente ausschließlich mit der Funktion eines ” SQL – Neustarters ” beschäftigen . Virtueller Speichermangel trotz grosszügiger Hardware- Ausstattung bringt diverse zum Seitenaufbau erforderlichen Dienste immer wieder zum Röcheln und schließlich zur Selbstaufgabe : Database Errors , Page not Found , Serverfehler und andere ( un ) gern gesehene Gäste wurden zu täglichen Begleitern der Redaktion , über Emails im Datennirvana wollen wir dezent den Mantel des Schweigens breiten .

Bild3

Nein , das können und mögen wir nicht länger hinnehmen: mehr als 10 Stunden Downtime pro Woche für www.zintzen.org ( verteilt über etliche Ausfälle im Bereich von einigen Minuten bis zu zwei Stunden ) entsprechen definitiv nicht unserem Verständnis von Sende- Sicherheit und Quality of Service welchen in|ad|ae|qu|at den geneigten Lesern anbieten möchte. Eine Lösung musste gefunden werden , welche uns nun – in Einvernehmen mit unserem Provider und nach monatelangen gemeinsamen Versuchen zur Optimierung der bestehenden Installation – zum kompletten Wechsel der Hardware hinter der Software bewegt haben .

|||

DIE RÜCKSEITE DES SPIEGELS

Gefällige Grafik , blinkende Banners , flimmerndes Flash und lockende Links : so präsentiert sich das World Wide Web zwanzig Jahre nach den ersten Schritten , selbstverständliche Ingredienzien jedes zeitgemässen Auftritts , ansprechend und “responsive” . Doch wie zaubert sich diese Fassade auf den Bildschirm , woher wissen all die Pixel , wann sie wo sich in welcher Schattierung aufbauen sollen , anreihen , Platz machen oder videomässg zappeln ? – Die Antwort liegt in den Textfiles :

Textfiles , Textfiles , Textfiles für alles und jedes .

Schon das Auffinden des für die Domäne verantwortlichen Servers erfordert Konfigurationsdateien im lokalen Kabelmodem , den Routern beim Provider , den Nameservern vom Top- Level bis hinunter zur Subdomäne . Und hier , am Webserver , beginnt das Dickicht an .ini / .config / .htaccess / .rc / .sys / .xml / .yaml / .etc , ganz allgemein von Textfiles zur Übergabe von Parametern und deren Werten so richtig zu wuchern :

Betriebssystem : Debian 4.0 ( Etch ) führt allein 95 Konfigurationsfiles beim Bootvorgang aus
Webserver : Apache 2.0 wird nicht nur von einem apache2.conf gesteuert , sondern jeder virtuelle Host eines Multi- Domain- Systems legt noch jeweils eine spezielle Variante an
Confixx : Als bisher nicht sonderlich Linux- affine Maschinisten sind wir einerseits froh , dass der neue Provider seine Rootserver mit einer grafischen Oberfläche zum Anlegen von Resellern , Usern , Email- Accounts und Domänen-Pointern ausstattet , doch auch dafür braucht es wieder separate vielzählige Konfigurationsfiles
PHP über CGI : aus Sicherheitsgründen müssen wir vom flotten mod_php Abstand nehmen , und nunmehr per CGI jeweils PHP für jeden Aufruf neu starten und beenden lassen . Natürlich ist auch hier wieder fröhliches Frickeln in diversen php.ini- files angezeigt , um es nicht zu einfach zu machen sind auch diese jeweils wieder pro User unterschiedlich verschachtelt angeordnet
MYSQL : Dieses freundliche Datenbanksystem beherbergt das Innerste aller Beiträge und Webwerke , die Texte , Bildverweise und Metadaten , konfiguriert mittels etlicher Variablen in der my.ini
WordPress : als letztes Element bevor nun diese Zeilen sichtbar werden möchte auch WordPress mit einer wp_config.php wesentliche Informationen zum Betrieb einholen. Dazu noch Textfiles für das Thema , für die Plugins , für Statistik , Sitemap und Javascript .

|||

FALLSTUDIE AS47868

“So What ?” , könnte man nun meinen , bei so vielen Files wird doch nicht jedes Zeichen bedeutsam tun , ein Komma keinen Kummer bereiten , Semikola zur Zierde und zum Verhängnis gereichen – so wird es sein !

Weit gefehlt , leider , weit gefehlt . Jedes Zeichen Zählt . Jeder Punkt an seiner Stelle . Sonst wird das nichts , keine Grafik , keine Texte und kein Sound . Über das blosse Nicht- Funktionieren hinaus kann im Gegenteil ein kleiner Fehler in einem kleinen Textfile nicht weniger als das halbe Internet lahmlegen , wie in diesem Jahr am 16. Februar um 17 Uhr 16 geschehen und im folgenden recherchiert.

Netzwerk- Router , wie beschrieben , lösen die von Menschen eher gut lesbare Zeichenfolge www.zintzen.org in die eher weniger gut merkbare derzeitige Serveradresse 213.198.103.224 auf . Der gesamte Ablauf dieser “Namensauflösung” passiert aber nicht in einem Schritt vom Start zum Ziel , sondern in einer baumartigen Struktur hinauf zur Top- Level- Domain und wieder retour zum einzelnen Gerät .

Das Ganze nennt sich “Border Gateway Protocol” und verbindet die hunderttausenden Router im Netz miteinander . Die Basis dafür wieder sind Erkennungs- Codes der einzelnen Provider , die “Autonomous System” Nummern . Und genau diese müssen bei den Providern in Textfiles zur Routenkofiguration eingetragen werden .

Geschickte BGP- Administratoren fügen dabei vor den langsameren Anbindungen in ihr Netzwerk ( z.B. Backup- Strecken ) mehrfach ihre AS-Nummer ein , ein AS- Prepend , um diese Routen als länger und damit unattraktiver für den Verbindungsaufbau zu markieren . Genau dieser an sich bewusste Vorgang wurde einem Administrator in unserem Nachbarland , der Tschechichen Republik zum , Verhängnis :

Der Provider mit der AS47868 stellte gleich 252 mal seine AS vor die Routen , woraufhin die Hälfte der Core- Router in der westlichen Hemisphäre durch Überlastung abstürtzte . Die Chronologie :

Ein Netzwerkadministrator kennt die Router der Firma CISCO recht gut , konfiguriert aber per Remotesoftware eigentlich einen Router der Firma Mikrotik .
Genau an der Stelle im Konfigurationsfile , an der bei CISCO die AS- Nummer eingetragen wird , verlangt der MIKROTIK – Router jedoch die Anzahl der gewünschten Wiederholungen
CISCO Textfile korrekt = ” set as-path prepend 47868 47868 47868 47868 ”
MIKROTIK Textfile korrekt = ” bgp-prepend 4 47868″
MIKROTIK Textfile irrtümlich = ” bgp-prepend 47868 47868 47868 47868 “
Der Administrator hat statt 4 mal damit nun 47.868-mal die AS- Nummer vorangestellt , dies wurde aber durch die Firmware im Router zu 252 umgerechnet , 47.868 Modulo 256 ergibt genau diese Zahl ( 8- Bit- Feld )
Sobald dieses nur minimal falsche Textfile im Router gespeichert wurde , schwirren sofort Routing-Anweisungen mit 252 vorangestellten AS- Nummern im Netz herum
Viele CISCO-Router mit älterer Firmware weisen nun ihrerseits wieder einen BUG au , welcher den Router bei einer Route mit mehr als 252 AS- Nummern in eine Endlosschleife und damit der kompletten Überlastung treibt
Genau dieser eine falsche Eintrag “4″ in einem Textfile in einem Router in der Tschechischen Republik hat damit rund 60% der Core-Internet- Router vor allem in Europa und den USA kompromittiert

Für besonders Interessierte hier die genaue Aufarbeitung des Vorfalls in allen Einzelheiten :

|||

LANDKARTEN DER INSTABILITÄT

Eindrucksvolle Visualisierungen der Auswirkungen dieses kleinen Missgeschicks in einem kleinen Textfile können wir dank RENESYS ebenfalls präsentieren :

( Überlastete Server in USA , Click to XL )

( Überlastete Server in Europe , click to XL )

( Instabilitäten im Internet während des Vorfalls , click to XL )

( Traffic- Anstieg der BGP Updates , click to XL )

Wie konnte nun dieser kritische Zustand wieder eingedämmt werden ? – Nur durch die alert- unbürokratische Zusammenarbeit unzähliger Netzwerk- Administratoren , welche urgent per Alarmsystem einberufen wurden und die durchdrehenden Router vom Netz nahmen , teilweise mit einem Bugfix von CISCO präparierten , und schrittweise den Traffic wieder in vertretbare Dimensionen zurückführten . Der wunderbare Dokumentar von RENSYS , Earl Zmijewski , resümiert treffend wie folgt :

The happy ending to this story is that the community quickly rallied and worked together to both identify and mitigate the problem. No meetings were held, no bailouts were requested and not a single lawyer was needed to draft an agreement. The Internet was back to normal in short order.

|||

404 NOT FOUND

Sollten Sie also , liebe Leserin , werter Leser , hier an dieser Stelle in den kommenden Tagen ab und an den Verweis “404 Not Found” statt der erwarteten Lektüre vorfinden , so Mögen Sie dessen gewiss sein , dass fleissige Installateure im Hintergrund die mannigfaltigen Textfiles auf einem Server im WWW auf Punkt und Komma kontrollieren und konfigurieren , auf dass der Neustart von in|ad|ae|qu|at nicht eine ähnliche weltweite Krise auslöst wie die oben beschriebene Episode .

Samstag sollte in|ad|ae|qu|at , so alles klappt , wieder auftauchen .

Inzwischen mögen Sie , höfliche Leser , einen Click und Blick werfen auf den neuen Newsletter des Wiener Literaturhauses : Dort finden sich nur Informationen zur verschärften Konfrontation zwischen Autoren- Interessen und dem zunehmenden Hunger von Google- Booksearch auf deutschsprachige Inhalte , sondern auch ansprechende Hintergrund- und Begleitmaterialien zur Ausstellung “10 Jahre Literatur als Radiokunst“ .

Und @ litblogs.net gibt es bekanntlich stets Lohnendes zu lesen .

Der Rest heisst ist Schweigen Twitter .

|||