Erst die Alarme bündeln, dann die Ursache lesen
Das Syslog lag schon in Splunk. Ein Agent bündelt es zu Episoden, und Splunk liefert die Chassis-Zeile, die in der Alarmliste nie stand.
Ein Betriebsteam hatte Splunk voller Protokoll-Syslog, und eine Alarmliste, die nie ausgelöst hat. Diese Meldungen einzeln zu lesen war keine Arbeit, die ein Mensch zu Ende bringen kann. Ich habe einen Agenten über das Model Context Protocol an dieses Splunk gehängt, damit die Frage in der Bereitschaft “was ist passiert” sein kann und die Antwort eine Ursache.
Splunk speichert und bündelt. Der Agent darf nur fragen.
Die Alarmliste war die naheliegende erste Frage. Splunk führt Alarme als eigene Objekte, getrennt von den indexierten Meldungen. Ich habe die Definitionen gezählt. Dutzende waren aktiv. Keine war ausgelöst. Die Zeilen, auf die es ankam, waren gewöhnliches Protokoll-Syslog, und es waren tausende. Eine leere Alarmliste ist eine richtige Splunk-Antwort. Der Vorfall liegt weiter im Index, und eine Suche ist der Weg dorthin. Die Suche läuft in der App, der die Feldextraktion gehört, damit Gerät, Signatur und Interface als Felder zurückkommen.
Splunk klassifiziert die Zeilen schon, die bleiben sollen. Eventtypen markieren ein Interface auf Down, eine fallende Nachbarschaft, eine Sitzung, die ausläuft, und sie lassen die Zeilen weg, die den ganzen Tag dasselbe sagen. Eine gespeicherte Suche bündelt dann den Rest. Auf einem Gerät beginnt eine neue Episode, wenn die Ruhe länger als fünf Minuten ist. Über mehrere Geräte zählt ein Fenster von fünf Minuten, sobald mehr als ein Gerät spricht. Splunk schreibt diese Episoden nach Zeitplan in einen Summary-Index. Du liest die Zusammenfassung. Du überfliegst das rohe Syslog nicht noch einmal, nur um zu sehen, dass es eine Episode gibt.
Die Ursache ist eine zweite Suche, begrenzt auf Anfang und Ende der Episode, und diese Suche nimmt die Hardware-Zeilen mit, die der Filter der Episode draußen gelassen hat. Splunk liefert die Zeile. Der Agent liest sie.
Drei Episoden haben für drei Ursachen gereicht.
Die erste gehörte zu einem Router, dessen Episode alle Protokolle auf einmal enthielt und etwa eine halbe Minute dauerte. Andere Router haben in derselben Sekunde denselben Nachbarn verloren. Die Nachfrage hat den Shelf-Manager zurückgegeben, der jede Karte neu geladen hat: beide Steuerprozessoren, die Fabric, die Linecards. Die Interfaces waren schon zwanzig Sekunden vorher auf Down gegangen. Die Optik-Alarme in dieser Minute waren Clears.
Die zweite gehörte zu einem Core-Router. In der Reload-Zeile stand, dass ein Mensch den Neustart angestoßen hat. Etwa fünfzehn Minuten später war ein Fenster über viele Router vor allem Traffic-Engineering-Policy-Interfaces, die auf Down und wieder auf Up gingen. Das Netz hat sich nach der Rückkehr des Steuerprozessors sortiert.
Die dritte hat einen Router nie verlassen. Ein Interface ging in festem Takt von ein paar Sekunden auf Down und auf Up, fast eine Stunde lang. Kein Nachbar im selben Splunk-Index hat das andere Ende geschrieben. Keine Nachbarschaft fiel in die Episode. Das Interface hat für sich geklappt.
Die Reihenfolge ist nüchtern, und sie ist die ganze Methode. Frag Splunk, welche Episode groß ist. Frag, welche Zeile die erste ist. Frag dann, immer noch in Splunk, was der Filter der Episode weggeworfen hat. Die weggeworfene Zeile war der Reload.
Diese Reihenfolge habe ich als Skill aufgeschrieben, damit die nächste Sitzung beim Summary-Index und der ausgeschlossenen Zeile anfängt. Splunk bleibt das System, das die Suche ausführt. Die Skill sagt, wer fragen darf und welche Frage als Nächstes kommt.
Wenn das Syslog schon in Splunk liegt, fang bei der Episode an und lass Splunk die Zeile liefern, die sie ausgeschlossen hat.