Selbst ist man damit oft zu Rücksprachen gezwungen, die oft lange überflüssige Telefongespräche nach sich ziehen. Aber besser wenn der Kunde von selbst anruft, da gibt es noch andere Möglichkeiten…

–„Neee.. ich habe Ihre E-Mail nicht gesehen.. ich glaube ich hab da nichts bekommen… moment… ich guck mal… ah.. hier.. Spam.. naja.. die Mail is ja auch Spam…“
– „Wie! Spam?! Meine Mail ist doch keine Spam… !“ (sichtlich verblüfft)
– „Kein Subject, kein Inhalt und nur eine PDF als Anhang wäre unter meiner Sichtweise auch Spam… und schließlich ist die Absenderadresse fälschbar. Oder was würde sie unter Sichtweise des Anti-Spam-Programms sagen?“

Und dann gab es gestern noch die Frage an mich: „Warum hast du die UPS-Mail nicht bearbeitet, die ich dir weitergeleitet habe?“. Und ich sagte nur „UPS-Mails haben keine .EXE-Änhange und kommen nicht von tfds.vddseew@hotmail.com“ *seufz*

Hierbei handelte es sich wieder einmal um Vorgesetzte…

– „Ah? ein typischer Fall des Gott-Syndroms!”
- „Was?”
- „Glaubst du an Gott?”
- „Ja!”
- „Und woran erkennst du das?? Was liefert dir beweise für die Existenz?”
- „Naja, …”
- ­ „Siehst du: Nur weil dein Browser das falsch darstellt, heißt das nicht, dass die Auftragsbezeichnung in der Datenbank falsch hinterlegt wäre.”
- „Hä?”
“D.h. das was du siehst, ist nicht was es ist. Also kannst du ruhig weiter an Gott glauben?”

Hallo Markus,

Kunde kann unsere Mails nicht mehr lesen, glaub er hat unsere Schrift nicht, kannst du ihm helfen, danke.

Gruß

D*****

Ja so etwas gibt es tatsächlich! Ich frage mich wer dümmer ist.  Entweder Sie – die im übrigen meine E-Mail Addresse auch noch falsch geschrieben hat (catchall!)  – oder der Kunde? Vielleicht ist sie aber auch schlauer als gedacht, und denkt das Ding würde sich von alleine erledigen?

Kunde kann unsere Mails nicht mehr lesen, glaub er hat unsere Schrift nicht, kannst du ihm helfen, danke.

Soll das eine Frage sein oder ein Imperativ?

Ich will dem Typen keine Fragen stellen müssen á „Wissen Sie was eine E-Mail ist???.

Sie soll ihm zurück schreiben, dass ihm ein Bekannter helfen soll. Außerdem gibt es viele Studenten, die sicherlich sein Geld gut gebrauchen können.

MfG
.mg

DE-Germany Available from 05:00 AM to 11:00 PM

Das steht bei keinem anderen Land! Alle anderen Länder haben einmal wochentlich oder täglich eine Wartungszeit eingerechnet. Da fragt man sich, was mit dem deutschen Server los ist. Oder ob Bürokratie wieder über Verstand geht.

Hier zwei mögliche Lösungen:

• Deutschland interpretiert die Server-Uptime wie „Arbeitszeit“ für den Server. Der ist ja schließlich auch nur ein Mensch und braucht Schlaf.
• Deutschland garantiert damit als einziges Land eine Ausfallsicherheit von 100%. Das dabei die Erreichbarkeit weit unter 100% liegt, und Online-Shops vielleicht auch nachts Bestellungen entgegen nehmen, entgeht denen total.
• Oder es hat mit Energie sparen zu tun?!

Jedenfalls typisch Deutsch! Danke! Es ist immer wieder schön festzustellen, wo man leben muss.

Vorwissen: Gestern gab es ein Update der PO (Portable Objects) bzw. der gettext-Sprachfiles. Wenn diese ersetzt werden, kann es leicht passieren, dass da der Apache schon mal aussetzt, und PHP eine „weiße Seite“ liefert, statt etwas anzuzeigen.

In dem Sinne dachte, gehst auf die Shell und startest mal schnell Apache neu. Das hilft ja immer.

Eigentlich wäre mit einer kurzen Überprüfung der Seite, die Sache typischerweise gegessen gewesen. Leider startete der Apache nicht neu, da das Socket occupied war. Apache-Instanzen versucht zu killen, keine gekillt. Und was saß da auf dem Port 80? exim4? Dieses neu gestart. Oh shit, panic log… fuck! Free HD Space gecheckt… alles ok? Hmm… Shit! Shit! Shit! Evtl. hilft ein Neustart.

Nachdem der Server neu gestartet war, lief wieder alles. Auf die Seite gegangen, oh shit! Da fehlen ja einige Templates. Die englische Seite wird total enstellt mit Fehlermeldugnen angezeigt. Wieso hat dies niemand festgestellt?

Dann höre ich von oben – nein nicht vom Himmel, wir befinden uns nämlich in KULT – wieso ich den Server neu startete, den sei ja die Seite enstellt, und überhaupt hätte ich nur die Templates fixen müssen. Ich verteidigte natürlich meine Vorgehensweise, was dem Herrn nicht paßte.

Er beruf mich zu sich ins Besprechungszimmer, wo eine längeres Streitgespräch folgte, in der er mir unterstellte, dass ich unbedingt vorher nachfragen hätte müssen was den Sache sei. Ich konterte damit, dass ich annahm, nachdem ich die Problemschilderung hörte und nach den Updates von gestern, dass es wohl nur eine weiße Seite angezeigt würde. Dieser Art von Fehler wäre normalerweise mit einem Apache-Neustart in 2sec gelöst. Zudem bat ich ihm nicht über die Vorgensweise zu bestimmen, wie ich die Arbeit am Server erledige, da er überhaupt keine Ahnung vom Apache hat.

Er beharrte hingegen darauf, dass ich unbedingt _vorher_ auf der Seite hätte schauen müssen, und dass ich im Übrigen alle, die keine präzisen Fehlermeldungen von sich geben für blöd halte.

Es vielleicht in dem konkreten Fall nicht richtig, vorher drauf zu schauen, doch verteidigte ich meine Vorgehensweise, die definitiv nicht falsch war. Ich bin nämlich öfters gezwungen Problemschilderungen zu interpretieren und Gegenmaßnahmen zu unternehmen. Daraufhin ist meine Arbeitsweise auch ausgerichtet. Wenn ich alles für bare Münze nehmen würde, würde ich wohl nie mit etwas fertig werden.

Er hingegen stellte meine Vorgehensweise als falsch dar, und wollte mich 15min rausschicken um dies einzusehen, da seine Argumentation nicht wirklich schlüssig war. „Wir haben einen Azubi da unten, der den Fehler in Zukunft nicht machen sollte.“, gefolgt von „Ich will jetzt nichts mehr hören. Und du gehst jetzt runter und wir reden in 15min wieder, und da will ich hören, dass es falsch war“.

Was will man da noch sagen?  

Verantwortungsvoll und wichtiger als das Streitgespräch empfand ich eher, zu checken, ob der E-Mail Versand noch funktioniert. Dazu kam ich jetzt erst:
exim4 paniclog: Entwarnung. Scheint wohl der Router für die virtual users nicht zu funktionieren, bzw. noch nie funktioniert zu haben? Mal, später checken.

Wichtig ist erstmal die Templates fixen…

Nach ihm hätte ich bestimmt erst die Templates fixen sollen, und als diese nach 20min fertig waren, dann wohl checken, ob der E-Mail Versand noch funtioniert. Das wäre typisch für ihn.

Oder wie letztens mit dem SDSL-Modem Ausfall: Wichtig ist erstmal, dass man rumtelefoniert, sich beklagt, dass der das Modem nicht funktioniert, die Telekom versucht zu erreichen, und an ungeeigneten Stellen versucht ein Ersatzgerät zu finden.

Erst um 10:30 wurden sie sich bewußt, dass wir eigentlich schon einen ADSL-Anschluß gelegt hatten, wo ein DSL-Sync da war, und dass oberste Prio wäre eine Konnektivität wieder herzustellen. Dann telefonierten sie etwa noch eine Stunde rum, bis sie Zugangsdaten hatten. Naja, im Endeffekt wurde dann doch wieder ein Techie benötigt, um alles in den Gang zu kriegen…

Aber ich darf ja ie Vorgehnsweise nicht kritisieren…

Guten Tag,

wir haben gerade eine Bestellung aufgegeben und ich hatte gerade aus versehen zwei Häkchen bei der Anmeldung  und noch an anderer Stelle gesetzt, die ich gerne rückgängig machen würde.

Leider habe ich bei unseren Accountdaten keine Möglichkeit dazu gefunden.

Wie also können wir die Eingabe wieder rückgängig machen?

Freundliche Grüße
D***** Kitsch

Sehr geehrte Damen und Herren,

bitte teilen sie uns mit, welche genauen Änderungen Sie gerne vornehmen würden.

Mit freundlichen Grüßen,
-Ihr Serviceteam

Bei allem Respekt: Das beantwortet nicht unsere Frage.

Es wäre nett, wenn Sie uns die Informationen zukommen lassen würden.

Freundliche Grüße
D***** Kitsch

Sehr geehrte Damen und Herren,

ggf können die Änderungen nicht von Ihnen selbst durchgeführt werden. Deshalb bitten wir sie uns Ihr genaues Anliegen zu schildern. Danke

Bitte check, ob die sicher raus ist!

Mit freundlichen Grüßen, -The boss

Guten Tag,

schade, dass Ihr Flash auf den Seiten meinen Athlon mit 1,2Ghz unter Firefox zu 100% auslastet. Da sollten Sie IMHO noch dran arbeiten. Das geht sicher auch verträglicher… 

MfG
A*****

Und der Herr Diplom-Informatiker sollte mal dran arbeiten, dass seine Seiten auch auf meinem Mobile Device richtig angezeigt werden. Ansonsten sollte der Idiot doch über genügend Wissen verfügen sein Flash oder sein JavaScript einfach auszuschalten. Meine Seiten sind so gestaltet, dass ohne das auch funktionieren und wunderbar degraded.

Trotzdem, teilweise Recht hat er schon, der Banner ist in Flash 8 und läuft mit Effekten bei ca. 30fps. Ich find’s hübsch, auch wenn es auf meinem 386er nicht mehr läuft. Wir schreiben ja schließlich  auch 2007, oder…

„Ist ja leider oft so, dass die leidtragenden diejeniegen sind, die
sich eben nicht massiv damit auseinadner setzen. Scheint eben doch
so, dass die Durschnittsfamillie mit PC und DSL nicht im Zeitalter
der modernen Kommunikation angekommen ist, sondern erstmal im dunklen
Mittelalter von Spam, Viren und Botnets feststeckt.“

…wie jemand auf heise zu einem anderen Thema schrieb. Trotzdem ein schönes Zitat!

Ich wünsche einen guten Arbeitstag ohne lästige E-Mail!

Day 1

[9:00am] The server cannot be reached!

Are you sure? Damn, but I guess it’s their fault (once again). If you already had used 1&1 or former Schlund you only have two choices to convince them that they have an issue with their network and it’s not your fault.

1. Their service team is separated from their tech team. So coordination is not as always as it should be. First choice is always to get the service contact overloaded by tech speak so he has to make a query to the tech team. Then they’re suddenly very cooperative.
2. Second option is to tellthem it’s about a shop that makes a hel-load of orders and is going to be far under expected sales if they don’t fix the error.

Well, i catched up the syslog via hardware console and saw that the system is unable to bring up the network adapter (eth0), but booted normaly. And still i wasn’T able to connect via SSH. I phoned the support several times and about 3h later i was reported that the server poisoned the network with an invalid MAC address since 4:06. I wasn’t sure if they’re right – but probably it was a reason for the network adapter beeing  rejected by their IP Switch.

[12:00] Tracing the intruder

Well, they told me our system is now seen as compromised and i will be only able to boot the rescue system for now. I tried this via their admin section on their website, but the option was not available. Therefore they system bootet the normal system isntead, which could also be seen over hardware console. Another phone call was made. After 1h i had the option and i finally was able to boot the system. It took another 2h until their automated system gave me finally a shell to the a rescue system. But i wasn’t able to login with the given password from the administration site. I tried the original password for the server and it suddenly gave me access. Ok, that’s really  secure when the hacker already has decrypted the passwd from the old system, where i switched off pure passwd-auth (only RSA-keys).

Well, now i was finaly able to mount the drives and search for traces of the intruder. I didn’t find much in the logs, or something that really spoke for MAC poisoning, but i did find some w00tw00t.at log entries, an IP address from an AOL network and some local exploits in “/tmp/ /../”. Probably the addrsses were also spoofed and our little server was going to become a spambot or a proxy.

[17:00] Making a backup of the files

One thing at 1&1  is really nice: not having a good working solution for backup or instant recovery. Other hosters provide you with drive images from the last 3 days or automated backup systems or instant fallback image servers.

1&1 says this is not possible for root servers – hell knows why – and provide you instead with a restrictive FTP server with the same size as your server HD for two-times the money of other offers. Okay, that’s probably ok for diff-tarballs but it’s not a real deal when you want a mirror or you have to backup large amounts or big files. And it’s pain in the ass when you cannot stream to the FTP server, but have to pack a tarball first and then transfer it. That’s fine when the HD is almost full, und you only have the ftp, screen and vim command in the shell. Right, No Midnight Commander or tools to do instant batch processing of the files. I wouldn’t call it rescue system but minimal system instead.

Well, it was an 120GB partition with about 52GB free. I deleted some stuff, made some tarballs for the /var/logs, /etc /home and then transferred it to FTP. I was very happy to have enough free drive space to do that. And i did the backup to two times, one on another FTP Server – only to make sure they don’t reinitialize and kill the data an the FTP that’s in one contract/package with the Backup Server. Well that was about 50GB of data compressed to about 27GB.

[19:00] Go home and wait till tomorrow

The server was still transferring and since it was „only“ our development server which got compromised i could walk home without having to fear a work day till the full moon. The server still transferred some files…

Day 2

[9:00] Backup is made, please reinitialize the server!

The first thing i’ve done in morning – even before i got my coffee – was to call they support hotline again. The server is ready, please re-initailize it!

[11:00] I still can login to the rescue!

And again another phone call was  made since no once actualy did something. Again, the same story had to be told (platinum service witrh different employees!), the tech team had to be queried once again (please hold the line for about 10min!), and finally i was asked which system i wanted – after telling them my contract and customer number for 10 times. I told them „Debian Etch Stable“, or „Debian 4.0“ or the „latest Debian available“.

“Thanks. You’re system will now be reinitialized with your desired system. It will be available in some hours, because they have to do it manually this time…” – *click* – “Manually?!”

[16:00] Manualy means 5h for installing Linux Debian and bringing up network access

I had meanwhile a closer look on the logs which i downloaded yesterday, ,did answer the phone two times and wondered if “hopefully online again tomorrow evening” was the wrong sentence in the mails i sent toyour developers yesterday evening.

Meanwhile the server could be reached for short time, there was a shell to login (but i had no passwords), and then again the server was off the line, and then it showed “ready” with bold text “SUSE Linux 9.3 (PLESK 7.3)” on their recovery admin site.

Still I cannot ping or connect to the system. And i wonder how long it takes to reintialize the server once again with Debian…

[17:15] Compromised system released again

Ok, although it’s against their policy they did release the compromised system(!). And it still runs. Yet it was not blocked from the IP switch and no rootkit was found Still i wonder what data the guy leeched, or if he was even able to download something and how he got into the system. I guess he used the server as proxy (

Anyway, vnstat reports about  tx 3,971 MB,  rx 2,517 MB,  total  6,489 MB, wheras the server only does about 500MB  total per day.  I forgot to check that  and unless vnstat only does 24h i have no way to revert that data.

And some are going crazy here about mailing about 20 new passwords, whereas i have to set about 200 new passwords and copy and unpack about 40GB of data.

Resumé of the hack

Still the biggest problems with 1&1 are bureaucrazy and strict information policy as well as an overloaded network that has really amazing latency.

Anyway, it seems the intruder got into the server over a PHP upload exploit, but could not much do inside /tmp. Still, he could mainipulte the network adapter (probably through a local buffer overflow?).

He began scanning for security holes at 1:36am and was blocked by the intrusion detection system about 4:06am.

I guess all relevant data can be restored and nothing was lost. But what was once compromised stays compromised. I looked for file changes in the application files online but didn’t find anything – hopefully we’re safe again.

But Platinum service at 1&1 only means you get a ticket number which enables you to ask how far your query has progressed. Ah, and well the service employees are not the dumbest in the firm. That’s all mystery behind it! Forget 1&1! They suck. And the decision for 1&1 was not my choice…

„Kann man beim Photoshop die ganzen Filter in eine Toolbar setzen?“

„Ist da eigenltich ein Unterschied zwischen Indesign, Illustrator und Freehand?“

Das sagt schon mal wieder eine Menge aus!

Systemhelden.de – DAUs als Zombies

Systemhelden – das mag von mir aus Positiv oder Negativ klingen, zumindestens ist es die neue Seite von Sun Microsystem. Und Viral Marketing hat auch was Positives, denn so kommen wir an ein paar lustige Filmchen. Hoffen wir, dass es noch weitere geben wird.

Auf der Seite fällt einen Admin natüriich erstmal auf, dass ausnahmslos Sun Racks verkauft werden. Die TagCloud scheitn also wirklich voll gefaked zu sein. Netter versuch Sun, vielleicht lockt ihr damit DAUs in die Irre, Admins nicht! WHOIS besätigte meinen Verdacht.

P.S.: Google macht jetzt auch mit Videos AdWords-Werbung.