Seitdem Cylance als einer der Pioniere im Next-Gen AV-Bereich mit Begriffen wie AI (Artificial Intelligence/Künstliche Intelligenz), machine learning und mathematischen Modellen im Jahr 2014 auf dem Radar auftauchte, haben Mitbewerber aus dem klassischen AV-Software-Umfeld nichts unversucht gelassen, aktuellere Technologien als die von ihnen verwendeten wie Verhaltensanalyse, Heuristik, cloudbasiertes Scannen usw. zunächst als wenig erfolgreich darzustellen. Darauf, wer sich wann wie und in welcher Form geäußert hat oder warum Hersteller A nach eigenen Angaben bedeutend besser ist als der Rest, möchte ich an dieser Stelle nicht näher eingehen. In diesem Beitrag möchte ich vielmehr erläutern, weshalb man fabelhaft klingenden Beschreibungen aus der Feder der Marketingabteilungen immer mit einer gesunden Portion Skepsis begegnen sollte und weshalb es offensichtlich unterschiedliche Formen von machine learning oder deep learning gibt, die sich hinsichtlich ihrer Effizienz doch deutlich voneinander unterscheiden.

Aus meiner Sicht ist es unabdingbar, ein Produkt selbst auf Herz und Nieren zu testen. Ich spreche hierbei nicht von AV-Software für Heimanwender, sondern von Business-Versionen für Unternehmen jeglicher Größe. Da ich mit Produkten wie DeepArmor von SparkCognition vertraut bin und aufgrund regelmäßig durchgeführter eigener Tests die Effektivität von DeepArmor kenne und beurteilen kann, habe ich im Dezember 2017 Tests mit mehreren Business-Lösungen von bekannten Herstellern durchgeführt. Grundlage dafür waren jeweils Testversionen der jeweiligen Produkte sowie Samples von testmyav.com, hybrid-analysis.com sowie aktuelle Malware und Ransomware, die ich über einen malware crawler einsammle.

Meine Testmethodik werde ich ein anderes Mal ausführlicher erläutern, momentan sollte folgende kurze Übersicht ausreichend sein:

• Alle Samples wurden unter Windows 10 in einer virtuellen Maschine gegen die jeweilige Scan Engine getestet
• In allen Fällen wurde die mitgelieferte und empfohlene default policy des jeweiligen Herstellers verwendet
• Malware, die nicht bereits vom On-Access Scanner ausgesondert wurde, habe ich erneut manuell gescannt
• Bekannte Ransomware-Samples von testmyav.com habe ich mit einem EXE-Packer behandelt, um zu prüfen, wie gut Mutationen von Ransomware erkannt werden  

Ohne lange um den heißen Brei herumreden zu wollen, waren die Ergebnisse sehr durchwachsen. Besonders irritiert hat mich ein Produkt eines amerikanischen Herstellers hinsichtlich der beworbenen Erkennungsmöglichkeiten und den tatsächlich erkannten Samples. Ich muss zugeben, dass sich die Produktbeschreibung wirklich gut anhört: Small footprint des Agents, geringe Systemauslastung, machine learning zur Erkennung von völlig neuer und unbekannter Malware usw. Wenn ein Hersteller mit machine learning oder deep learning wirbt, dann erwarte ich, dass auch relativ simpel manipulierte Malware oder Ransomware problemlos erkannt werden, denn das gibt die Technik tatsächlich her, wenn sie richtig implentiert ist. Erschreckend war aber speziell in diesem einen Fall, dass manipulierte Malware-Samples weder erkannt noch in der Ausführung gestoppt wurden. Mehr noch: der vom Hersteller versprochene Remediation-Mechanismus für verschlüsselte Dateien, die durch nicht erkannte Ransomware entstanden sind, hat bei mir schlicht und ergreifend nicht funktioniert. Einen Fehler in der Konfiguration der Software schließe ich aus, weil ich die vom Hersteller empfohlene default policy verwendet habe. Noch krasser wird das ganze, wenn man sich die Reviews für das Produkt bei Gartner peer review (Registrierung erforderlich) anschaut und die Bewertungen durchliest, denn die basieren meiner Meinung nicht auf selbst durchgeführten Tests. Wer glaubt, dass ein gutes Endpoint Protection-Produkt schon alleine deshalb super ist, weil es drei Tage alte Malware-Samples erkennt, der sollte sich ernsthaft die Frage stellen, ob er auf das richtige Pferd gesetzt hat.

Last but not least möchte ich in diesem Kontext nicht unerwähnt lassen, dass dieses augenscheinlich hervorragende Produkt auf anderen Webseiten ganz anders abgeschnitten hat und bewertet wurde, und zwar im Bereich der negativen Leistung.

Warum schreibe ich das nun alles? Ganz einfach: Verlassen Sie sich niemals auf vollmundiges Marketing-Blabla von Herstellern von AV-Software, sondern testen Sie Produkte im Endpoint Security-Umfeld intensiv und selbst auf Herz und Nieren, bevor sie im Unternehmen eingeführt werden. Gerne berate und unterstütze ich Sie diesbezüglich auch mit meinem Know How.