Zu deutlicher Verwirrung führte ein vom populärwissenschaftlichen Journal Bild der Wissenschaft (bdw Ausgabe 2/99) durchgeführtes “Ranking” der Bedeutung der KI-Forschung in Deutschland. Demzufolge würde das DFKI sowohl bei den Aktiven Top Ten (nach Anzahl der Zeitschriftenveröffentlichungen) als auch bei den “Einflußreichen” (Gewichtung nach Zitaten) auf Platz 8 landen! Einer Überprüfung durch die DFKI-Bibliotheksleiterin, Iris Merget, hielt dieses Ergebnis in keiner Weise stand. Aus folgenden Gründen ist der bdw-Index falsch:

• Zwar ist es insbesondere in den USA üblich, solche Rankings aufgrund von Auswertungen eines Citation Index zu erhalten, aber in den meisten Fällen wird sehr viel differenzierter ermittelt, als die Autoren des bdw-Rankings recherchiert haben: chronologische Verteilung der Zitierungen, Konzentration der Zitierungen um wenige Papiere oder Verteilung auf viele, Interdisziplinarität und Internationalität der Zitierungen, Qualität und “Impact” der zitierten Zeitschrift, Deckung des ausgewerteten Index bzgl. des ausgewerteten Gebiets müssen berücksichtigt werden. Gerade im Forschungsgebiet der Künstlichen Intelligenz wäre solch ein Ranking aber selbst bei einer korrekten Durchführung nur bedingt wertbar.
• Bei einer Bewertung über ein Citation Index werden nur Artikel in Fachjournalen erfaßt. Die Publikationskultur in der KI stützt sich aber neben Journals auch stark auf andere Fachorgane. Einflußreiche Arbeiten werden in der Regel lange vor der Zeitschriftenveröffentlichung in Workshops und Konferenzen präsentiert und entsprechend auch dort von anderen Autoren zitiert. Eine Zählung der DFKI-Veröffentlichungen in 97/98 ergab die stolze Zahl von 402 Publikationen.
• Die Autoren haben mit ihrer Einschränkung auf den Science Citation Index (SCI) die Suche zu eng gefaßt, um den Inhalten der KI gerecht zu werden. So wurden z.B. sämtliche Veröffentlichungen aus dem Bereich Sprachtechnologie nicht erfaßt, da diese wohl eher im Social Science Citation Index (SSCI) aufzufinden wären.
• Die gewählte Selektionsmethode deckte darüber hinaus selbst im SCI nur einen Teil der Journale ab, in denen KI-Artikel zu finden sind.
• Die genannten 12 Artikel in Fachjournalen, die den Platz des DFKI unter den “Aktiven Top ten” begründen sollen, geben aber gerade die Hälfte der im Evaluationszeitraum vom DFKI in internationalen, hochrangigen Fachzeitschriften wieder. So wurden u.a. DFKI-Artikel im Journal of Automated Reasoning oder im Journal of Theoretical Computer Science (beide im SCI vertreten) nicht gezählt – zwar nicht gerade die typischen AI-Journals, aber hoch renommiert und auch von KI-Wissenschaftlern für ihre Veröffentlichungen genutzt.
• Da die Zitierungsraten ebenfalls auf dieser Basis erhoben wurde, ist auch dieses Ranking verfälscht. Denn gerade hier darf der Einfluß auch außerhalb einschlägiger KI-Journale auf keinen Fall vernachlässigt werden.

Zwar wirkt sich diese Kritik am bdw-Ranking auch auf die anderen Institute aus, aber die Beschränkung auf den SCI und die einseitige Selektionsmethode wirkt sich u.U. deutlich unterschiedlich aus – je nach KI-spezifischer Ausrichtung der Institute. Wegen dieser augenfälligen Mängel der bdw-Studie haben wir die Einstellung des verfälschenden Verfahrens gefordert.

H.-J. Bürckert und I. Merget