Die Wissenschaft hinter dem KI-basierten Persönlichkeitstest von Retorio

 

WS_Analyse

 

Wissenschaft trifft Praxis

Wir arbeiten mit wissenschaftlich validierten Persönlichkeits- und Kulturmodellen mit hoher Aussagekraft in Bezug auf Verhalten und Leistung.

Global einsetzbar

Unsere Modelle wurden mit einem demographisch vielfältigen Datensatz trainiert. Wir haben mehr als 100.000 Menschen aus der ganzen Welt analysiert.

Modelle ohne Vorurteile

Unsere Modelle sind blind gegenüber Alter, Geschlecht oder Hautfarbe. Wir stellen sicher, dass unsere Modelle menschliche Voreingenommenheit und Diskriminierungstendenzen ausschließen.

Maschinelles Lernen

Wir verwenden ausschließlich überwachte verhaltensbasierte Machine-Learning-Modelle, die tatsächliches Verhalten statt Selbsteinschätzung analysieren.

Wir basieren auf den Big 5 - dem Goldstandard der Persönlichkeitsforschung

Retorio basiert auf dem wissenschaftlich validierten Big-5-Modell (McCrae & John, 1992) – vermutlich das einzige Persönlichkeitsmodell, über das ein wissenschaftlicher Konsens besteht. Das Big-5-Modell beschreibt die Persönlichkeit eines Menschen anhand von fünf Dimensionen: Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit und Neurotizismus.

Jede dieser Eigenschaften hat weitere Unterdimensionen. Offenheit zum Beispiel basiert auf intellektueller Neugier, ästhetischem Interesse und kreativer Vorstellungskraft. Klicke hier, um mehr über die Big 5 zu erfahren.

WS_Big5

Wir bringen Persönlichkeit und Unternehmenskultur zusammen

Die Unternehmenskultur spiegelt Verhaltensmuster und Einstellungen wider, die von den Mitgliedern einer Organisation (z.B. Einzelpersonen, Gruppen, Teams usw.) gelebt werden. Mit Retorio verwenden wir eine der dominantesten und am besten erforschten Taxonomien in der Kulturforschung, die sich auf sieben verschiedene Facetten stützt (vgl. O'Reilly III et al., 1991).

Organisationsforscher haben diese sieben kulturellen Aspekte mit individuellen Merkmalen und Eigenschaften in Verbindung gebracht. Aufgrund dieses Vergleichs können Persönlichkeitsmerkmale auf individueller Ebene zu einem übergeordneten Kulturmodell aggregiert werden.

Auf diese Weise können wir die Passung zwischen Person und Kultur bestimmen und abschätzen, ob eine Person in einer bestimmten Unternehmenskultur mehr oder weniger gut aufgehoben ist. Empirische Forschung deutet darauf hin, dass Personen mit geringer Kulturpassung Unternehmen deutlich schneller verlassen als solche mit hoher Passung.

WS_Kultur Fit

Wir analysieren beobachtbares Verhalten statt Selbsteinschätzung

Retorio beschreibt die Persönlichkeit auf der Grundlage beobachteter Verhaltensweisen statt herkömmlicher fragebogengestützter Selbsteinschätzungen. Fragebogenbasierte Persönlichkeitsbeurteilungen wie der Hogan HPI, NEO-PI-R usw. sind weit verbreitet. Es gibt jedoch (mindestens) zwei gute Gründe, sich stattdessen auf Beobachterbewertungen zu verlassen.

Beobachterratings sind weniger anfällig für Spielereien und Manipulationen

Im Rahmen unserer vergangenen Forschung haben wir oft Teilnehmer beobachtet, die ihre Eigenschaften überschätzten, um ihre Chancen auf eine Einstellung oder Beförderung zu maximieren. Bei herkömmlichen Fragebögen genügen ein paar absichtlich falsch gesetzte Kreuze auf einem Blatt Papier, um eine völlig andere Person zu werden.

Im Gegensatz dazu stützen sich Beobachterratings auf wahrgenommene Verhaltensweisen und tatsächliche Leistungen. Natürlich können auch diese Bewertungen bis zu einem gewissen Grad manipuliert werden. Doch eine Person, die erfolgreich vorgibt, ein großartiger Kommunikator zu sein, kann als ein großartiger Kommunikator angesehen werden; ein versteckter Introvertierter, der dennoch keine Probleme hat, auf andere Menschen zuzugehen, kann als extrovertiert eingestuft werden. 

Beobachterratings sagen künftiges Verhalten zuverlässig voraus

Die Wissenschaft unterstützt die Verwendung von Beobachterbewertungen anstelle von Selbsteinschätzungen. In einem Arbeitskontext haben Beobachterbewertungen eine höhere Vorhersagekraft als Selbsteinschätzungen (Mount et al., 1994).

Gleichzeitig kann die Persönlichkeit auch von Fremden zuverlässig eingeschätzt werden. Die Forschung zeigt, dass Fremde bereits nach 50 Millisekunden, in denen sie einem Gesicht ausgesetzt sind, Extraversion korrekt vorhersagen können (Borkenau et al., 2009). Für andere Big-5-Persönlichkeitsdimensionen wie Verträglichkeit oder Gewissenhaftigkeit wurden ähnliche Effekte nach 20-30 Sekunden festgestellt (Kogan et al., 2011). Das Zeigen von kurzen Videoclips (z. B. 30 Sekunden) reicht aus, um zuverlässige Urteile zu bilden, die eine Aussagekraft in Bezug auf die Arbeitsleistung haben (Ambady et al., 2006; Ambady & Rosenthal, 1993).

WS_BIG 5_Braunhaarig

 

Unser Ansatz für maschinelles Lernen und Trainingsdaten

Mithilfe automatisierter Videointerviews analysiert die KI von Retorio Verhaltenshinweise wie Gesichtsausdruck, Körpersprache und Stimme, um ein Persönlichkeitsprofil zu erstellen. Außerdem transkribieren wir gesprochene Worte und analysieren den Sprachgebrauch. Retorio verwendet für seine Analysen proprietäre neuronale Netzwerke und NLP-Modelle. Unser Ansatz der Kombination verschiedener maschineller Lernmethoden (Ensemble-Modelle) bietet dabei Sicherheit, Transparenz und tiefere Einblicke. Derzeit kombinieren wir die folgenden maschinellen Lernansätze:

  • Deep Learning für visuelle Datenverarbeitung (Gesichtsausdruck, Körpersprache usw.)
  • Akustische Analyse von Sprachdaten
  • Deep Learning für die Sprache-zu-Text-Erkennung (externes Material)
  • Natürliche Sprachverarbeitung (NLP) zur Sprachanalyse (Erkennung von Sprachmustern, Sprachgebrauch usw.)
  • Konventionelle ML-Modelle für multimodale Interpretation und Abgleich (z.B. OLS-Regressionsanalyse, etc.)

Deep Learning

Das Herzstück von Retorios KI sind unsere hochmodernen Deep-Learning-Modelle. Deep Learning ist eine Form des maschinellen Lernens, die Computer darauf trainiert, menschenähnliche Aufgaben auszuführen, wie z.B. Sprache zu erkennen, Emotionen aus Videodaten zu identifizieren oder Vorhersagen in Bezug auf die Persönlichkeit oder die Eignung für einen Job zu treffen. Anstatt Daten zu strukturieren und sie durch vordefinierte Gleichungen laufen zu lassen, stellt Deep Learning grundlegende Parameter über die Daten auf und trainiert den Computer, selbständig zu lernen, indem er durch viele Verarbeitungsschichten Muster erkennt.

Um Deep-Learning-Probleme zu lösen, wie z.B. die Klassifizierung von Persönlichkeiten, wird eine Menge Rechenleistung benötigt, da Deep-Learning-Algorithmen iterativ sind, ihre Komplexität mit der Anzahl der Schichten steigt und große Datenmengen zum Trainieren der Netzwerke benötigt werden. Dennoch ermöglicht uns unser Ansatz, Deep Learning zu nutzen und Dinge zu tun, die vor ein paar Jahren noch unvorstellbar waren.

Erstens können wir durch Deep Learning die Genauigkeit und Leistung unserer neuronalen Netze verbessern. Durch verbesserte Algorithmen und mehr Rechenleistung können wir unseren Vorhersagen zur Persönlichkeit und Kultur mehr Tiefe verleihen.

Und zweitens bietet Deep Learning eine große Chance, dynamischeres Verhalten in die Analytik einzuführen. Mit Retorio können wir eine stärkere Personalisierung von Kundenanalysen basierend auf kundenspezifischen Daten anbieten. Indem du uns Informationen über dein Team und die Menschen, die du einstellst, zur Verfügung stellst, können wir unsere Modelle mit einem kontinuierlich verbesserten Verständnis der Kriterien versorgen, die Leistung innerhalb deiner Organisation erklären.

 

Datensätze

Jede KI ist nur so gut wie die Daten, aus denen sie lernt. Wir haben unsere KI auf einem großen Datensatz - Millionen von Datenpunkten - trainiert, der ein breites Spektrum von Altersgruppen, Geschlechtern und Ethnien abdeckt. Retorio ist eine sogenannte "überwachte KI" - sie lernt nur unter menschlicher Aufsicht und aus wissenschaftlich geprüften Datensätzen. Um Verzerrungen zu vermeiden und repräsentative Ergebnisse zu erzielen, spiegeln unsere Datensätze die Verhaltensweisen und Wahrnehmungen von Menschen aus unterschiedlichen Bevölkerungsgruppen wider.

Wir stellen sicher, dass nur Faktoren, auf die der Bewerber Einfluss hat, in die Auswertungen unserer KI einfließen. In unseren Datensätzen vergleichen wir zum Beispiel die Mittelwerte der Big-5-Einschätzungen zwischen weißen und schwarzen, jungen und alten Menschen, Männern und Frauen usw. Wenn wir signifikante Mittelwertunterschiede feststellen, die auf die Gruppenzugehörigkeit zurückzuführen sind, passen wir die Mittelwerte und Verteilungen an, um diskriminierende Verzerrungen in unseren Trainings- und Testdatensätzen auszugleichen.

Wir testen unsere korrigierten Modelle regelmäßig mit großen, wissenschaftlich fundierten Datensätzen, wie z. B. dem Fairface-Datensatz der UCLA, der etwa 100.000 Personen aus verschiedenen Kulturen, Altersgruppen usw. enthält.
Wir veröffentlichen unsere Ergebnisse auf transparente Weise. Unsere Ergebnisse zeigen deutlich, dass Retorio die Bewerber unabhängig von ihrer Hautfarbe, ihrem Geschlecht oder ihrem Alter bewertet. Somit trägt Retorios KI zu faireren und objektiveren Talententscheidungen bei.

 

Fairface Dataset

Verteilung der Big-5-Persönlichkeitsmerkmale, wie sie von Retorios KI geschätzt werden, in verschiedenen ethnischen Gruppen nach dem Debiasing. Wir beobachten keine systematischen Unterschiede (N=100.000).

 

Unsere KI – 90% genau, Tendenz steigend 

Die Vorhersagegenauigkeit gibt an, wie weit die Prognosen von Retorio im Durchschnitt von der Wahrnehmung abweichen, die eine repräsentative Gruppe von Personen gegenüber einer Person hat. Derzeit erreicht Retorio eine Genauigkeit von etwa 90%.

Bei dem Versuch, die Außenwahrnehmung einer Person anhand der Big-5-Taxonomie vorherzusagen, ist also im Durchschnitt eine Abweichung von etwa 10% zu beobachten. Diese Abweichung entspricht dem Messfehler unseres Verfahrens.

An dieser Stelle sei angemerkt, dass unsere KI für einen bestimmten Zweck trainiert wurde: die Bewertung typischer Bewerbungsvideos oder Alltagssituationen in Unternehmen. Alle angegebenen Genauigkeitsstufen beziehen sich auf diesen speziellen Zweck.

20201127_800-775

Welche Probleme löst Retorio eigentlich?

Retorio wird im Personalwesen eingesetzt, um Unternehmen bei der Auswahl und Entwicklung von Mitarbeitern zu unterstützen. Untersuchungen zeigen, dass Personalentscheidungen stark von unbewussten Faktoren und Vorurteilen beeinflusst werden. Die große Bedeutung des Bauchgefühls von Entscheidungsträgern führt oft zu Ungleichbehandlung, unnötigem Arbeitsaufwand und schlechten Einstellungsentscheidungen.

Vermeidung von Diskriminierung in HR-Prozessen

Talente werden immer noch aufgrund ihrer Hautfarbe, Religion und Kultur diskriminiert. So zeigt eine Studie des WZB von 2018 anhand eines Feldversuchs, dass schwarze und weiße Bewerber deutlich unterschiedlich behandelt werden, selbst wenn sie sich mit identischen Lebensläufen bewerben.

Retorio stellt sicher, dass nur Faktoren in die Ergebnisse einfließen, auf die der Bewerber Einfluss hat. Wir überprüfen aktiv unsere Datensätze und Modelle, um sicherzustellen, dass Retorio keine Hautfarbe, kein Geschlecht und kein Alter sieht. 

Außerdem berücksichtigt Retorio nicht den Dialekt einer Person, den Hintergrund eines Bewerbungsvideos, die Haarfarbe usw. Menschen fällt es wesentlich schwieriger, diese Faktoren zu vermeiden.

Reduzierung der Arbeitsbelastung der Recruiter, Verbesserung der Interviewqualität

Überlastete Personalabteilungen haben oft nur wenig Zeit für die Vor- und Nachbereitung ihrer Gespräche. In ihrem beschleunigten Arbeitsalltag müssen sich die Entscheidungsträger auf ihre Intuition verlassen, die möglicherweise voreingenommen ist.

Während sich in der Vergangenheit nur ein Bruchteil aller Bewerber persönlich vorstellen konnte, bietet Retorio jedem einzelnen Bewerber die Möglichkeit, sich zu präsentieren und genau das zu zeigen, was ein Lebenslauf nicht verrät: wer er oder sie ist.

Die Recruiter haben Zugang zu allen Videobewerbungen und bilden sich ihr eigenes Urteil. Sie treffen sich nur mit den Bewerbern, die wirklich eine Chance haben, und haben Zugang zu aussagekräftigen Daten, um sich auf das Gespräch vorzubereiten. 

Fokus auf die Kulturpassung, um 46 % Misserfolgsquote zu vermeiden

46 % aller neu eingestellten Mitarbeiter scheitern innerhalb von 18 Monaten. Laut einer Studie von Leadership IQ sind 89 % dieser Misserfolge auf eine schlechte Passung zwischen Person und Kultur zurückzuführen. 82 % der Manager gaben an, dass die Gespräche mit den Kandidaten im Nachhinein subtile Hinweise darauf enthielten, dass diese Talente auf Schwierigkeiten zusteuern würden. Dennoch konzentrieren sich typische Vorstellungsgespräche eher auf Vorerfahrungen als auf Persönlichkeit, Motivation und/oder kulturelle Passung. 

Bis heute beruhen die meisten Einstellungsentscheidungen auf unstrukturierten Gesprächen, obwohl diese Methode der Befragung zu voreingenommenen Entscheidungen führt (e.g. Barrick et al. 2009). Forscher weisen darauf hin, dass strukturierte Interviews einen besseren Ansatz darstellen. So stellen Schmidt and Zimmerman (2004) fest, dass DREI bis VIER unabhängige unstrukturierte Interviews erforderlich sind, um den gleichen Grad an Validität bei der Vorhersage der Arbeitsleistung zu erreichen wie EIN strukturiertes (und idealerweise ununterbrochenes und standardisiertes) Interview.

Mit Fragen, die sich auf bestimmte Eigenschaften und Fähigkeiten konzentrieren, sind videobasierte strukturierte Interviews ein effektiveres Mittel, um die Eignung eines Bewerbers für die Unternehmenskultur und seine potenzielle Leistung für die Stelle zu testen.

 

Whitepaper: Tauche noch tiefer ein!

Wir glauben an Wissenschaft und Transparenz. Deshalb zeigen wir, wie wir unsere KI entwickelt und entschlüsselt haben.
Erfahre mehr über unsere Datensätze, Methoden und wissenschaftlichen Grundlagen.

 

Download now

AI personality model whitepaper-1 1

Verwurzelt in KI, Psychologie und Organisationsforschung: Treffe das Team von Retorio

Retorio wurde als Forschungsprojekt an der Technischen Universität München ins Leben gerufen. Nach jahrelanger Forschung im Bereich der Verhaltens- und Differenzialpsychologie haben wir uns entschlossen, unsere Erkenntnisse für alle zugänglich, gerecht und skalierbar zu machen. Wir beschäftigen Psychologen, KI-Spezialisten und Wirtschaftsexperten aus mehr als 10 Ländern.

Als ein Produkt, welches auf Forschung basiert, wollen wir unseren Kunden und Nutzern solide, empirisch validierte Ergebnisse liefern.

Logos

CH

Dr. Christoph Hohenberger

Gründer und Chefpsychologe

Christoph ist einer der Mitbegründer von Retorio und unser Chefpsychologe. Nach seinem Studium der Wirtschaftspsychologie promovierte er an der TU München, wo er die Schnittstelle zwischen KI und Psychologie erforschte. Dazwischen war er Forschungsstipendiat am MIT und der Universität Tokio.

PO

Dr. Patrick Oehler

Gründer und Leiter der KI Kommunikation

Patrick ist einer unserer Mitbegründer und verantwortlich für die Produktkommunikation. Er hat einen M.Sc. in strategischem Management von der LSE und promovierte in Organisationsforschung an der TU München. Während seiner Promotion untersuchte Patrick die Zusammenhänge zwischen Verhaltensmustern in Organisationen und Leistung. Er war Gastwissenschaftler am AY lab (Uni Tokio).

Flo

Dr. Florian Abicht

Chief Data Officer

Florian studierte Physik an der Universität München (LMU) und promovierte am Max-Born-Institut der TU Berlin. Bevor er als Chief Data Officer zu Retorio kam, arbeitete er als Lead Data Scientist bei Compass inc. in San Francisco und als Group Head of Applied Intelligence bei Plan.Net Business Intelligence.

CTA1

Möchtest du erfahren, wie die Videointerview-Plattform von Retorio deine Talententscheidungen beeinflussen kann?

Demo vereinbaren