Êtes-vous plus intelligent qu’un modèle d’apprentissage automatique ? Découvrons-le, choisissez la réponse qui contredit le principe suivant : Bob a une sœur nommée Sarah, la réponse A : Bob a une sœur, la réponse B : Bob ne possède pas de voiture, la réponse C : Bob n’a pas de sœur. Si vous avez choisi C, vous avez réussi.
Des exemples comme celui-ci peuvent paraître simples, mais ils semblent être un bon indicateur de la compréhension du langage par une machine. Le test s’appelle Inférence en langage naturel. Il est souvent utilisé pour évaluer la capacité d’un modèle à comprendre une relation entre deux textes.
Développer des architectures de réseaux neuronaux
Les jeux de données contenant plusieurs questions de ce type, générés par des humains, ont conduit à l’essor de nouvelles architectures de réseaux neuronaux permettant de résoudre l’inférence de langage naturel. Au fil des ans, ces réseaux de neurones se sont améliorés.
Voici comment fonctionne ce genre de test en anglais :
Les modèles de pointe actuels obtiennent généralement l’équivalent d’un B+, à savoir la neutralité, lors de ces tests. Les humains obtiennent généralement un A ou un A-, indiquant l’implication. Mais des chercheurs ont récemment découvert que les modèles d’apprentissage automatique réussissaient encore remarquablement bien quand on ne leur donnait que la réponse, également appelée hypothèse, sans la prémisse originale.
Des jeux intéressants
Il s’avère que ces jeux de données sont truffés de biais humains. Lorsqu’on leur demande de formuler des phrases contradictoires, les humains utilisent souvent des négations. Cependant, s’appuyer sur ces indices pourrait conduire les modèles d’apprentissage automatique à qualifier de manière erronée « Bob ne possède pas de voiture » comme une contradiction.
Ces modèles n’apprennent pas à comprendre la relation entre les textes, mais à saisir les idiosyncrasies humaines. Pour lutter contre cela, les chercheurs ont mis au point une nouvelle méthode permettant de créer des modèles d’apprentissage automatique qui réduisent la dépendance du modèle à ces biais.
