ИИ не успя да отговори на въпрос за първокласници

Елементарна логическа задача се оказа непосилна за някои от най-популярните езикови модели на изкуствения интелект, доказаха учени от организацията на изследване на ИИ LAION. Статията им по въпроса очаква рецензиране.

Учените са задали на различни модели генеративен ИИ въпроса:

„Алиса има Х братя и Y сестри. Колко сестри има братът на Алиса?“

Отговорът на простата логическа задача е на ниво на първокласник и всеки човек лесно го решава: например, ако Алиса има трима братя и две сестри, то всеки брат ще има по три сестри – Алиса и още две.

Отговорът обаче е затруднил езиковите модели на OpenAI: GPT-3, GPT-4, Anthropic Claude 3 Opus; „Gemini“ на Гугъл и модела „Llama“ на „Мета“, както и „Mextral“ на Mistral AI, Dbrx на Mosaic и Command R+ на Coher.

Единственият генеративен изкуствен интелект, отговорил правилно на поставената загадка, е новият GPT-4o. Нито един от останалите не е успял да разбере, че Алиса също е сестра на всеки от братята в нейното семейство.