Хотя модели ИИ могут выполнять сложные задачи, такие как написание эссе и создание произведений искусства, им еще предстоит освоить некоторые навыки, которые люди выполняют с легкостью.
Эдинбургская группа показала, что современные модели ИИ не способны надежно интерпретировать положение стрелок часов или правильно отвечать на вопросы о датах в календарях.
Задача ИИ
В отличие от простого распознавания форм, понимание аналоговых часов и календарей требует сочетания пространственного восприятия, контекста и элементарной математики — что остается сложной задачей для ИИ.
Преодоление этого может позволить системам ИИ работать с чувствительными ко времени приложениями, такими как помощники по планированию, автономные роботы и инструменты для людей с нарушениями зрения.
Группа проверила, могут ли системы ИИ, обрабатывающие текст и изображения, известные как многомодальные большие языковые модели (MLLM), отвечать на вопросы, связанные со временем, глядя на изображение часов или календаря.
Чтение показаний часов
Исследователи протестировали различные конструкции часов, в том числе с римскими цифрами, с секундными стрелками и без них, а также с циферблатами разных цветов.
Их результаты показывают, что системы ИИ в лучшем случае правильно определяли положение стрелок часов менее чем в четверти случаев. Ошибки были более распространены, когда часы имели римские цифры или стилизованные стрелки.
Системы ИИ также не работали лучше, когда секундная стрелка была удалена, что говорит о наличии глубоко укоренившихся проблем с обнаружением стрелок и интерпретацией угла, говорит команда.
Календарные даты
Исследователи попросили модели ИИ ответить на ряд вопросов, связанных с календарем, таких как определение праздников и вычисление прошлых и будущих дат.
Команда обнаружила, что даже самая эффективная модель ИИ неправильно вычисляла даты в одной пятой случаев.
Результаты исследования изложены в рецензируемой статье, которая будет представлена на семинаре «Рассуждение и планирование для больших языковых моделей» на Тринадцатой международной конференции по представлениям обучения (ICLR) в Сингапуре 28 апреля 2025 года.
Большинство людей умеют определять время и пользоваться календарями с раннего возраста. Наши результаты подчеркивают значительный пробел в способности ИИ выполнять то, что является довольно базовыми навыками для людей. Эти недостатки необходимо устранить, если системы ИИ должны быть успешно интегрированы в чувствительные ко времени приложения реального мира, такие как планирование, автоматизация и вспомогательные технологии.
Рохита Саксена
Школа информатики
Сегодняшние исследования ИИ часто подчеркивают сложные задачи рассуждения, но по иронии судьбы многие системы все еще испытывают трудности, когда дело доходит до более простых, повседневных задач. Наши выводы показывают, что пришло время устранить эти фундаментальные пробелы. В противном случае интеграция ИИ в реальные, чувствительные ко времени приложения может застрять на одиннадцатом часу.
Арио Гема
Школа информатики
Источник: The University of Edinburgh
Главный редактор
Социальные сети:
Telegram: https://t.me/creatorproject_ru
VK: https://vk.com/novosti_ai
Дзен: https://dzen.ru/ainewscp
RuTube: https://rutube.ru/channel/58102633/
YouTube: https://www.youtube.com/@creatorproject_ru
TikTok: https://www.tiktok.com/@creatorproject_ru
Likee: AI News (@creatorproject)
Ой, да ладно — когда это ИИ научился создавать «произведения искусства»? не смешите меня :)))
Кругом одни «потрясные» новости о том, как ИИ только и делает, что продолжает «путаться» :))) То в тяжком преступлении кого-то обвиняет, то элементарно время определить не может. Прям сплошные «продвинутые» технологии. Теперь меня вот пугает возможность появления на дорогах роботакси — учитавая как ИИ любит «путаться» — это ведь может величить ДТП на дорогах :((
Современные генеративные модели искусственного интеллекта поражают своими возможностями: они пишут тексты, создают изображения, программируют, а иногда даже смешно шутят. Однако, как показало новое исследование Эдинбургского университета, даже самые продвинутые ИИ всё ещё испытывают серьёзные трудности с некоторыми базовыми задачами, которые легко даются людям с самого раннего детства. В частности, речь идёт о чтении аналоговых часов и понимании календарей.
Сегодняшние исследования ИИ зачастую акцентируют внимание на сложных задачах рассуждения, однако иронично, что многие системы продолжают сталкиваться с затруднениями в выполнении более простых, повседневных задач. Наши выводы указывают на необходимость устранения этих фундаментальных недостатков. В противном случае интеграция ИИ в реальные время зависимые приложения может оказаться под угрозой.