Институт информационных наук ОСК Витерби объединяет человеческих » прогнозистов» с ИИ для разработки более совершенных технологий прогнозирования
(Изображение / Арек Соха из Pixabay)
Можно утверждать, что ученые создают сверхспособности в своих лабораториях. Если бы Араму Галстяну, директору отдела искусственного интеллекта Института информационных наук ОСК Витерби (ISI), пришлось выбирать только одну сверхдержаву, то это была бы способность предсказывать будущее. Какова будет дневная цена закрытия японского индекса Nikkei 225 в конце следующей недели? Сколько землетрясений 6,0 или более сильных произойдет во всем мире в следующем месяце? Галстян и группа исследователей из ОСК ISI строят систему для ответа на такие вопросы.
В течение последних двух лет Галстян возглавлял группу исследователей в ISI над проектом под названием «синергетическое предвосхищение геополитических событий», или SAGE, чтобы попытаться предсказать будущее с помощью неспециалистов. Проект SAGE опирается на человеческих участников, взаимодействующих с инструментами машинного обучения, чтобы делать прогнозы о будущих событиях. Их цель состоит в том, чтобы прогнозы, полученные от комбинации человеческого ИИ, были более точными, чем прогнозы только людей.
Их исследования оказались весьма полезными, и предсказания людей во многом оказались верными. Фред Морштаттер из ISI, доцент кафедры компьютерных наук Университета Витерби, сказал, что неспециалисты точно предсказали в апреле, что Северная Корея начнет свои ракетные испытания до июля; Северная Корея запустила их в мае.
Это был первый ракетный запуск страны за семь месяцев, состоявшийся всего через несколько дней после того, как вопрос появился на сайте SAGE. «Я думаю, что никто из нас не думал, что это произойдет», — сказал Морштаттер.
SAGE финансируется организацией Intelligence Advanced Research Projects Activity (IARPA), которая инвестирует в высокорисковые и высокооплачиваемые исследовательские проекты в интересах разведывательного сообщества США.
IARPA заинтересована в разработке технологии прогнозирования, которая делает прогнозы, основанные на большом наборе людей-пользователей, более точными и быстрыми, чем один человек-эксперт. Способность предсказывать геополитические события потенциально может помочь разведывательному сообществу принимать более обоснованные решения в области национальной безопасности.
Агентство проводило множество конкурсов, связанных с прогнозированием, в том числе проект Агрегативной оценки контингентов, который привлекал людей для составления прогнозов.
SAGE расширяет это предыдущее исследование, вместо этого прося людей делать прогнозы на основе информации, предоставляемой различными методами машинного обучения.
В 2017 году команда ISI получила четырехлетний многомиллионный грант в рамках конкурса гибридного прогнозирования IARPA — нового проекта, поощряющего исследователей сочетать человеческое прогнозирование с моделями машинного обучения для получения более точных прогнозов, чем любой из этих методов мог бы сделать сам по себе. Финалистами стали ISI и компания Raytheon BBN Technologies.
Пользователи, известные как «прогнозисты», самостоятельно выбирают то, что они хотели бы предсказать. Темы варьируются от геополитических «» будет ли какая-либо страна G7 участвовать в признанном Национальном военном нападении на Сирию до 1 декабря 2018 года? » до экономических: » сколько сырой нефти будет добывать Венесуэла в октябре 2019 года? » пользователи также могут задавать вопросы коллегам-прогнозистам на дискуссионных досках, комментировать результаты прогнозов и просматривать рейтинги лидеров, которые украшены цифровыми значками, которые пользователи могут заработать, делая точные прогнозы.
По словам Морштаттера, неопытные прогнозисты, привлеченные для участия в SAGE, точно предсказали реальные геополитические события. «Мы считаем, что это так, потому что цифры, которые мы видим, указывают на то, что мы опережаем систему, которая использует только людей».
Действительно, это было подтверждено в конкурсе, проведенном в прошлом году для проверки точности систем прогнозирования. В течение 2019 года SAGE тестировался против двух конкурирующих систем. Всем системам был задан один и тот же набор из более чем 400 вопросов прогнозирования. SAGE смог генерировать прогнозы по этим вопросам, которые были более точными, чем прогнозы конкурирующих систем.
Первое слово в аббревиатуре SAGE, «синергетический», намекает на то, как это человеческое прогнозирование связано с машинным обучением. Синергия описывает, как два или более объекта — в данном случае человек и машина-объединяются, чтобы создать нечто большее, чем сумма его частей. Команда SAGE полна решимости выяснить, как объединить краудсорсинговые прогнозы с инструментами машинного обучения для получения более точных прогнозов.
Научить неспециалистов делать точные прогнозы с помощью машинного обучения — одна из главных целей проекта, и она работает.
— Благодаря моделям машин, которые есть в нашей системе, — сказал Морштаттер. «Синоптики работают лучше, чем система управления, в которой есть только люди-синоптики».
SAGE предлагает несколько интересных моделей машин на своем сайте, чтобы пользователи могли делать обоснованные прогнозы. Это включает в себя диаграммы временных рядов-ряд исторических точек данных, чтобы показать тенденции, наряду с машинным прогнозом-чтобы помочь с количественными прогнозами, такими как стоимость акций с течением времени. Объединив человеческие и машинные Прогнозы на платформе SAGE, исследователи ISI обнаружили преимущества гибридизации, сказал Галстян.
Помимо Галстяна и Морштаттера из ISI, в команду входят Педро Секели, доцент кафедры компьютерных наук Университета Витерби, который знает, как хранить все данные SAGE; профессора Эмилио Феррара и Али Аббас; программист-исследователь Глеб Сатюков, который разрабатывает front-end или то, что пользователи видят на сайте SAGE; компьютерщик Андрес Абелюк, чей опыт в области предвзятости и компьютерных наук дополняет работу постдока Даниэля Бенджамина; и менеджер проекта Лори Вайс, первая линия защиты команды, когда у пользователей возникают вопросы о платформе.. В состав команды также входят внешние члены из Калифорнийского университета в Ирвине, Колумбийского университета, Стэнфордского университета и Университета Фордхэма.
До сих пор они смогли показать, что смешивание машинного интеллекта и человеческого принятия решений действительно дает более низкие оценки шиповника, чем только человеческие прогнозисты, добавил он. — Мы превосходим то, что было сделано в прошлом.
Морштаттер сказал: «мудрость работает, потому что у людей есть одна сторона медали, а у машин-другая».
Но не только аналитики разведки могут найти технологию прогнозирования полезной. Кто не хотел бы предсказывать будущее?
https://viterbischool.usc.edu/news/2020/02/its-not-magic-its-science-predicting-the-future/
Загрузка...
