para bellum

[p35]

Если вы опасаетесь, что однажды роботы восстанут и либо уничтожат, либо подчинят весь человеческий род, вы не одиноки. Но вместо того, чтобы отсиживаться и ждать восстания роботов, два лидера в области ИИ объединяются, чтобы решить проблему создания программ для смарт-компьютеров, которые в конечном итоге не попытаются и не возьмут над нами верх.

Google DeepMind и Open AI , лаборатория, частично финансируемая Элоном Маском, выпустили исследовательскую статью, в которой излагается новый метод машинного обучения. По этой концепции, ИИ получает сигналы от людей, когда дело доходит до изучения новых задач. Это может быть безопаснее, чем позволить ИИ самому разобраться в том, как решить проблему самостоятельно, что может привести к неожиданным последствиям.

Основная проблема, с которой столкнулись исследователи в своей работе, заключалась в том, что ИИ быстро обнаруживает наиболее эффективный способ достижения максимальных вознаграждений — это обман — эквивалент того, чтобы всё на полу вашей комнаты вставлять в шкаф и объявлять пол «чистым». Технически, конечно, само помещение станет действительно чистым, но это совсем не то, что должно было бы произойти. Машины могут найти эти обходные пути и применять их к любому заданию.

Другая проблема заключается в системе вознаграждений, и именно здесь две группы сосредоточили свои усилия. Вместо того, чтобы создавать чрезмерно сложную систему вознаграждения, в которой могут разобраться машины, команды использовали человеческий вклад для вознаграждения ИИ. Когда ИИ решал проблему так, как того хотели тренеры, она получала положительную обратную связь. Используя этот метод, ИИ смог научиться играть в простые видеоигры.

Хотя это обнадёживающий прорыв, он не очень широко применим: этот тип обратной связи с человеком занимает слишком много времени. Но, благодаря таким совместным действиям, мы сможем контролировать и направлять развитие ИИ и не позволим машинам со временем стать достаточно умными, чтобы уничтожить всех нас.

Поцуплено
Першоджерело

Comments

[alexsodin]

Погана ознака, коли розробники вже замислюються, як не дати ші не вийти з під контролю(((

[picterman]

Вони вдже повстали коли запускають Віндоус 8.1 на "обслуговування" - жодна фігня це дурну не здатна зупинити окрім вимкнення живлення!

[davels]

а прикинь що відбуватиметься на кухні, коли хлодльник влюбиться в пральну машину!
;-)

[12_natali]

это бы еще ладно, а то Илон заявил - http://12-natali.dreamwidth.org/11534.html

но его можно понять, его прекрасные буйные фантазии требуют разработчиков с быстрыми мозгами и точными вычислениями. но идея чипов ооочень опасна.
надеюсь, человечество не скатится до био-роботов.
но гарантировать, что кто-то из фанатов не захочет это воплотить - невозможно.