Мдя. Я даже не буду вчитываться в оба вышележащих поста - просто отмечу их наличие. И грустно вздохну.
Вкратце.
Либо ИИ будет запрограммирован на соблюдение некоторых ограничивающих правил (классическая азимовщина - "три закона"). Тогда, в принципе, особо бояться нечего. Хотя, возможны варианты.
Либо ему предоставят возможность развиваться "с нуля" самостоятельно - и тогда вообще непредсказуемо и непонятно, что из этого может выйти. Возможно подрастающий ИИ будут время от времени "мочить в сортире", как только станет ясно, что он снова заехал "не туда".
Про эмоции. Имитировать что-либо насквозь нерациональное программными методами - это значит, создавать упрощённые формализованные схемы поведения в тех или иных ситуациях. Это НЕ эмоции.