Читаю сейчас книгу правил ролевой игры "Ведьмак", так там прямым текстом говорится, что когда эльфы прибыли на Континент, глобального конфликта с гномами и краснолюдами у них не было - жили себе по лесам, никого не трогали.
Про то, что нильфы говорят на огрубевшей Старшей речи (равно как и жители Скеллиге), там тоже прямым текстом сказано.