Если сможете сделать так, что контроллер инициализируется "на лету", то почему бы и нет. Там разницы никакой нету, с чего грузить. У меня контроллер инициализировался немного странно, в процессе загрузки системы и после периферия не отвечает, перегрузил "нагорячую" - после загрузки все работало хорошо. Драйвера никакие не нужны были, все было нормально заработало.
Скорость конечно режет, там сама шина с ограниченной пропускной способностью. 24 Гбит/с невозможно вытянуть на шине с ограничением в 16 Гбит/с.