Cпойлер(щелкните, чтобы прочесть):

Видимо, ты не додерживаешь заклинание, а нужно не просто нажать нужную цифру, тебе нужно нажать "использовать", и держать эту клавишу, ГГ в это время будеть творить заклинание, и после нескольких секунд ты окажешься в предполагаемом месте.