"Литературоведы" были невнимательны. На самом деле в четвертом действии есть прямое указание, причем повторяется дважды.
Хлестаков: Кажется, они вчера мне подсунули чего-то за завтраком: в голове до сих пор стучит.
Осип. Да так. Бог с ними со всеми! Погуляли здесь два денька — ну и довольно.