Бои каждого дня были в значительной степени самостоятельными. Главный и решающий участок находился за селением Красный, где стоял сам Наполеон со своей Старой и Молодой гвардией. Им было поручено задержать армию Кутузова.

3 ноября у города Красный отряд генерала Михаила Милорадовича, воспользовавшись тем, что Наполеон разделил армию на четыре части, атаковал французов и взял в плен две тысячи человек и 11 орудий. Это заставило Наполеона остановиться, чтобы подтянуть остальные части.

4 ноября корпус Евгения Богарне при подходе к Красному был встречен сильным ударом Милорадовича и разгромлен. Та же участь постигла корпуса Луи-Николя Даву и Мишеля Нея. Не дождавшись арьергарда Нея, Наполеон со Старой гвардией и остатками корпуса Даву прорвался через заслоны войск Александра Тормасова и ушел к Орше.

5–6 ноября последним отступавший от Смоленска корпус маршала Нея наткнулся на превосходящие силы Милорадовича. В коротком бою французы были отброшены. Большая часть корпуса сдалась в плен. Сам маршал Ней с тремя тысячами еще способных сражаться солдат решил обойти Милорадовича с севера. С большими потерями им удалось перейти Днепр по тонкому льду и, отбивая атаки казаков Матвея Платова, вырваться из окружения.

Сражение завершилось победой армии Кутузова. На пути от Смоленска до Красного французы потеряли более шести тысяч человек убитыми и 26 тысяч пленными, лишились почти всей артиллерии и кавалерии. В бою был захвачен маршальский жезл Даву. Фактически были уничтожены 4-й итальянский корпус Богарне и корпус маршала Нея.