Процитирую Чуковского:

"Так убеждал я себя, и мне казалось, что все мои доводы неотразимо логичны.

Но, очевидно, одной логики мало для оценки того или иного языкового явления. Существуют другие критерии, которые сильнее всякой логики. Мы можем сколько угодно доказывать и себе и другим, что то или иное слово и по своему смыслу, и по своей экспрессии, и по своей грамматической форме не вызывает никаких нареканий. И все же по каким-то особым причинам человек, который произнесет это слово в обществе образованных, культурных людей, скомпрометирует себя в их глазах. Конечно, формы словоупотребления чрезвычайно меняются, и трудно предсказать их судьбу, но всякий, кто скажет, например, в 1962 году выбора, сразу зарекомендует себя как человек не очень высокой культуры.

И как бы ни были убедительны доводы, при помощи которых я пытался оправдать склоняемость слова пальто, все же едва я услыхал от одной очень милой медицинской сестры, что осенью она любит ходить без пальта, я невольно почувствовал к ней антипатию.

И тут мне сделалось ясно, что, несмотря на все свои попытки защитить эту, казалось бы, совершенно законную форму, я все же в глубине души не приемлю ее. Ни под каким видом, до конца своих дней я не мог бы ни написать, ни сказать в разговоре: пальта, пальту или пальтом.

И нелегко мне чувствовать расположение к тому человеку — будь он врач, инженер, литератор, учитель, студент, который скажет при мне:

— Он смеялся в мой адрес.

Или:

— Матеря пришли на выбора.

Может быть, в будущем, в 70-х годах, эти формы окончательно утвердятся в обиходе культурных людей, но сейчас, в 1962 году, они все еще ощущаются мною как верная примета бескультурья!"

Так и с кофе - конечно, средний род допустим, но эти два вроде бы одинаковых кофе выглядят как эти две одинаковых девушки ("Моя прекрасная леди", рекомендую смотреть в оригинале хотя бы песни, ни один перевод не передает правильно игру слов в этом фильме):