Тут целый комплекс причин.
У женщин тоньше кожа, менее развита мускулатура (а мышцы охлаждаются относительно медленно), кроме того, женские жировые отложения в основном концентрируются на бёдрах и заду, где греть особенно нечего, а мужские - на животе, согревая внутренности.