从前，老北京社会生活中，人们俗称为“五风楼”，其实，这种俗称是受历史上曾经出现过的“五凤楼”的影响。例如：（1）《名义考》卷四载：梁太祖（朱温）即位，罗绍威取魏良材建五风楼，周翰所谓去地万丈，在半天空，五风翘翼者也。（2）《大清一统志》：“五凤楼在庐州府东城上，《舆地纪胜》：‘唐天佑中，张崇筑城创楼，风集其上，因以纪瑞。’”
“紫禁城四门，南即午门，北日神武，东日东华，西日西华。”（《日下旧闻考·国朝宫室》）四座门中的正门——午门，其建筑规模比“神武”、“东华”、“西华”三个门大得多。不仅如此，午门是南正楼与东西廊庑相连的□楼、阙楼所组合的群体建筑并且采用最高等级的黄琉璃瓦重檐庑殿式屋顶。始建于明永乐十八年（1420年），清顺治四年（1647年）重修，高8米。正中三门，左右各有掖门，城台上是一座九间重檐庑殿顶的门楼，左右有重檐方亭四座。殿亭巍峨，廊庑相连，庄严宏伟。
对“午门”，其基本的情形，《日下旧闻考·国朝宫室》里记载“午门三阙，上覆重楼九间，南北彤扉各三十有六。左右设钟鼓楼，明廊翼以两观，傑阁四耸。左右各一阙，西向者曰左掖，东向者曰右掖。”
午门墩台下正面是三座门洞，其两侧东西各有一座掖门，一共有五个进出通道，或俗称的五个门洞。其出入按照清朝制度，严格规定中间的门洞是属于皇帝出入的“御路”，或日皇帝出入的通道。例如，皇帝大婚时，皇后可以从中间门洞（皇帝“御路”）进入一次；再有就是：殿试考中前三名的状元、榜眼、探花出来时可从此（指中间门洞——“御路”）行走一次，以示恩宠。文武大臣出入走东边门；宗室王公走西边门。左右掖门平时不开。只有皇帝举行大的朝会时文东武西，分别由左右掖门出入。另外，殿试时贡士们按会试考试的名次，单数走左掖门，双数走右掖门步人殿试考场。
有关朝廷这方面制度的严格规定，《日下旧闻考·国朝宫室》里记载：午门的“左右掖门各折而北，不常启。惟陛殿视朝，百官各以东西班次由掖门入。殿试文武进士，鸿胪寺按中式名次引入。一名由左二名由右，余倣此。”
午门墩台上五座崇楼，并有阁道相连。午门上设置及其用途，归纳概括说来，则大体上是：正楼中间设有宝座，左右两侧明廊内没有钟鼓。皇帝在太和殿举行大典时，午门楼上钟鼓齐鸣，皇帝祭祀太庙出午门时则击鼓，其他祭祀或皇帝出巡出入午门则鸣钟。明清两代逢有较大规模战争取胜后，要在午门楼上举行献俘仪式；清代时还规定每年十月朔日（初一）在午门举行颁发时宪书（即历书）的仪式，称为颁朔礼。
在这方面，《日下旧闻考·国朝宫室》里记载：“凡视朝则鸣钟鼓以为节，亲祀坛庙，出午门则以钟，祭享太庙则以鼓。如遇凯旋献俘诸大典，皇帝上御午门楼行受俘礼。午门之前，凡颁朔宣旨，及百官常朝，俱集于此。”
午门在明代时，它还是皇帝对大臣施行廷杖刑罚的地方，上面从“廷杖”先说起。
廷杖 是封建皇帝对朝臣触怒龙颜实行的一种酷刑。它始于唐代，流传至明、清。朱国祯《涌幢小品》卷十二中载：
廷杖始于唐玄宗时……成化以前，凡廷杖者不去衣，用厚绵底衣，重毡叠帕，示辱而已，然犹卧床数月，而后得愈、正德初年，逆瑾（刘瑾）用事，恶廷臣，始去衣，遂有杖死者。
明清时，朝臣一触怒了龙颜，就要被押送到皇宫南面的正门——午门外，忍受美其名曰皇上“赐予”的廷杖。
廷杖时，要处罚的朝臣，身穿囚服，被捆绑押送到午门御路的东侧，并被按倒俯卧在地。同时，集朝中的众官员，到午门西墀下观刑。其目的是在打一儆百。
然而，有的廷杖，却根本不是什么打一儆百，而是，一回就廷杖百余人之多，当即死于廷杖者十余人，非常残酷。明武宗（朱厚照）喜好声色犬马，耽于游乐，置朝政于不顾。正德十四年（1519年），他准备巡游江南，朝中许多大臣苦苦劝谏，结果触怒了龙颜，武宗大怒，下令将朝中进谏的146名大臣，都押送到午门外，罚跪5天。5天到了，武宗仍然不从轻处罚，又下令分别将其一个不漏地处以杖刑，并下令将带头劝谏的大臣，各打80或50棍，其余大臣，一律要挨廷杖30棍。挨廷杖的大臣中有11人当即被活活打死。《北京导游》记载：“廷杖，明朝规定，凡大臣惹怒皇帝被批‘逆鳞者’，都来午门受廷杖，最初只是象征性地责打，后来发展到打人致死。如正德十四年（1519年）皇帝朱厚照要到江南选美女，群臣上谏，皇帝发怒，大臣舒芬、黄巩等受廷杖者130余人，有11人被当场打死。”由此可见，从前说书、唱戏或古典小说中，则常常出现说把犯人“推出午门斩首”是有一定根据的。
明清两代，京城九门之内，都是不允许行刑杀人的。那么，皇宫的正门——午门之内，就更不允许出现行刑杀人的现象。北京杀人的刑场，在宣武门外的菜市口，但在说书或戏剧中，为了艺术上的需要，常常出现“推出午门斩首”的说法，这是无须较真的。
北京紫禁城南面的午门，或者被人们俗称的“五风楼”，这座精美的古建筑其基本情形及其用途等，在《今日北京》一书里作了这样的描述：
午门俗称五凤楼，在天安门、端门之北，居全城中轴线上，为紫禁城南门（正门）。建于明永乐十八年（1420）年，清顺治四年（1647年），嘉庆六年（1801年）两次重修。平面呈“凹”字形，墩台高十二米，台上中设正楼，东西辅翼四座亭楼，五凤楼由此得名。正楼面宽九间（长60．05米），进深五间（宽25米），重檐庑殿顶，上檐下悬汉文华带“午门”匾。楼内中设御座，楼外有汉白玉石栏环绕，两翼亭楼一式重檐攒尖顶，分设钟、鼓，有廊庑相连。门居正南，五行属火，故檐下彩绘以赤色为主调，皇帝行受俘礼于正楼。太和殿视朝、行大典或御驾祀坛祭庙时，鸣钟鼓于亭楼。城门五阙，外向平梁式矩形，内向矩形，正楼下设三门，左右各有掖门。依定制，中门通御道，皇帝出入由之，此外则皇后大婚入宫行一次，殿试中状元、榜眼、探花者出行一次；宗室王公行左门，大臣行右门；大朝之日，百官以文东武西，传胪进士以名次单左双右之制，分行左右掖门。门前有广场，御路东为明臣受廷杖，清臣跪受申饬处，城楼建筑三面环抱，五峰突出，高低错落，黄瓦红墙，飞檐画栋，通高37．95米，为紫禁城最高建筑，四门中最壮伟绚丽之一门。民国时期属历史博物馆，正楼及两翼四亭楼为陈列室，门外两廊房屋为储藏室、办公室等。