房伯玉，因其弟房叔玉叛逃到南朝而连坐获罪，被贬徙于北方边地。后来房伯玉也南叛，任萧鸾的南一一太守。高祖率军南伐，攻占了宛城的外城，令舍人公孙延景向房伯玉宣诏说：“天无二日，地无两王，因此我亲自总领六军，荡平、统一四海，宛城是个小小的戍镇，难道足以抗拒王威？你应深刻三思，想要封侯受土，事在俯仰之间。”房伯玉回答道：“外臣蒙受本国深厚的恩泽，奉任守卫边境，我要尽为臣之道，不敢听您之意。我惟愿皇上銮舆远涉边地，不至于劳力损神。”高祖又派使者对他说：“我亲自率领大军，远征江、沔，这个小小戍城，怎能让王师徘徊不前。但凡我的戎车所经之地，即使是如同纤介的小地也要消灭它，你应当量力三思，自求多福。况且你早年蒙受萧赜异常的眷爱，难道就不曾感怀恩宠，报之以尘露之微。萧鸾胡说他入朝继承  萧道成  (《魏书白话版》人物)，却大肆诛剪，使萧赜之子一个也没有留下。你不能建忠于前君，却要立节于逆贼，这是你的一大罪过。又连年挫伤我朝一部分军队，这是你的第二大罪过。现在我銮驾亲征，要使南方降服于中国，你不肯面缚归降，得罪于我的军队，这是你的第三大罪过。你所守的戍城，多则一年，中则百日，少则三旬，被荡平的命运岂会长远。你应当好好思虑此事，以免后悔不及。”房伯玉回答道：“我往日曾蒙武帝和悦相待之恩，忝侍其左右，这种优厚的待遇，夙夜都不曾忘怀。但继承他的人失去德行，民望另有归附。如今主上登基，继承先王大业，不但符合万民之深望，实际上秉持武皇之遗敕。所以我勤勤恳恳，不敢有所失误。在过去，北军深入我地，侵扰边境百姓，我就勉励将士，以拯救苍生。这是边戍守将的通常之事，陛下不能予以责备。”及至宛城被克，房伯玉面缚而降。高祖接见房伯玉及其参佐二百人，诏令房伯玉说：“我秉承天命统驭天下，正要统一中国，你区区一个小戍，胆敢抗拒六军，你所犯下的罪责，理应不予赦免。”房伯玉回答说：“臣既是小人，完全受人驱使，只因家中有百口之人在南边，以致抗拒皇帝的谋略，罪该万死。”高祖说：“凡是立忠守节的人，都应当有其去处。如果侍奉悖逆之君，死守迷乱之节，这是古人都不做的。你却为舒适要侍奉逆贼萧鸾，自己招来那样的罪过！”房伯玉回答说：“臣生性愚痴觉悟太晚，罪当万斩，如今遭逢陛下，希望能赐给一条生路。”高祖说：“凡人只有两条路：识时务者得福，违背时势者受祸。劳我王师，经年累月，这样算作归降，那么什么人才是有罪呢！况且我在先前就派舍人公孙延景在城西对你说过：‘天无二日，地无二王。’你回答说：‘我在此不在彼。’天道悠远，变化无方，你难道知道今天在此不在彼吗？”房伯玉无话可说，只有乞求赏命而已。高祖由于房思安多次替房伯玉流泪请求，所以对他特予宥免。
房伯玉在南朝的时候，曾把他的妾杨氏放逐出家为尼姑。他到了魏国以后，就让她还俗，对她又十分宠爱。这件事被有司上奏朝廷，高祖听任他这样做。世宗即位以后，授予房伯玉长史之职，兼游击将军，后出任为冯翊相，死于官任上。