张缅字元长，几岁的时候，外祖父中山刘仲德就认为他很不一般，说：“这孩子不是平凡人，不只是张家的宝贝，还会名扬海内。”齐朝永元末年梁武帝起兵，其父张弘策跟随武帝进兵建康，把张缅留在襄一一，当时才十岁，每听到军队有胜负消息，忧喜都流露在脸上。弘策遇害时，张缅服丧超越礼节，武帝便派人来告诫他。丧服期满后，袭封洮一一县侯。初次作官任秘书郎，出京为淮南太守。当时只有十八岁，武帝怕他年轻，不熟悉官吏的事务，派主书把他办的案卷封好取回京城查看，见他处理得都很恰当，很是称赞。又升迁他为云麾外兵参军。
张缅从小勤于学习，读书能自我督促，手不释卷。有人提问，随问随答，全无错失。殿中缺郎官，武帝对徐勉说：“这个部门以前都用文学之官，而且是朝班的领头人，应当仔细挑选。”徐勉推举张缅充任人选。不久，任武陵太守，回京后又拜太子洗马、中舍人。张缅母亲刘氏因张缅父亲去世家境贫穷而葬礼不周全，于是终身不居正室，不跟随儿子一起进官府。张缅在郡里所得的俸禄不敢享用，以至于老婆孩子没有什么可换的衣服，等回到京都，一起上交给母亲来赈济亲属。虽然是多年的积蓄，一下子就完了，张缅自己家里常常空寂冷落好像贫寒之士。
逐渐升迁为豫章内史，张缅为政推行恩惠，不用诈谋，官吏百姓受他的德政感化，也都不敢有欺诈行为。老者们都说：“几十年来没有过啊。”后来作御史中丞，因为抓捕犯人和外国使节发生争斗，降职为黄门郎，兼任以前的职务，不久又官复原职。张缅在御史任上，推行法纪无所顾忌，号称刚直。武帝派人给他画像挂在御史衙门，来勉励为官的人，升迁为侍中，未正式任命时去世。诏命即时举哀。昭明太子也亲临哭吊。
张缅抄录《后汉书》、《晋书》各家不同之处著成《后汉纪》四十卷，《晋抄》三十卷，又抄录《江左集》没来得及写成，有文集五卷。