张绪字思曼，是吴郡吴县人。其祖张茂度，曾任会稽太守。其父张寅，官为太子中舍人。
张绪少年时就很知名了。他心性清简寡欲，他的叔父张镜对人说：“这孩子，便是当今的乐广哩。”州里聘请张绪为议曹从事，后推举他为秀才。他便被任命为建平王护军主簿，右军法曹行参军，司空主簿，抚军、南中郎二府功曹，尚书仓部郎等职务。都令史来询问郡县米事，张绪萧然直视，不曾放在心上。后被授予巴陵王文学，太子洗马，北中郎参军，太子中舍人，本郡中正，车骑从事中郎，中书郎，州治中，黄门郎等职务。
宋明帝每次看到张绪，都要称叹他的性情清淡。转任张绪为太子中庶子，本州大中正，迁任司徒左长史。吏部尚书袁粲对皇上说：“我看张绪为人有正始之风，适合担任宫廷职务。”于是又让张绪任中庶子，领翊军校尉，转任散骑常侍，领长水校尉，不久兼职侍中，迁任吏部郎，参予领导朝廷选拔官员的工作。元徽初年，取消东宫官员编制，有关用人部门拟让舍人王俭任格外记室，张绪考虑到王俭人品和家庭环境都很出色，建议应当让他做秘书丞，皇上同意了。张绪迁官侍中，郎官仍旧。
张绪对荣名利禄从不放在心上，朝野人士一致推重他的风度。他曾和客人闲聊，说到一生不懂得应承人。当时正是袁粲、褚渊把持朝政，有人把张绪的话报告给了他们，于是张绪很快就被派出去做吴郡太守，当时张绪还不知道是这个原因。后来张绪迁任祠部尚书，又领中正，迁任太常，加散骑常侍，不久又领始安王师。升明二年，迁任太祖(  萧道成  (《南齐书白话版》人物))的太傅长史，加征虏将军。
齐王府设立建置时，张绪转任散骑常侍、世子詹事。建元元年，转任中书令，常侍仍旧。张绪善于谈吐，素望甚重。太祖对他特别予以敬礼。仆射王俭对人说：“在北方士人中寻觅张绪这样的人，过了江是找不着的。不知陈仲弓、黄叔度能否和他相比美？”皇上到庄严寺听僧达道人讲经，由于张绪的座位较远，皇上听不到张绪说话，又不便移动张绪，便给僧达换地方使自己接近张绪。
不久，加张绪骁骑将军。皇上打算让张绪任右仆射，征求王俭的意见，王俭说：“南方士人很少有任此职的。”当时褚渊在座，便启禀皇上说：“王俭还年轻，有些先例恐怕一下子还想不起来。东晋时的陆玩、顾和，都是南方士人。”王俭说：“东晋是衰败政治，不能用作准则。”皇上便作罢。建元四年，国子学校刚刚建立，便任命张绪为太常卿，领国子祭酒，常侍、中正等职仍旧。张绪迁官之后，皇上便让王延之来代替张绪做中书令，当时人都认为这个人选很合适，像晋朝任用王子敬、王季琰一样。
张绪对《周易》很有研究，因此他总是言一精一理深，被当时人所崇仰。他经常说何平叔所不明白的《易》中的七个问题，其中之一就是各卦中所包含的时义。
世祖(萧赜)做皇帝后，张绪转任吏部尚书，祭酒之职仍旧。永明元年(483)，迁官金紫光禄大夫，领太常。次年，领任南郡王师、加官南齐书给事中，太常之职仍旧。永明三年，转任太子詹事，师、给事等职仍旧。张绪每次朝见，世祖都要目送他老远。对王俭说：“张绪是根据地位而尊敬我的，我是根据德行而显贵他的呢。”后来又迁任张绪为散骑常侍，金紫光禄大夫、师等职仍旧。又配给他亲信二十人。又让他领任中正。长沙王萧晃示意他选用吴兴闻人邕为州议曹，张绪认为他资历不合适，坚持不同意。萧晃派书佐到张绪那里坚持要用闻人邕，张绪便表情严正地说：“这里是我的家乡州郡，殿下怎么可以这样逼迫我！”永明七年，竟陵王萧子良领任国子祭酒，世祖下敕给王晏说：“我打算让司徒辞去祭酒给张绪来担任，外面有什么议论？”萧子良到底没有接受此职。张绪便任国子祭酒，光禄、师、中正等职务仍旧。
张绪从来不谈利禄问题，一有钱财就散给他人。往往是清言端坐，有时一天都不吃饭，门生们看张绪饿了，就给他准备膳食，但他从来不要求。去世时六十八岁。遗嘱只要求用芦葭作丧车，灵上放一杯水一柱香火，不设祭奠。从弟张融敬重张绪，拿他当亲兄一样看待，这时拿了酒来到张绪灵前酌饮，恸哭道：“阿兄风流顿尽！”朝廷追赠张绪为散骑常侍、特进、金紫光禄大夫。谥号为“简子”。
本史作者认为：王僧虔有大音希声的气量，又兼长艺术。能够警戒骄盈保守满足，委屈自己以求安全，和诸公相比照，的确是和平时期的良相。张绪衿怀充实气质清洁，风范自然，是官员们的模范，在朝廷和民众中受到普遍的敬重和钦仰。像张绪这般风流人物，难道不应该称为名臣么！赞语：简穆有长者之德，他的节义广大宽阔。他对声律草隶无不一精一通，还能把中央工作治理得井井有条。思曼性情廉洁闲静，仿佛和世俗无关。对《周易》潜心钻研，他的才情真是清澹。