1937年7月20日、東京都生まれ。高校卒業後、新国劇に入団。辰巳柳太郎に師事して演技を学んだ。60年に映画『遠い一つの道』でデビュー。以後、増村保造監督の『積木の箱』や、今村昌平監督の『復習するは我にあり』など、日本を代表する名監督たちに次々と起用されて大スターとなった。『リチャード三世』『ゴドーを待ちながら』など、舞台でも高い評価を獲得。日本を代表する俳優の一人として活躍したが、2008年10月5日に肝癌により死去した。長男の緒形幹太、次男の緒形直人はともに俳優。