原因为张辽武力过人，召其为从事，命他带兵赶赴京城，去接受大将军何进的领导。大将军何进又派遣张辽前往河北募兵。张辽在河北共募得千余人，然后，返还京城向何进复命。[9]何进被宦官所杀。愤怒的将士们攻杀宦官。[10]幸存的宦官劫持汉少帝。最终，董卓立下了救驾的大功，回京后，便掌握朝中大权。[11]由于何进已死，张辽作为大将军何进的直属部下之一，便像何进的其他部属一样，统兵从属于董卓。后来，董卓败亡。张辽统兵从属于吕布，迁任骑都尉。[12]由于凉州军人是董卓旧部，主持朝政的王允打算削弱凉州军人的权力，于是，凉州军人在李傕、郭汜、樊稠的带领下纷纷造反，攻打长安，击败吕布，杀死王允。张辽跟从吕布向东奔逃。在兖州，吕布集团又吸收了陈宫等人，并在此处鏖战曹操，战事持久而惨烈。吕布集团曾数次战胜曹操，一度将曹操打得仅剩1万余士兵[14]。后因蝗灾大起而各自罢兵[14]。休整之后，曹操击败吕布。张辽又随吕布前往徐州。建安元年（196年），吕布夺取徐州，自领徐州牧。[15-16]张辽领职为鲁国的国相，时年二十八岁（古代用农历记录虚岁。农历的28岁为公历的27岁）。[17]建安三年（198年），吕布的部下奉命用金子购买军马，但在途中，金子都被刘备军队抄掠走了。张辽虽然与关羽交好，但依然奉命出战，与中郎将高顺一起攻打刘备军队。刘备向曹操求援，曹操便派遣夏侯惇救援刘备。高顺、张辽先是共同击败夏侯惇，随后又共同击溃刘备。[18-19]此前，曹操正在亲征张绣。[20]在高顺、张辽击溃刘备之后[18-19]，曹操停止攻打张绣，转而东征徐州。吕布亲自固守下邳城，被曹军包围。[21]