Detstvo sprevádzané rôznymi zdravotnými ťažkosťami ho však naučilo prekonávať prekážky, čo ho neskôr vynieslo na oštepársky trón. “Pokiaľ ide o zdravotné hľadisko, hod oštepom je najhoršia disciplína. Ide tu o niekoľko pohybov proti sebe. Oštepári hádžu s rôzne postavenými nohami, nútia telo k neprirodzeným rotáciám. Preto nás trápi chrbát, slabiny, lakte a kolená. Je to šport proti prírode,” aj takto sa o svojej atletickej disciplíne vyjadroval rodák z Mladej Boleslavi.
K atletike sa Železný paradoxne dostal cez hádzanú a hokej, ale svoje vrhačské kvality prezentoval pri hode kriketovou loptičkou, ktorú dokázal poslať do vzdialenosti 80 metrov. Hod oštepom sa mu stal určujúcim počas vojenskej služby v Dukle Banská Bystrica, kde pod vedením trénera Jaroslava Halvu začal rýchlo výkonnostne rásť. V roku 1987 na majstrovstvách Československa v Nitre dosiahol svoj prvý svetový rekord – 87,66 metra. A v tom istom roku sa dočkal aj prvej medaily z majstrovstiev sveta v Ríme, ktorá mala bronzový lesk. O rok neskôr na svojej prvej olympiáde v juhokórejskom Soule získal striebro. Po tomto úspechu sa začali Železného zdravotné problémy. Lekárske vyšetrenia ukázali poškodenie dvoch stavcov, presne v miestach, kde chrbtica podstupuje pri hode oštepom najväčšiu záťaž. Aj napriek týmto problémom sa dokázal vrátiť na oštepárske výslnie, keď v roku 1990 na mítingu Zlatej ligy v Osle dosiahol ďalší svetový rekord 89,66 metra.
Na olympiáde v Barcelone v roku 1992 získal zlato. V nemeckom meste Jena v roku 1996 na Mítingu EAA poslal oštep do vzdialenosti 98,48 metra, čo je doposiaľ neprekonaný svetový rekord. Zlato vybojoval dosiahol aj na OH 1996 v Atlante a OH 2000 v Sydney, kde vytvoril olympijský rekord 90,17 metra. V roku 2001 na majstrovstvách sveta v Edmontone získal ďalšie zlato hodom 92,80 metra. Posledným medailovým vystúpením Železného boli majstrovstvá Európy vo švédskom Göteborgu v roku 2006) kde získal bronz. S aktívnou kariérou sa definitívne rozlúčil v septembri 2006 na exhibičnom mítingu v Mladej Boleslavi.
V roku 2000 Železného vyhlásili za najlepšieho svetového atléta roka a v rokoch 1996 a 2000 bol najlepším atlétom Európy. Je členom Českého olympijského výboru (ČOV) a v rokoch 2004 až 2012 bol členom Medzinárodného olympijského výboru (MOV). V roku 2011 získal v Česku titul Tréner roka. Medzi jeho zverencov patrila dvojnásobná olympijská víťazka Barbora Špotáková. V súčasnosti trénuje majstra sveta a Európy Vítězslava Veselého.