Sergej Ivanov pôsobil od augusta 1998 do novembra 1999 ako zástupca riaditeľa Federálnej bezpečnostnej služby (FSB), kde pracoval ako vedúci oddelenia analýz, prognóz a strategického plánovania. V rokoch 1999-2001 bol tajomníkom Rady bezpečnosti Ruskej federácie.
Od marca 2001 do februára 2007 pôsobil ako minister obrany. V rokoch 2001-2006 stál na čele Rady ministrov členských krajín Spoločenstva nezávislých štátov (SNŠ). V rokoch 2007-2008 bol prvým podpredsedom ruskej vlády.
Ivanov bol šéfom kancelárie ruského prezidenta od decembra 2011.