1953年、モスクワに生まれる。レニングラード音楽院で指揮法を学ぶ。同院在学中にカラヤン指揮者コンクール2位、全ソ指揮者コンクール1位の栄誉に輝く。1977年レニングラード音楽院を卒業し、テミルカーノフの助手としてキーロフ劇場（現在のマリインスキー劇場）の指揮者となる。
1988年キーロフ劇場芸術監督に就任する。35歳の若さで、しかもソ連崩壊の混乱期に遭遇し、ゲルギエフの劇場経営は困難を極めたが、国際的な支援を得て、ロシアの古典オペラに新たな演出法を導入した。また、多くの新人歌手(アンナ・ネトレプコなど）を発掘することにも成功し、マリインスキー劇場を世界的な地位へと引き上げた。1996年には総裁に就任し、劇場の総責任者としての重責を担っている。1990年にはロンドン公演、1992年にはニューヨーク公演を実現し、国際的な指揮者としても活躍を続けている。
日本には、マリインスキー劇場及びマリインスキー劇場管弦楽団を率いてしばしば来演しているほか、日本のオーケストラにはNHK交響楽団（2002年、2009年NHK音楽祭にて）、東京交響楽団（1984年の日本デビュー時、2007年）へ客演している。
2007年よりロンドン交響楽団の首席指揮者に就任。就任時より公演活動においてはプロコフィエフの楽曲に力を入れる一方、LSO LIVEレーベルではマーラーの交響曲第6番を皮切りに、順次マーラーの交響曲録音を行っている。

ロンドン交響楽団はロンドンのオーケストラの中でも中心的存在。本拠地は、１９８２年よりロンドンのバービカンセンターに置いている。また「女王陛下のオーケストラ」としても知られ、名誉総裁（ペイトロン）にはエリザベス２世が就いている。クラシック音楽のほかに、ジョン・ウィリアムズ作品などの映画音楽の録音にも戦前から数多く参加しており、この分野でもその名が知られている。

ロンドン交響楽団は１９０４年にクィーンズホール管弦楽団のメンバーを中心に、英国初の独立採算、自主運営のオーケストラとして発足する。同年６月９日に、クィーンズホールにおいて、ハンス・リヒターの指揮で第１回コンサートを上演。その後、リヒターは首席指揮者に就任し、１９１１年にエドワード・エルガーにその座を譲るまで・リヒターによってロンドン交響楽団は一躍国際的な注目を集める楽団となった。１９０６年には、英国のオーケストラとして初めて海外ツアーを実施し、パリで演奏を行う。アメリカ（１９１２年）、イスラエル（１９６０年）、日本（１９６３年）へのツアーも、英国のオーケストラとして初めて行う。

ハンス・リヒターがその座を譲ったあと１９１１年からエドワード・エルガー、１９１２年アルトゥール・ニキシュ 、１９１９年アルバート・コーツ、１９３２年ハミルトン・ハーティと受け継がれ、１９５０年にはヨーゼフ･クリップスが首席指揮者に就任する、ヨーゼフ･クリップスは第二次大戦で落ち込んでしまった演奏水準を引き上げた。その後、また首席指揮者の空白期が数年続くが、１９６０年当時８６歳であったピエール･モントゥーを迎え。ロンドン交響楽団は再び活気づいた。

その後１９６８年イシュトヴァン・ケルテス、１９６８年アンドレ・プレヴィンが首席指揮者に就任した。プレヴィンは若い世代の聴衆を引き付け、テレビやレコーディングなどのマスメディアを通じてアピールした。プレヴィンは１９７９年まで務め、首席指揮者辞任後ロンドン交響楽団から名誉指揮者の称号を受けた。１９７９年にはクラウディオ・アバドが首席指揮者に就任する。１９８２年にロンドン交響楽団は新しくできたバービカンホールのレジデントオーケストラとなり、そして１９８３年にはアバドに音楽監督のポストが与えられた。

アバドの後マイケル･ティルソン＝トーマスが首席指揮者となった。そして１９９２年にはプレヴィンが桂冠指揮者として再び戻ってくる。１９９５年にはティルソン＝トーマスがサンフランシスコ交響楽団へ移り、コリン･デイヴィス（１９９５年〜２００６年）が、その後２００７年からはヴァレリー・ゲルギエフが首席指揮者に就いている。