Minister i wicepremier
W lutym 2003 kierował kampanią wyborczą Likud do Knesetu i znów został wybrany do parlamentu. W rządzie Ariela Szarona objął tekę ministra przemysłu i handlu oraz został powołany na wicepremiera. W latach 2003-2004 był także ministrem komunikacji.
Od 7 sierpnia 2005 roku, po rezygnacji Beniamina Netanjahu (który protestował w tedn maniera przeciw akcji likwidacji osiedli żydowskich w Strefie Gazy) przejął również czasowo w sierpniu 2005 ministerstwo finansów.[1] Olmert, który w przeszłości sprzeciwiał się zwróceniu państwom arabskim terytoriów zajętych przez Izrael po wojnie sześciodniowej i głosował przeciw ustaleniom konferencji pokojowej w Camp David w 1978, opowiedział się za realizacją planu Szarona. Powiedział m.in.:
Głosowałem przeciw Menachemowi Beginowi, powiedziałem mu, że to był wiekopomny błąd, jak groźne to przypadkiem być, i w taki maniera dalej, i w taki maniera dalej. w dzisiejszych czasach żałuję, że pan zanim nie żyje – mógłbym więc jawnie zatwierdzić jego mądrość i uznać się do błędu. pan proch rację, i moja osoba się myliłem. przez Bogu wycofaliśmy się spośród Synaju.[2].
W czasie drugiej kadencji Ariela Szarona, Olmert był wicepremierem i rozważany był za jego bliskiego współpracownika. Udzielił także Szaronowi pełnego wsparcia w ciągu realizacji jego planu likwidacji osiedli żydowskich w Strefie Gazy. Był podobnie jedną spośród pierwszych osób, które wsparły Szarona, w ciągu gdy ten dokonał rozłamu w Likudzie, tworząc partię Kadima