Po uchopení moci císařem Meiji začal studovat Japonskou císařskou námořní akademii (Kaigun Heigakko). Po promoci v roce 1874 se vydal na cvičnou plavbu do Evropy a Jižní Ameriky na palubě lodí německého císařského námořnictva v letech 1877 až 1878. Napsal dělostřelecký manuál, který se stal standardem pro japonské císařské námořnictvo a sloužil jako výkonný důstojník křižníku Naniwa na jeho zkušební plavbě z Newcastlu upon Tyne do Japonska (1885 až 1886). Poté, co sloužil jako kapitán korvety Amagi, doprovázel ministra námořnictva Kabayama Sukenori na cestě do Spojených států a Evropy, která trvala více než rok (1887 až 1888). Jako velitel křižníku Takao podnikl tajnou misi za čchingským generálem Yuan Shikai do Koreje (1890). Poté převzal velení lodi Takachiho.

Od roku 1893 pracoval pod svým patronem, ministrem námořnictva Saigo Tsugumichi, a stal se skutečným vůdcem námořnictva. Prosadil četné reformy. Prosazoval also agresivní strategii vůči Číně v první čínsko-japonské válce (1894–1895). V roce 1895 byl povýšen na kontradmirála a v roce 1898 na viceadmirála.

V listopadu 1898 byl jmenován ministrem námořnictva ve druhé vládě Yamagata Aritomo. Vytvořil strategii, v níž za hlavní hrozbu bylo označeno Rusko. Prosazoval modernizaci loděnic a oceláren a zvýšení dovozu uhlí vyšší kvality ze Spojeného království pro efektivnější pohon svých válečných lodí. Navenek byl silným zastáncem anglo-japonské aliance. Přiměl císaře Meiji, aby se na veřejnosti objevil v námořní uniformě, což měl být důkaz zvýšené nezávislosti a prestiže námořnictva. Roku 1904 byl povýšen na admirála. Když v únoru 1904 vypukla jím očekávaná rusko-japonská válka, prokázal vůdčí schopnosti. V roce 1907 byl povýšen na hraběte (hakushaku).

V únoru 1913 se stal premiérem a zároveň vůdce politické strany Rikken Seiyukai (Asociace přátel konstituční vlády). Zrušil pravidlo, že ministr námořnictva i ministr armády musí být důstojníky v aktivní službě. Toto pravidlo v minulosti poskytovalo armádě kontrolu nad vládou, protože armáda mohla odvolat svého ministra a odmítnout jmenovat nástupce, čímž vláda padala. Získal si tím pověst liberála. Jeho vláda však byla též sužována obviněními z korupce. V dubnu 1914 byl nucen rezignovat s celým svým kabinetem, když převzal odpovědnost za skandál kolem vyzbrojování námořnictva firmami Siemens a Vickers.

Byl poté převelen do námořních rezerv a během první světové války zůstal odsunut na vedlejší kolej. Byl znovu povolán k řízení kabinetu 2. září 1923, poté co premiér Kato Tomosaburo zahynul při velkém zemětřesení v Kanto. Vynaložil velké úsilí na obnovu Tokyo, které bylo tímto zemětřesením taktéž těžce poškozeno. Pokusil se také protlačit všeobecné volební právo pro muže. V lednu 1924 byl však se svým kabinetem nucen znovu rezignovat, tentokrát kvůli pokusu Namba Daisuke o atentát na prince regenta Hirohito v prosinci 1923 (Toranomon incident). Vláda byla za tento atentát činěna zodpovědná.

Následně se zcela stáhl z politického života. Návrhy, aby se stal jedním z genro, tedy členem jakési neformální rady starších, tradičně dosti vlivné, byly vehementně odmítány jeho celoživotním politickým nepřítelem Saionji Kinmochi, který také zablokoval jeho jmenování do Tajné rady, poradního sboru panovníka. V prosinci 1933, devět měsíců po smrti své ženy, Yamamoto zemřel na komplikace způsobené benigní hyperplazií prostaty ve svém domě v Takanawa v Tokyo.