Cēsises töötas Köler järgmised seitse aastat. Ta värvis maju ja kirikukupleid, joonistas parketti, lakkis tõldu, kuid pesi ka seintelt mustust ja vanu maalinguid maha, räpane vesi krae vahele voolamas. Cēsises veedetud aja jooksul nägi Köler rahakate klientide juures esmakordselt maalikunstnike töid. Ta sattus neist vaimustusse ning tal tekkis soov õppida kunsti tollase Vene keisririigi pealinnas Peterburis.

Olles maha müünud oma palitu ja kogu muu vara, jõudis Köler 1846. aastal Peterburi. Ta peatus vend Tõnise juures ja teenis elatist Gölitzi sildimaalimistöökojas. Kahe aasta pärast hakkas ta töö kõrvalt käima Peterburi Kunstide Akadeemia õhtukursustel joonistamist õppimas. Seejuures oli töökojast kooli umbes 10 kilomeetrit, mille Köler läbis aja säästmiseks jooksuga. 

Esmalt ei arvanud noormees enda kunstiandest kuigi kõrgelt ja mõtles, et “läheb asjaga nii kaugele, kui jaksab”. Aastal 1851 sai ta siiski täieõiguslikuks üliõpilaseks ning loobus tööst. Köler üüris koos kaasõpilastega Vassili saarel korteri ning pühendus täielikult õpingutele. Peterburi Kunstide Akadeemia lõpetas ta ajaloomaali alal mütoloogiaainelise teosega „Herakles toob Kerberose põrguväravast“ (1855), mille eest sai väikese kuldmedali. 

Pärast ülikooli reisis Johann Köler endateenitud raha eest mitmel pool Euroopas. 1857. aastal läks ta Berliini kaudu Pariisi ning käis Saksamaal, Hollandis ja Belgias. Järgmisel aastal suundus ta üle Alpide Milano, Genova ja Firenze kaudu Rooma, kus omandas ühes eraakadeemia kostüümiklassis täiuslikult akvarelltehnika. 1857–1859 esitles ta kompositsiooni „Kristus ristil“, mille oli temalt kohaliku kiriku jaoks tellinud Cēsise noor mõisavalitseja von Sievers. 1859. aastal oli maal väljas Rooma kunstinäitusel. Selle töö põhjal valiti Johann Köler Rooma Saksa kunstiühingu liikmeks ning 1861 Peterburi Kunstiakadeemia akadeemikuks. 1862. aastal pöördus ta tagasi Peterburi, kus sai õpetajakoha Kunstide Edendamise Seltsi koolis ning õukonnas. Köler oli kuni 1874. aastani Venemaa keiser Aleksander II tütre, suurvürstinna Maria Aleksandrovna kunstiõpetaja.

Peterburis veetis ta suurema osa oma ülejäänud elust, kaotamata siiski kunagi sidet sünnimaaga. Kölerist sai Eesti rahvusliku ärkamise silmapaistev toetaja, kes väljendas rahvusmõtet kunsti kaudu ja kasutas oma kontakte Venemaal mõisnike poolt rõhutud eestlaste olukorra leevendamiseks. Ta oli Peterburi patriootide ringi eestvedajaks, osales Aleksandrikooli loomises, Eesti Kirjameeste Seltsi tegevuses ja laulupidude korraldamises. Köler sütitas isamaalise tule Carl Robert Jakobsonis. Oma töid – nii maastikumaale kui ka kõrgete aukandjate portreid – signeeris ta kodukandi auks juba alates 1859. aastast kunstnikunimega „Köler-Wiliandi”.

Visaduse ja raske tööga saavutas Köler uskumatult palju, kuid nägi elu lõpupoole ka oma tähe langemist: ebaõnnestunud mõisaost Krimmis, pankrot, tülid, pagemine võlausaldajate eest ning tema täiuseni lihvitud akademistliku maalilaadi moestminek uute kunstisuundade tulvas.

Eesti esimene kunstnik suri 22. aprillil 1899. aastal Peterburis oma ateljees molberti taga maalides südamerabandusse. Kunstniku soovil maeti ta kodukoha lähedale Suure-Jaani kalmistule.