Ivanović je za Chelsea potpisao u januaru 2008. godine ali je svoj prvi meč odigrao tek 8 mjeseci poslije u Carling kupu protiv Portsmoutha, da bi kasnije, nakon povrede Carvalha i Alexa, počeo igrati u zadnjoj liniji sa Terryem.
Nakon što se navikao na život u Engleskoj i savladao jezik, Branislav je polako počeo pokazivati svoj puni kapacitet. Kultni status kod navijača kluba je stekao nakon postizanja 2 gola u Ligi prvaka protiv Livepoola na Anfieldu, u aprilu 2009. godine.
Svoje mjesto u ekipi je zadržao i u narednim utakmicama, a posebno se pamti utakmica na Camp Nou kada je sjajno čuvao Thierry Henrya.
Napornim radom je došao do toga da je u svojoj prvoj sezoni odigrao 26 utakmica za Chelsea, dok je u drugoj bio gotovo neizostavan iz početnog sastava.
U sezoni 2009/10 prvi izbor trenera na poziciji desnog bočnog je bio Jose Bosingwa. Nedugo nakon početka sezone on se povrijedio i tako ustupio mjesto Ivanoviću koji je i danas prvi izbor na toj poziciji prvenstveno zbog toga što je snažan u odbrani i eksplozivan u napadu.
Njegov 41 nastup ga je doveo do uvrštavanja u uži izbor za igrača godine u ekipi. Iako je tu titulu ponio Drogba, Ivanović je nagrađen mjestom u timu sezone Premiershipa.
Svoj najljepši gol je postigao protiv Boltona prek kraj oktobra 2009. a zajedno sa drugim odbrandbenim igračima je doprinio da ekipa uveže 7 uzastopnih utakmica bez primljenog gola.
Bio je krivac za gol na San Siru protiv Intera ali se u istoj utakmici brzo iskupio upošljavanjem Kaloua za izjednačujući gol.
Pošto je utrka za titulu bila jako teška, Ivanović je u martu, na utakmici protiv Birminghama, zaradio povredu koja ga je prisilila da bude van terena mjesec dana.
Tokom sezone 2010/11 Ivanović je skoro svaku utakmio bio u početnom sastavu što mu je donijelo novi, 5 i pol godišnji ugovor, koji ga za ekipu veže do 2016. godine.
Ivanović je postigao još dosta ključnih golova za klub kao što je pobjednički gol u pobjedi protiv Blackburna (oktobar 2010), kao i gol protiv Spartak Moskve koji je donio prolazak u knockout fazu Lige prvaka.
