Наредне године Џо Кокер објавио је свој први сингл, обраду песме Битлса („The Beatles”) „I'll Cry Instead”. Са бендом „Џо Кокер Биг Блуз" ("Joe Cocker Big Blues") добио је велики број поклоника на северу Енглеске. Наступали су два месеца у Француској, у америчкој војној бази. Французи су га прозвали "Мали Реј Чарлс".
После распада овог бенда 1966. године Џо Кокер упознаје Криса Стантона (Chris Stainton), са којим ствара „The Grease Band”. Њих је запазио Дени Кордел (Denny Cordell), продуцент тада популарних извођача: „Procul Harum”, „The Moody Blues" и „Georgie Fame”. Кордел упознаје Кокера са представницима дискографске куће из Лондона „The Marquee”.
После мањег успеха у САД-у са синглом "Marjorine", Кокер доживљава први велики успех обрадом још једне песме "Битлса" („The Beatles”) „With a Little Help from My Friends”, у којој гитару свира чувени Џими Пејџ (Jimmy Page). „Битлси” су толико били импресионирани овом обрадом да су послали телеграм у коме Кокеру честитају на освојеном првом месту листе синглова.
1969.године учествовао је на музичком фестивалу Вудсток (Woodstock), на коме је извео нумере: „Delta Lady”, „Some Things Goin' On”, „Let's Go Let Stoned”, „I Shall be Released” и „With a Little Help from My Friends”.
По повратку са фестивала његов други велики хит у Енглеској био је „Delta Lady”. Успех је постигао и обрадом песме „She Came in Through the Bathroom Window”, која се у оригиналној верзији „Битлса” појавила на њиховом албуму „Abbey Road”.
Иако је Кокеру било тешко да задржи успех у Великој Британији, у САД-у је имао неколико песама које су заузимале високо место на топ-листама („Црy Ме а Ривер”, „Феелин' Алригхт”). 1970. године његова обрада нумере „Тhe Letter”, која се појавила на ливе-албуму „Mad Dogs & Englishmen”, постала је његов први хит на топ-10 листи, тј. листи од 10 најслушанијих песама у Америци.
Крајем 70-их прекида каријеру, а свој велики повратак доживљава 80-их и 90-их година XX века, када снима хитове: „Up Where We Belong”, „You Are So Beautiful", „You Can Leave Your Hat On”, „Unchain My Heart”, „When The Night Comes”, „Feels Like Forever”.
Дует са Џенифер Ворнс (Jennifer Warnes) из 1982. године „Up Where We Belong”, снимљен за филм „Официр и џентлмен”, постао је велики хит и освојио је награде Греми, Оскар и БАФТА за најбољу оригиналну песму снимљену за потребе филма.
1994. године имао је запажен наступ на отварању фестивала „Вудсток” '94 , као један од ретких извођаћча који су певали на првом фестивалу „Вудсток" 1969. године.
У мају 2007. изашао је најновији албум Џоа Кокера „Hymn For The Soul", који је дебитовао на 9. месту Британске листе најпродаванијих албума.
16. јуна 2007. године званично је објављено да је британска краљица Елизабета II одликовала Џоа Кокера орденом Британске империје за допринос у области музике. Ова одликовања додељују се сваке године поводом краљичиног рођендана. Поред Кокера на овогодишњој листи одликованих нашли су се: писац Салмон Ружди, комичар Бери Хамфрис и глумац Питер Салис. Одликовања ће бити уручена крајем 2007. године.
Дискографија: