Рагхубир Ядав начинал в театре задолго до появления на экране. С конца 1960-х он работал в труппах, путешествовал по стране, выступал в шатровых театрах, жил в палатках и играл спектакли на временных сценах. Его ранний путь включал работу в Parsi Theatre Company, Rangoli Puppet Theatre и долгие годы в репертуарной труппе Национальной школы драмы. За два десятилетия на сцене он участвовал более чем в 70 спектаклях и около четырёх тысяч показов, одновременно занимаясь музыкой, костюмами и сценографией.

После яркого дебюта в Massey Sahib он стал сниматься в фильмах, которые теперь считаются знаковыми для индийского кино. Три картины с его участием — Salaam Bombay!, Lagaan и Water — были номинированы на премию «Оскар» как лучшие фильмы на иностранном языке, что подчёркивает его влияние на международное восприятие индийского кино. Его роль наркомана Чиллумa в Salaam Bombay! стала одной из наиболее сильных и узнаваемых его работ.

Он продолжал появляться в фильмах разных жанров — от социальных драм до политических историй. В 2011 году он сыграл главную роль в фильме Dear Friend Hitler, посвящённом письмам Махатмы Ганди Адольфу Гитлеру. Его экранная манера отличается точностью, естественностью и глубоким пониманием человеческих переживаний, что делает его востребованным даже спустя десятилетия после начала карьеры.

На телевидении он также оставил заметный след. Он стал широко известен благодаря сериалу Mungerilal Ke Haseen Sapne, где сыграл главного героя. Позже он исполнил роли Муллы Насруддина, Чачи Чоудхари и главного персонажа сериала Arjun Pandit. Телевидение позволило ему выйти за пределы кинофестивальной аудитории и стать любимым актёром семейных зрителей.