Родился и вырос в небогатой семье в Хисаре, штат Харьяна. С детства участвовал в постановках Рамлилы и быстро понял, что хочет стать актёром. После школы поступил в Национальную школу драмы (NSD) в Дели, где окончил обучение в 1994 году. Два года он работал в труппе NSD Repertory Company, а затем в 1997 году переехал в Мумбаи, чтобы начать карьеру в кино.

Первую заметную роль он получил в фильме Говинда Нихлани Hazaar Chaurasi Ki Maa (1998) — с Джайей Баччан и Нандитой Дас. Однако настоящий успех пришёл с Lagaan, номинированным на «Оскар», где он сыграл Багху — одного из членов команды Кханна. После этого его стали регулярно приглашать крупные режиссёры — Пракаш Джха, Шьям Бенегал, Судхир Мишра. За роль в Hazaaron Khwaishein Aisi критики назвали его «актёром редкой глубины и достоинства».

На телевидении Яшпал также успел стать популярным. Он сыграл главные роли в сериалах Mera Naam Karegi Roshan и Neeli Chhatri Waale, а также появлялся в Taarak Mehta Ka Ooltah Chashmah, где его персонаж Дон Рана стал постоянным. В 2014 году он снялся в театральной постановке Lakeerein, написанной Гульзаром.

Кроме актёрской деятельности, Шарма также попробовал себя как режиссёр — поставил биографический фильм о легендарном поэте Харьяны Пандите Лакхми Чанде. Его собственная харианвийская драма Pagdi: The Honour была удостоена Национальной кинопремии.

В последние годы актёр успешно продолжает работать в кино, включая роли в Ayothi (2023) и Kudi Haryane Val Di (2024), сочетая театральную сцену с киносъёмками.