Многолетнее травянистое растение высотой 20-60 см, опушённое рыжеватыми волосками. Стебель обычно одиночный, прямостоячий, равномерно облиственный, как правило, с жёсткими оттопыренными волосками. Листья продолговато-ланцетные, плотные, слегка блестящие, с жёстким опушением, особенно по краям и жилкам. Корзинки довольно крупные, одиночные. Листочки обёртки с густыми длинными оттопыренными щетинками. Цветки золотисто-жёлтые; краевые — ложноязычковые, женские, в 1,5-2 раза длиннее обёртки; срединные — трубчатые, обоеполые. Стебель, листья и наружные листочки обёртки шершавые от оттопыренных волосков. Завязи и плоды голые. Плоды — цилиндрические ребристые семянки с хохолком из многочисленных щетинок. Цветёт в июне-августе, семянки созревают в июле-сентябре.
Преимущественно европейско-западноазиатский вид. В России распространён в европейской части, на Северном Кавказе и на юге Западной Сибири. В Средней России встречается в чернозёмной полосе и как редкость в пограничных областях Нечерноземья по известнякам в долинах крупных рек.
Обычные местообитания девясила шершавого — степи опушки, поляны, заросли кустарников.