Дерево, часто многоствольное, или кустарник, обычно 2—6 м высоты, изредка высота превышает 15 м. Растет медленно, особенно в толщину, и у столетних экземпляров диаметр ствола равен лишь 12—15 см. Темно-серая кора легко отщепляется от ствола тонкими продольными полосками. Густая плотная крона не имеет определенной формы из-за неправильного ветвления. Молодые побеги 3-гранные. Мелкие почки не имеют чешуи и закрыты чешуевидной хвоей, более мелкой, чем остальная хвоя. Остроигольчатая хвоя расположена мутовками по 3 хвоинки в каждой, при этом хвоинки не нрижаты к побегу, а торчат в стороны. С верхней стороны хвоинки заметны небольшой желобок и широкая белая полоска вдоль средней жилки. С нижней стороны от основания до острия на верхушке проходит небольшая выпуклость, так называемый киль.
На одних экземплярах можжевельника обыкновенного в мае образуются только ярко-желтые мужские колоски, состоящие из мешочков с пыльцой, на других — только малозаметные светло-зеленые женские. «Плоды» можжевельника, называемые шиш-коягодами, действительно напоминают круглые мясистые ягоды. Шишкоягоды вначале зеленые, на второй год, при созревании, сине-черные с сизым налетом и смолистой мякотью. На вершине зрелой шишкоягоды можно различить 3-лучевую звездочку — след срастания образовавших ее 3 чешуи.
Обыкновенный можжевельник встречается в лесах почти но всей территории Росии— в Европейской части, в Сибири, на Кавказе; за пределами России— в Европе, Северной Африке и в Северной Америке. Чаще всего растет в подлеске хвойных лесов, выдерживая затенение, но на освещенных местах развивается лучше. Хорошо приспособлен к различным условиям и весьма неприхотлив: не боится ни мороза, ни засухи, растет на песчаных, известняковых, суглинистых сухих или влажных почвах. Одна из самых долговечных древесных пород, доживающая до 2 тысяч лет.
Можжевельник очень чувствителен к загрязнению воздуха, что затрудняет его использование в городском озеленении.