Христо Стефанов е роден в семейството на актьорите Стефан Христов и Елена Йорданова-Гринберг. Семейството му се установява в Пловдив през 1935 г. и той постъпва в италианското училище "Виторио Алфиери" в града през 1938 г.

Христо Стефанов завършва живопис през 1956 във ВИИИ "Николай Павлович". От 1961 г. е член на Съюза на българските художници.

Още от най-ранно детство животът на художника е свързан с Пловдив. Атмосферата и личностите на града са повлияли както светогледа му, така и много от темите в неговото творчество. Той е един от майсторите на знаменитата в края на 60-те и 70-те "пловдивска петорка" заедно с Георги Божилов-Слона, Димитър Киров, Йоан Левиев и Енчо Пиронков.

От 1985 г. е генерален директор на Държавно обединение "Изобразително изкуство".

Христо Стефанов е съпруг на актрисата Мария Стефанова, с която са заедно от 1964 г. Той има две дъщери - от първия му брак е Морена Стефанова, която е историк, археолог и куратор, а от втория с Мария Стефанова - Елена Стефанова, която е художник като баща си.