Хаджи Димитър е роден в семейството на търговеца Никола и Маринка Асенови. Когато е на две години, той и семейството му отиват на поклонение в Йерусалим, и оттогава Димитър е хаджия.

През 1862 година Хаджи Димитър излиза в Балкана с чета и цяло лято броди из планината. През пролетта на 1864 г. се включва в четата на Стоян войвода от Сливен като знаменосец. Четата е от 12 души и има за задача да убие търновския гръцки владика. Преди да влязат в Търново четата се разпада и четниците се отделят от войводата. Командването се поема от Хаджи Димитър, който ги повежда към Сливенския Балкан.

Загива едва 28-годишен след тежко сражение на четата му с османски части. По повод на смъртта му Христо Ботев написва едноименната поема.