У Дмитрия Львовича часто спрашивали – не из тех ли он Орловых, екатерининских. Он вспоминал историю, как оказался с шестилетним сыном Николаем на экскурсии в Мраморном дворце в Ленинграде. Экскурсовод рассказывал, что этот дворец построил граф Орлов, и сын спросил: «Пап, это не наш родственник?»
На самом деле дед Дмитрия Львовича был родом из Пензы, из сердобских мещан. Был офицером царской армии, участником русско-японской войны. В первую мировую был ранен, уехал в Сухуми, там женился и остался жить. В революционных событиях в России участия не принимал, более того, даже поддерживал правительство Лакобы. Семья была небогатой. В 1938 году был расстрелян.
«Бабушка была по отцовской линии русская, по матери – гречанка. На Кавказе все было перемешано, - рассказывал Дмитрий Львович. – Я, кстати, говорю немного по-гречески и по-грузински». Отец его был строителем, а банкиром Дмитрий Львович стал, по его словам, совершенно случайно.