Участник похода 1796 г. П. Г. Бутков, посетивший цитадель через три дня после вступления русских войск в Дербент, пишет: Я был в ханском доме. Оный построен в Нарын-Кале, в два этажа, из дикого камня, на высоте, которая командует всем городом. Покои, где жил хан и его сестра, состоят в четвероугольнике так, как в Зимнем дворце. Посредине бассейн. В той части, которая лицом лежит к городу, сделана галерея, выше всего дома; вправо, влево и напротив галереи состоят покои же наружным амфитеатром, где стены, так как и в комнатах, украшены живописью. … Картины сии представляют: иная сражение древних азиатцев, где председательствующий едет на слонах, иная — любовные свидания, а иная — всадников, догоняющих на лошадях и убивающих саблею оленей и проч.; потолки же украшены цветами.
Из сего амфитеатра по сторонам двери в комнаты, где, исключая одной комнаты ханской сестры, стены живописью не украшены, но только чисто выштукатурены. В комнатах много было небольших зеркал и других украшений… Окна в комнатах составлены из маленьких разноцветных стекол и кажут наипрелестный вид радуги, а особливо, когда солнце лучи свои в стекло бросает. Сии окна с стеклом только к городу, а внутренние без стекол и с занавесями и затворами. Причина сему то, что они не имеют большой стужи и сырого воздуха.
Чертежи и описания 1796 г. свидетельствуют, что дворцовый комплекс в цитадели состоял из двух частей — новых корпусов, примыкавших к восточной стене (среди них выделялось здание с квадратным двором), и старого комплекса служебных помещений в северо-западном углу цитадели, в месте нахождения прежнего дворца правителя города (археологическими раскопками последних лет в этой части цитадели вскрыто пять архитектурных комплексов средневековых ханских дворцов XII — первой половины XVIII в.).
Правление Ших-Али-хана привело в упадок некогда цветущий Дербент. При нем, свидетельствует один из участников похода 1806 г., «проломы в стенах заросли мхом, верхняя часть города и ханский дворец, краса Азии и редкость Персии, год от году умножали развалины, причиненные временем и войной, а хан расточал богатства на красивых невольниц и лучшие вина». Далее автор описывает состояние ханского дворца: «Провалившиеся потолки, разломанные камины, остатки бедной живописи, видимые в одной галерее, не удовлетворяют любопытству искателя древностей; он обращается к правой стороне, входит в фасовые комнаты — и на несколько времени забывает о трудах своих; здесь находит он остатки азиатского комнатного украшения и с удовольствием рассматривает искусный подбор красок в живописи альфреско. По среди двора находится осьмиугольный, широкий бассейн, в который напускалась вода посредством фонтанов».
В 1811 г. под руководством военного инженера Карпова был составлен проект коренной перестройки ханского дворца для нужд русского гарнизона. Он претворялся в жизнь несколько лет. Сохранившиеся фрагменты ханского дворца и чертежи первой половины XIX в. позволили реконструировать его первоначальный облик (по состоянию на 1806 г.).
Вход в цитадель (ворота Нарын-кала-капы) устроен под двухэтажным корпусом («комендантским домом»), где находились парадные помещения и приемная хана. Здесь в толще земли, слева от входа, была устроена небольшая комната, где, вероятно, находилась охрана ворот. Справа от входа, за стеной, расположен небольшой, неправильной формы двор, на который, по-видимому, выходили жилые покои хана, и корпус, где помещалась личная охрана правителя.