Саме за російських часів, під час перетворення фортеці на палац, майстри вперше застосували цеглу – до того часу її не використовували, хіба що для спорудження храму. З використанням цегли пов'язано і романтичне названня замку, яке було поширене в ХІХ столітті – "Білий лебідь". Справа в тому, що до вапняного розчину, який використовувався для мурування стін і тонкого шару тиньку, домішували подрібнену на пил цеглу. Через це замок, зовні весь потинькований цим розчином, набув злегка рожевого кольору – як от яблуневий цвіт. В сонячні дні, коли фортеця відображалася у водах значно більш повноводного, аніж тепер, Південного Бугу, вона справляла надзвичайно естетичне враження. Мальовничості їй надавали й великі наріжні брили вапняку, з яких виростав замок.