Рядом с пороховой башней на южной стене замка находились въездные ворота, к которым вел подъемный мост на огромных цепях. От них, к сожалению, ничего не осталось. А от замковых стен сохранилась примерно их половина. Большинство из них просматривается со стороны реки. Среди местных жителей существовала легенда о том, что замок построили турки на яичном растворе. Конечно, это выдумка: захват турками Подолья наоборот стал началом конца замка в Скале.
В 1615 году замок разрушили татары, а в 1620 году город пытались взять турки, спалив большинство домов и повредив замок. Для обороны от османов во время Хотинской войны краковский и русский воевода Станислав Любомирский устроил в замке польский военный лагерь. В 1648 году, когда Скала принадлежала одному из руководителей шляхетских войск, брацлавскому и русскому воеводе Станиславу Лянцкоронскому, крепость захватили казаки под предводительством Максима Кривоноса, изгнав оттуда польский гарнизон. Замок был значительно разрушен, когда в нем в 1657 - 1658 году находилась залога князя Трансильвании Дьердя II Ракоци. Ракоци в то время вместе с украинскими и шведскими войсками воевал против поляков. Описание 1665 года гласит, что «замок, построенный на скале, и обведенный вокруг стеной, пришел в полнейшее запустение».
Последний раз замок разрушили турки в 1672 году, когда захватили Подолье. После этого он уже не восстанавливался. В середине XVIII века Скальским старостой был Адам Тарло, который перестроил замок в свою резиденцию. Он отремонтировал стены и башню, а также возвел на территории замка двухэтажный дворец в стиле барокко. Дворец разделял детинец на две части: парадный и внутренний дворы. Между ними находился сквозной проезд, который располагался на первом этаже дворца. Дворец украшают белокаменные барокково-классицистические резьбы над окнами. Он имел большие сводчатые подвалы, которые и сегодня являются частично доступными.
С люстрации 1762 года следует, что резиденция Тарло была недолго. Через несколько лет во дворец попала молния и разрушила его. Так он и пустует два с половиной века. Следующие владельцы Скалы Голуховские не стали восстанавливать дворец и замок, а выстроили свою резиденцию на южной окраине города. С тех пор местные жители неспешно разбирают замковые развалины на стройматериал.
В австрийский период о замке в Скале (как и о других замках) никто не заботился. В начале ХХ века его руины использовались, как пограничная застава. Во время Первой мировой на территории замка были выкопаны окопы, которые позже поросли травой. Таким образом, прогуливаясь по замковому двору, надо внимательно смотреть под ноги.
Сейчас руины замка законсервированы.