Драма, Опустевший город