Kanuni Süleyman bugünkü Kuleli Askeri Lisesi’nin bulunduğu çevrede Cihannuma Kasrı veya Kule Kasrı olarak anılan bir kasır yaptırmıştır. 1650 senesindeki Boğaziçi’den bahseden Jean de Thevenot, dünyanın en güzel yerlerinden biri olarak kabul ettiği Boğaz ile sahil boyunca sıralanmış yalı ve bahçelerden söz ederken, bu mevkide gayet güzel bir kule olduğundan bahseder.

Çengelköy ile Vaniköy arasındaki bu kasrın her katında, Evliya Çelebi’nin anlattıklarına göre, havuzlar ve birbiri ardına dizili çok sayıda oda bulunurdu. Kule bahçesinin dışında bir mescit, bostancı odaları, padişahın savaşta ve avda kullandığı köpeklerin yetiştirilip bakıldığı bir samsonhane (seksonhane) vardı. Ne yazık ki Sultan III. Ahmed zamanına gelindiğinde kasır harap olmuş bulunuyordu. Bir rivayete göre de Damat İbrahim Paşa, bu sarayın taşlarını Kağıthane’ye naklettirerek kendi sarayının inşasında kullanmıştır.

Eski yazarlar Çengelköy’ün kirazı kadar ayvasının da ünlü olduğunu yazarlar. Bu meyveler büyük bir Pazar kayığı iskelesi ile kente gönderilir ve bu iskeleden yine köyün ihtiyaçları karşılanırdı. Bu iskele özel kayıkları ve kayıkçıları olmayan insanların da ulaşımını sağlıyordu.  Eski yazarların Fatih döneminden kaldığını söyledikleri Hacı Ömer Camii’nin bu sıralarda kurulmuş olması büyük ihtimal. Ayrıca bu dönemde Aya Yorgi Kilisesi de harap bir durumda olmakla beraber Rumların ibadetleri için kullanılmaktadır.