Pasaport sözcüğünün Osmanlı literatürüne girmesi, kullanılmaya başlanması ve de pasaport  dairesinin göreve başlaması 1881 yılına tarihlenir.
Bu daire, Kapitülasyonlar’ın bazı devletlere verilmesiyle bu ülke vatandaşlarının pasaport işlemlerini yapabilmeleri amacıyla kurulmuştur. Müşterek bir büro halinde kurulan binada, ‘Düveli Muazzama’ denilen büyük devletlerin kendi büroları vardı. Osmanlı tebalı kişileri göndermek için buraları kullanırlardı.
Bir zaman sonra aynı daireden bir tane de İzmir’e kuruldu. Halen İzmir’deki pasaport diye anılan semt adını buradaki Pasaport Dairesi’nden alır.
Lozan antlaşmasına kadar kullanılmasa da, hukuken Haydarpaşa Pasaport Dairesi varlığını sürdürmüştür.
İşgal zamanında da İngilizler, Fransızlar, İtalyanlar tarafından kullanılan bir yer olarak varlığını devam ettirdi. Yine bu dönemde Yunanlılar da pasaport işlemlerini buradan yaptırmak istemişler ancak İngilizler, Fransızlar ve İtalyanlar,  Yunanlıların aralarına girmesine izin vermemişlerdir.
İşgal kuvvetlerinin İstanbul’dan ayrılmalarından sonra, Cumhuriyet döneminde bu binanın yerine Sahil Sıhhi Kontrol Teşkilatı kurulmuş ve özgür bir ülkede çalışmanın rahatı ve güveniyle çalışmalarını sürdürmüştür.