SMK Clifford telah di tubuhkan pada tahun 1897 di atas perkenan Paduka Seri Sultan Perak ke-28, Sultan Idris Murshidul’Adzam Shah yang ingin melihat pendidikan bahasa Inggeris diajar di negeri baginda. Pada awal penubuhannya sekolah ini dikenali sebagai “Sekolah Hogan” sempena nama guru besarnya yang pertama, Encik James Percival Charles Hogan.
Pelajar sekolah ini bermula dengan jumlah daftar sebanyak 40 orang murid dan kemudiannya menjadi 494 orang pada tahun 1928. Sehingga tahun 1905, sekolah ini mencatatkan rekod menjadi sekolah campuran yang pertama di Perak.
Ketika Perang Dunia ke-2, sekolah ini bertukar status menjadi markas tentera Jepun sehingga tahun 1946. Selepas tamat perang, pembangunan dan kemajuan Sekolah Clifford dibangunkan bersungguh-sungguh oleh pemangku guru besar ketika itu iaitu Encik Arumukham, bersama-sama dengan kakitangan guru. Dalam masa tersebut, sekolah menghadapi banyak masalah kekurangan perabot dan buku-buku.