Chùa Xá Lợi Sài Gòn được khởi công xây dựng vào ngày 5/8/1956, trên một thửa đất rộng hơn 2500m2 được nhượng lại từ câu lạc bộ Đông Dương với giá một đồng bạc Việt Nam. Khu đất tọa lạc tại góc đường Lê Văn Thạnh (hiện là Sư Thiện Chiếu) và Bà Huyện Thanh Quan. Công trình được xây dựng theo bản vẽ của hai kiến trúc sư nổi tiếng Trần Văn Đường, Đỗ Bá Vinh và được giám sát xây dựng bởi hai kỹ sư Dư Ngọc Ánh, Hồ Tố Thuận. Chùa được hoàn thành và khánh thành vào ngày 2/5/1958.

Ban đầu, chùa được xây dựng để thờ Xá Lợi Phật tổ do đó có tên là “chùa thờ Xá Lợi”. Tuy nhiên, do người dân quen gọi tắt là “chùa Xá Lợi” nên hòa thượng Khánh Anh đã quyết định chính thức đặt tên chùa là Xá Lợi cho hợp lòng người.