Vườn quả trong Phủ Chủ tịch vốn là một khu đất hoang sau Phủ toàn quyền Đông Dương (nay là Phủ Chủ tịch). Sau ngày Bác về ở và làm việc, Bác cùng anh em cán bộ văn phòng, bảo vệ cơ quan cải tạo thành khu vườn có thể trồng một số giống lúa thí điểm để cung cấp giống cho nhân dân. Sau một thời gian, thấy hiệu quả đem lại từ việc trồng lúa không cao, Bác đề nghị trồng thay thế bằng rau xanh, một số cây thuốc, để đảm bảo đủ rau ăn hàng ngày. Không chỉ dừng lại ở lợi ích trước mắt, Chủ tịch Hồ Chí Minh luôn quan tâm tới việc xây dựng và phát triển một môi trường sống trong lành, Người từng nói: “…cần trồng nhiều cây ăn quả, cây lấy gỗ, cây ngăn gió. Trồng cây sẽ đưa lại cho nhân dân ta một nguồn lợi to, lại làm cho xứ sở ta thêm đẹp…”. Người hằng mong muốn rằng: sau bữa ăn hàng ngày trong mỗi gia đình, mọi người đều được hưởng trái cam, múi bưởi, quả chuối… Điều mong muốn của Bác tuy giản dị, nhưng mang tình cảm, ý tưởng dân sinh vô cùng lớn lao. Nhiều tổ chức, cá nhân đã mang biếu Bác các giống cây quý hiếm thể hiện tấm lòng đối với Bác: xoài xiêm, dừa, bưởi Pômêlô…. Tuy bận rộn, Bác cũng không quên dành thời gian để chăm sóc cây, trồng rau, vun xới và coi đây là niềm vui, nguồn hạnh phúc rất đời thường