Giồng Sơn Quy có nghĩa là Gò Rùa, bởi vì nơi đây, thuở lưu dân người Việt đến khai phá, có rất nhiều rùa sinh sống; cũng có thuyết cho rằng, giồng có hình vòng tròn và dài, giữa lại cao lên giống như một con rùa nằm, nên gọi là Gò Rùa.
Đây là tổ quán của đức Thái Hậu Từ Dụ (Từ Dũ). Vào giữa thế kỷ thứ XVIII, ông Phạm Đăng Long theo cha vào vùng Gò Công vốn hãy còn hoang vu. Là người giỏi Nho học, tinh thông phong thủy, địa lý, ông đi nhiều nơi tìm thế đất tốt để định cư, mong con cháu sau này phát tích, hưng vượng. Lúc ông đến Gò Rùa, thấy thế đất ở đây rất đẹp và có giếng nước ngọt, trong khi đó, toàn vùng Gò Công, giếng nước ngọt rất hiếm. Do đó, ông đã quy tập mồ mả 3 đời về đây và xây nhà ở gò đất này. Ông Phạm Đăng Long kết hôn với bà Phan Thị Tánh sinh ra Phạm Đăng Hưng, sau này trở thành đại công thần của triều Nguyễn. Phạm Đăng Hưng là thân phụ của bà Phạm Thị Hằng (Từ Dụ/Từ Dũ), hoàng phi của vua Thiệu Trị, hoàng mẫu của vua Tự Đức.
Do Gò Rùa (Quy Nguyên) là quê ngoại của nhà vua, nên vua Tự Đức thay chữ Quy Nguyên thành Sơn Quy tức là Gò Rùa thành ra Núi Rùa, ý muốn nói nơi phát tích bên ngoại được vững bền như Núi Rùa, là một loại trong Tứ Linh (Long - Lân - Quy - Phụng) sống lâu lại hợp với Núi càng vững bền thêm mãi. Tại đây, vua Thiệu Trị rồi vua Tự Đức cho xây dựng ngôi Từ đường thích lý (bên ngoại của nhà vua) và cấp ruộng đất để phục vụ việc thờ phụng.
Giữa Giồng Sơn Quy có khu lăng Hoàng Gia, là nơi có lăng mộ và đền thờ Đức Quốc công Phạm Đăng Hưng và một số ngôi mộ khác trong họ tộc Phạm Đăng.
Giồng Sơn Quy có liên quan đến cuộc khởi nghĩa do Trương Định lãnh đạo. Tại đây, ông cho xây dựng một chiến lũy, gọi là lũy Sơn Quy. Lũy này được đắp bằng đất, cao khoảng 1 m, nằm dọc theo rạch Sơn Quy. Ngoài ra, nghĩa quân còn đắp một chiến lũy nữa, gọi là lũy Dung Giang. Lũy này nằm về phía Tây giồng Sơn Quy, gồm có nhiều đoạn, bắt đầu từ xóm Mới ở cuối Giồng Sơn Quy chạy dọc theo rạch Gò Công, tạo thành hình vòng cung bảo vệ Giồng Sơn Quy.
Tại ngã ba rạch Sơn Quy và rạch Gò Công là điểm xung yếu, nên lũy ở đoạn này được đắp kiên cố, dài 300 mét, cao khoảng 2 m. Về phía bắc Giồng Sơn Quy, tại ngã ba làng Tân Niên Trung (xã Tân Trung ngày nay) còn có một lũy khác, gần đồn chính có một gò đất cao, gọi là gò Thổ Sơn, được dùng làm nơi các tướng lĩnh nghĩa quân quan sát, chỉ huy trận địa. Đặc biệt, Trương Định còn được phép sử dụng ngôi Từ đường thích lý họ Phạm làm đại bản doanh của cuộc khởi nghĩa, bởi vì vợ thứ của ông là Trần Thị Sanh, gọi Đức Quốc công Phạm Đăng Hưng bằng cậu ruột, nhận được ý chỉ của Thái hậu Từ Dụ (Từ Dũ) là phải ủng hộ cuộc khởi nghĩa Trương Định.
Sau khi Trương Định tuẫn tiết (20/8/1864), nhà thơ Nguyễn Đình Chiểu có sáng tác 10 bài thơ điếu Trương Định, trong đó bài điếu thứ bảy có nhắc Gò Rùa:
Mây giăng Truông Cóc, đường quan (1) vắng,
Trăng xế Gò Rùa, tiếng đẩu (2) tan.
(1) Đường quan: là đường cái quan (giống như quốc lộ bây giờ) từ Gia Định xuống Gò Công.
(2) Tiếng đẩu: tiếng mõ điểm canh trong đêm.