Hồ Xuân Hương là một nữ sĩ phóng khoáng, thích thăm thú, du ngoan, cũng thường vung bút đề thơ. Đây là trường hợp hiếm có đối với một người phụ nữ trong xa hội phong kiến. Bài thơ đề nơi nào phải đúng với tình cảm, sự tích nơi đó, xem như cảm nghĩ về nơi được đề.

Đề thơ là một phong tục của Trung Quốc xưa, đến đời Đường đã rất thịnh hành. Khách du sơn ngoạn thuỷ, thăm thú thắng cảnh đền đài, hứng làm thơ, vung bút đề thơ để lưu bút tích và bày tỏ cảm xúc, chí khí của mình. Ta đã biết tương truyền bài thơ Hoàng Hạc lâu của Thôi Liệu để ở lầu Hoàng Hạc đã làm thơ tiên Lý Bạch bối rối. Hoặc Đề đô thánh nam trang của Thôi Hộ đề trên cánh của một trang văn vắng bóng người đẹp. Ở nước ta, tục này cũng thịnh hành, trên nhiều hang động đẹp đều lưu bút tích thi nhân.

Hồ Xuân Hương là một nữ sĩ phóng khoáng, thích thăm thú, du ngoan, cũng thường vung bút đề thơ. Đây là trường hợp hiếm có đối với một người phụ nữ trong xa hội phong kiến. Bài thơ đề nơi nào phải đúng với tình cảm, sự tích nơi đó, xem như cảm nghĩ về nơi được đề.

Sầm Nghi Đống là thái thú đất Diễn Châu, Trung Quốc, tuỳ tướng của Tôn Sĩ Nghị trong cuộc xâm lược Việt Nam năm 1789. Ông được giao giữ đồn Khương Thượng, Đống Đa. Khi bị quân Tây Sơn đánh, ông không chống cự được nên đã thắt cổ tự tử. Để giữ mối quan hệ bang giao hai nước, Quang Trung cho người Hoa lập miếu thờ Sầm Nghi Đống tại phía sau phố Hàng Buồm ngày nay. Theo sách Hợp tuyển thơ văn Việt Nam cuối thế kỷ XVIII đầu thế kỷ XIX, thì ghi chú có hơi khác: Đống được giao trấn thủ Ngọc Hồi, đồn Ngọc Hồi thất thủ, Đống tự tử. Về sau có đền thờ ở gò láng Ngọc Hồi.

Nhân một dịp đi qua, Hồ Xuân Hương đã làm bài thơ này. Mở đầu bài thơ, Hồ Xuân Hương đã biểu thị một cái nhìn thiếu trân trọng đối với ngôi đền:
Ghé mắt trong ngang thấy bảng treo
Kìa đền thái thú đứng cheo leo
Những ai được lập đền, dù là quân giặc, đều được coi là thần, đề mọi người đến thắp hương cúng bái, cầu vọng. Nhưng Hồ Xuân Hương thì chỉ ghé mắt trông ngang. Ghé mắt, theo Từ điển Tiêng Việt, là nghiêng đầu và đưa mắt nhìn, chỉ thuần tuý là động tác, không hàm ý kính trọng. Ghé mắt trông ngang chớ không phải trông lên, đã thể hiện một thái độ bất kính đối với vị thần xâm lược thất bại. Đền Thái, thú đứng cheo leo hẳn là đền xây trên gò, và người ta không dễ trông ngang. Rõ ràng Hồ Xuân Hương cố tình chọn một cái nhìn coi thường đối với vị Thái thú ở nơi tha hương này. Chữ cheo leo là một từ đặc sắc, nó chỉ một thế đứng cao nhưng không có nơi bấu víu, dễ đổ ụp xuống. Chữ kìa cũng hàm ý bất kính, bởi nó kèm theo các động tác chỉ trỏ, mà đối với các nơi đền đài linh thiêng người đến viếng không được nói to, giơ tay chỉ trỏ như đối với đồ vật. Với hai câu thơ ấy, Hồ Xuân Hương đã tước bỏ hết tính chất thiêng liêng, cung kính của một ngôi đền.

Hồ Xuân Hương không chỉ nhìn ngang chỉ trỏ trước một ngôi đền, bà lại còn tự ví mình, so sánh mình với người được thờ nữa:
Ví đây đổi phận làm trai được
Sự nghiệp anh hùng há bấy nhiêu
Cái ý nghĩa đổi phận làm trai đã thể hiện cái mặc cảm phụ nữ đối với nam giới trong xã hội phong kiến đã áp đặt vào ý thức nhà thơ. Nhưng mặt khác, nó cũng thế hiện nhu cầu đổi phận, không chịu an phận của bà. Cái cách bà tự xưng là đây để đổi lại với Sầm Nghi Đống là đấy, thì dù bà chưa đổi phận được, bà cũng đã rất coi thường vị nam nhi họ Sầm. Câu kết há bấy nhiêu có thể nghĩ rằng Hồ Xuân Hương tự cho mình có thể làm gấp nhiều lần, so với sự nghiệp của Sầm, song đúng hơn, nên biểu hiện một lời dè bỉu: sự nghiệp của ông có bấy nhiêu thôi ư, nó quá ít đối với một đấng nam nhi đấy!

Bài thơ là một khái vọng được bình đẳng, khát vọng lập nên sự nghiệp anh hùng vẻ vang của một người phụ nữ. Thái độ “bất kính’ của bà là một thách thức đối với ý thức trọng nam khinh nữ, thách thức với các “sự nghiệp anh hùng” của nam nhi, thách thức đối với thần linh. Bài thơ thể hiện mạnh mẽ nhu cầu giải phóng cá tính của con người, bất chấp các ước lệ ràng buộc của xã hội phong kiến.