Cho hình chóp SABCD có đáy ABCD là hình vuông cạnh a, mặt bên SAB là tam giác đều và nằm trong mặt phẳng vuông góc với mặt phẳng ABCD
Chọn D

Chọn hệ trục tọa độ \[Oxyz\] như hình vẽ. Khi đó
\(S\left( {0;\,0;\,\frac{{\sqrt 3 }}{2}} \right)\); \(A\left( {\frac{{ - a}}{2};0;\,0} \right)\); \(B\left( {\frac{a}{2};0;\,0} \right)\);\(C\left( {\frac{a}{2};a;\,0} \right)\); \(D\left( {\frac{{ - a}}{2};a;\,0} \right)\)
suy ra \(G\left( {0;\,0;\,\frac{{a\sqrt 3 }}{6}} \right)\); \(M\left( {\frac{a}{4};\frac{a}{2};\,\frac{{a\sqrt 3 }}{4}} \right)\); \(N\left( { - \frac{a}{4};\frac{a}{2};\,\frac{{a\sqrt 3 }}{4}} \right)\)
Ta có mặt phẳng \(\left( {ABCD} \right)\)có vectơ pháp tuyến là \(\vec k = \left( {0;\,0;\,1} \right)\), mặt phẳng \(\left( {GMN} \right)\)có vectơ pháp tuyến là \(\vec n = \left[ {\overrightarrow {GM} ;\,\overrightarrow {GN} } \right] = \left( {0;\, - \frac{{a\sqrt 3 }}{{24}};\,\frac{a}{4}} \right)\)
Gọi \(\alpha \) là góc giữa hai mặt phẳng \(\left( {GMN} \right)\) và \(\left( {ABCD} \right)\), ta có
\[{\rm{cos}}\alpha = \frac{{\left| {\vec n.\vec k} \right|}}{{\left| {\vec n} \right|.\left| {\vec k} \right|}}\]\[ = \frac{{\frac{1}{4}}}{{\frac{{\sqrt {39} }}{{24}}}}\]\[ = \frac{{2\sqrt {39} }}{{13}}\].