Hướng dẫn giải:

Đường tròn ngoại tiếp tam giác AF₁F₂ là đường tròn đi qua 3 điểm A, F₁, F₂.

Giả sử tâm của đường tròn là điểm I(a; b).

Ta có IA = IF₁ = IF₂ ⇔ IA² = \(IF_1^2\)= \(IF_2^2\) .

Vì IA² = \(IF_1^2\), \(IF_1^2\) = \(IF_2^2\) nên

\(\left\{ \begin{array}{l}{\left( {0 - a} \right)^2} + {\left( {4 - b} \right)^2} = {\left( { - 3 - a} \right)^2} + {\left( {0 - b} \right)^2}\\{\left( { - 3 - a} \right)^2} + {\left( {0 - b} \right)^2} = {\left( {3 - a} \right)^2} + {\left( {0 - b} \right)^2}\end{array} \right.\)

\( \Leftrightarrow \left\{ \begin{array}{l}{a^2} + {b^2} - 8b + 16 = {a^2} + 6a + 9 + {b^2}\\{a^2} + 6a + 9 + {b^2} = {a^2} - 6a + 9 + {b^2}\end{array} \right.\)

\( \Leftrightarrow \left\{ \begin{array}{l}6a + 8b = 7\\12a = 0\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}a = 0\\b = \frac{7}{8}\end{array} \right.\)

Đường tròn tâm \(I\left( {0;\,\frac{7}{8}} \right)\) bán kính R = IA = \(\sqrt {{{\left( {0 - a} \right)}^2} + {{\left( {4 - b} \right)}^2}} \)\( = \sqrt {{{\left( {4 - \frac{7}{8}} \right)}^2}} = \frac{{25}}{8}\).

Phương trình đường tròn (C) là \({\left( {x - 0} \right)^2} + {\left( {y - \frac{7}{8}} \right)^2} = {\left( {\frac{{25}}{8}} \right)^2}\).

Vậy phương trình đường tròn (C) là \({x^2} + {\left( {y - \frac{7}{8}} \right)^2} = \frac{{625}}{{64}}\).

Tính tích vô hướng vecto MN, vecto MP