Lời giải:

\[\left\{ \begin{array}{l}2y({x^2} - {y^2}) = 3x\,\,\,\,\,\,\,\,\,\,\,\,\,\left( 1 \right)\\x\left( {{x^2} + {y^2}} \right) = 10y\,\,\,\,\,\,\,\,\,\,\,\,\left( 2 \right)\end{array} \right.\]

⦁ Xét trường hợp đặc biệt:

Nếu x = 0, từ phương trình (1) ta có 2y.(‒y²) = 0, suy ra y = 0.

Thay x = 0, y = 0 vào phương trình (2), ta được 0.0 = 0 (luôn đúng).

Như vậy, cặp số (0; 0) là một nghiệm của hệ.

⦁ Xét trường hợp xy ≠ 0.

Chia phương trình (1) cho phương trình (2), ta được:

\[\frac{{2y\left( {{x^2} - {y^2}} \right)}}{{x\left( {{x^2} + {y^2}} \right)}} = \frac{{3x}}{{10y}}\]

20y²(x² ‒ y²) = 3x²(x² + y²)

20x²y² ‒ 20y⁴ = 3x⁴ + 3x²y²

3x⁴ ‒ 17x²y² + 20y⁴ = 0

3x⁴ – 12x²y² – 5x²y² + 20y⁴ = 0

3x²(x² – 4y²) – 5y²(x² – 4y²) = 0

(x² – 4y²)(3x² – 5y²) = 0

x² = 4y² hoặc \[{x^2} = \frac{5}{3}{y^2}\]

+) Với x² = 4y², ta có x = 2y hoặc x = –2y

⦁ Thế x = 2y vào phương trình x(x² + y²) = 10y, ta được:

2y[(2y)² + y²] = 10y

2y.5y² = 10y

10y³ = 10y

y³ – y = 0

y(y² ‒ 1) = 0

y = 0 (loại) hoặc y = 1 (thỏa mãn) hoặc y = ‒1 (thỏa mãn).

Khi y = 1, ta có x = 2.

Khi y = ‒1, ta có x = ‒2.

Do đó (2; 1), (‒2; ‒1) là các nghiệm của hệ phương trình.

⦁ Thế x = ‒2y vào phương trình x(x² + y²) = 10y, ta được:

‒2y[(‒2y)² + y²] = 10y

‒2y.5y² = 10y

‒10y³ = 10y

y³ + y = 0

y(y² + 1) = 0

y = 0 (loại) và y² + 1 = 0 (vô lí).

Như vậy, trong trường hợp này, hệ phương trình vô nghiệm.

+) Với \[{x^2} = \frac{5}{3}{y^2}\], ta có \[x = y\sqrt {\frac{5}{3}} \] hoặc \[x = - y\sqrt {\frac{5}{3}} \].

⦁ Thế \[x = y\sqrt {\frac{5}{3}} \] vào phương trình x(x² + y²) = 10y, ta được:

\[y\sqrt {\frac{5}{3}} \left[ {{{\left( {y\sqrt {\frac{5}{3}} } \right)}^2} + {y^2}} \right] = 10y\]

\[y\frac{{\sqrt {15} }}{3} \cdot \frac{8}{3}{y^2} = 10y\]

\[\frac{{8\sqrt {15} }}{9}{y^3} - 10y = 0\]

\[2y\left( {\frac{{4\sqrt {15} }}{9}{y^2} - 5} \right) = 0\]

y = 0 (loại) hoặc \[{y^2} = \frac{{45}}{{4\sqrt {15} }}\]

Suy ra: \[y = \sqrt {\frac{{45}}{{4\sqrt {15} }}} = \sqrt {\frac{{3\sqrt {15} }}{4}} \] hoặc \[y = - \sqrt {\frac{{45}}{{4\sqrt {15} }}} = - \sqrt {\frac{{3\sqrt {15} }}{4}} \]

Khi \[y = \sqrt {\frac{{3\sqrt {15} }}{4}} ,\] ta có \[x = \sqrt {\frac{{3\sqrt {15} }}{4}} \cdot \sqrt {\frac{5}{3}} = \sqrt {\frac{{5\sqrt {15} }}{4}} \].

Khi \[y = - \sqrt {\frac{{3\sqrt {15} }}{4}} ,\] ta có \[x = - \sqrt {\frac{{3\sqrt {15} }}{4}} \cdot \sqrt {\frac{5}{3}} = - \sqrt {\frac{{5\sqrt {15} }}{4}} \].

Do đó \[\left( {\sqrt {\frac{{5\sqrt {15} }}{4}} ;\,\,\sqrt {\frac{{3\sqrt {15} }}{4}} } \right);\,\,\left( { - \sqrt {\frac{{5\sqrt {15} }}{4}} ;\,\, - \sqrt {\frac{{3\sqrt {15} }}{4}} } \right)\] là hai nghiệm của hệ phương trình.

⦁ Thế \[x = - y\sqrt {\frac{5}{3}} \] vào phương trình x(x² + y²) = 10y, ta được:

\[ - y\sqrt {\frac{5}{3}} \left[ {{{\left( { - y\sqrt {\frac{5}{3}} } \right)}^2} + {y^2}} \right] = 10y\]

\[ - y\frac{{\sqrt {15} }}{3} \cdot \frac{8}{3}{y^2} = 10y\]

\[\frac{{8\sqrt {15} }}{9}{y^3} + 10y = 0\]

\[2y\left( {\frac{{4\sqrt {15} }}{9}{y^2} + 5} \right) = 0\]

y = 0 (loại) và \[\frac{{4\sqrt {15} }}{9}{y^2} + 5 = 0\] (vô lí).

Như vậy, trong trường hợp này, hệ phương trình vô nghiệm.

Vậy hệ phương trình có 5 nghiệm là (0; 0), (2; 1), (‒2; ‒1), \[\left( {\sqrt {\frac{{5\sqrt {15} }}{4}} ;\,\,\sqrt {\frac{{3\sqrt {15} }}{4}} } \right)\], \[\left( { - \sqrt {\frac{{5\sqrt {15} }}{4}} ;\,\, - \sqrt {\frac{{3\sqrt {15} }}{4}} } \right)\].

Tìm hai số đó.