Correction
1. $GL_n(\mathbb{K})$ est un ouvert . On considère la fonction
$$f:\begin{array}[tt]{cl}
\mathcal{M}_n(\mathbb{K}) & \longrightarrow & \mathbb{K} \\
A & \longmapsto & det(A)
\end{array} $$
qui est un polynôme en les coefficients de A, donc f est continue. L'ensemble $\mathbb{K}^* $ étant ouvert dans $\mathbb{K}$ on en déduit que l'ensemble :
$$ f^{-1}(\mathbb{K}^*) = \{ A \in \mathcal{M}_n(\mathbb{K}), f(A) \ne 0\}=GL_n(\mathbb{K}) $$
est un ouvert de $\mathcal{M}_n(\mathbb{K})$.
Montrons que $GL_n(\mathbb{K}) $ est dense. Prenons $A\in \mathcal{M}_n(\mathbb{K}) $ et considérons la suite définie par :
$$ \forall k \in \mathbb{N}^* A_k = A- \frac{1}{k}I_n $$
$(A_k)_{k\in \mathbb{N}^*}$ converge vers $A$ et $\forall k \in \mathbb{N}^* $
$$ det(A_k) = det(-(\frac{1}{k}I_n - A)) = (-1)^n \chi _A (\frac{1}{k}) $$
par n-linéarité du déterminant. Le polynôme $\chi_A$ ne possédant qu'un nombre fini de racine, il existe nécessairement $N$ tel que $\forall k \geqslant N$, $ \chi _A (\frac{1}{k}) \ne 0 $ donc $ det(A_k) = (-1)^n \chi _A (\frac{1}{k}) \ne 0 $
Donc $(A_k)_{k \geqslant N} $ est une suite dans $ GL_n(\mathbb{K})$ qui converge vers $A$ d'où la densité de $ GL_n(\mathbb{K})$ dans $\mathcal{M}_n(\mathbb{K})$.
2. Comme $ \mathcal{O}_n(\mathbb{R}) $ est inclus dans $ \mathcal{M}_n(\mathbb{R}) $ ( qui est un evn de dimension finie) il suffit de montrer que $ \mathcal{O}_n(\mathbb{R}) $ est un fermé borné pour obtenir pour la compacité.
$ \mathcal{O}_n(\mathbb{R}) $ est fermé.
Notons que :
$$ \mathcal{O}_n(\mathbb{R}) = \{A \in \mathcal{M}_n(\mathbb{R}), A^tA=I_n \} = f^{-1}(I_n) $$
avec $ f : A \in \mathcal{M}_n(\mathbb{R}) \mapsto A^tA \in \mathcal{M}_n(\mathbb{R})$.
Comme $\{I_n\}$ est fermé, il suffit de montrer que $f$ est continue sur $\mathcal{M}_n(\mathbb{R})$ pour obtenir le caractère fermé de $\mathcal{O}_n(\mathbb{R})$.
L'application $ h : A \mapsto (A,{}^tA) $ est continue sur $\mathcal{M}_n(\mathbb{R})$ car linéaire en dimension finie et $ g : (X,Y) \mapsto XY $ est bilinéaire en dimension finie donc continue. Par composition $f=g\circ h $ est continue sur $\mathcal{M}_n(\mathbb{R})$, d'où $\mathcal{O}_n(\mathbb{R})$ est fermé.
$ \mathcal{O}_n(\mathbb{R}) $ est borné.
Soit $A\in \mathcal{M}_n(\mathbb{R}) $ alors on a : $\left \| A \right \|_2 = Tr(A{}^tA) = Tr(I_n) = n $ or
$$\left \| A \right \|_2 = \sum_{j=1}^{n}\sum_{i=1}^{n}a_{i,j}^{2} = n $$
D'où $ \forall (i,j) \in \{1,...,n\}^2 \ \ a_{i,j}^2 \leqslant 1 $ et $\left\| A \right \|_{\infty} \leqslant 1$.
Ainsi $\mathcal{O}_n(\mathbb{R})$ est un compact de $\mathcal{M}_n(\mathbb{R})$. Montrons qu'il est d'intérieur vide.
Supposons que $\mathcal{O}_n(\mathbb{R})$ soit d'intétieur non vide. Alors il existe $A\in \mathcal{O}_n(\mathbb{R})$ et $r \gt 0 $ telle que la boule ouverte $\mathcal{B}(A,r) \subset \mathcal{O}_n(\mathbb{R}) $. Donc $\forall x \in ]-r,r[$, $A-xI_n \in \mathcal{B}(A,r)$ car
$$ \left\| A-(A-xI_n) \right\|_{\infty} = \left| x \right|\left\| I_n \right\|_{\infty} = \left| x \right|\lt r $$
Donc :
$$ \forall x\in ]-r,r [,\ (det(A-xI_n))^2 = 1 \Leftrightarrow (\chi_A(x))^2=1 $$
Le polynôme $(\chi_A)^2 - 1 $ possède alors une infinité de racine : il est nul donc $(\chi_A)^2 $ = 1. Cela est absurde car le degré de $(\chi_A)^2 $ est $2n \gt 0$ car $ n \gt 0$. Ainsi $\mathcal{O}_n(\mathbb{R})$ est d'intérieur vide.