Problemas com Owner e Parent

Olá pessoal,
bom tenho um form, nesse form tem um panel, dentro desse panel tem
um button, logicamento o owner do button é o form. Pelo que sei,
qnd o owner de um componente é destroido ele tb é, mas no caso,
se um dou um Panel.Free, o button que estava dentro do form fica
inacessivel e da erro qnd tento mudar alguma propriedade dele.
Por que issoo acontesse?

por exemplo no codigo abaixo:

procedure TForm1.Button1Click(Sender: TObject);
begin
Panel1.Free;
Button2.Caption:=´ola´;
caption:=Button2.Caption;
end

O Caption do form fica vazio, se tento mudar o parente do
button2 para self da erro.