Desenha botões em um panel

Estou criando um componente parecido com o DBNavigator. Bem, ele já esta funcional, mas não gostei da forma como eu implementei os botões no panel.

Fiz da seguinte forma. Criei um componente a partir de um TPanel, no método construtor dele eu adiciono os botões. Mas quando eu utilizo esse componente no sistema, os botões ficam ´clicaveis´, eu seja, fica parecendo que simplesmente coloquei um panel e fui adicionando os botões, via design mesmo, eu seja, se eu clicar em um botão deste componente, eu posso recorta-lo, excluir, em, fim, os botões ficam livres.

O que eu quero fazer é que os botões realmente façam parte do panel, que quando eu clique em um botão deste componente, seja selecionado o componente inteiro, e não apenas o botão.

Como fazer isto?