DBGrid

Você pode verificar a quantidade de registro já existente pela propriedade RecordCount da TQuery ou TTable. No evento BeforePost da Query ou Table, levando em consideração que o limite seria de 5 registros, eu colocaria a seguinte condição:

If Query1.RecordCount => 5 then begin
ShowMessage(´Impossível inserir mais que 5 registros´);
Abort;
end;

Espero ter te ajudado.

Um abraço!