Derrubar cliente via socket

Sendo eu o serversocket como derrubar um clientsocket, tendo em vista que eu não tenho o socket dele?