ディレクトリの削除は

LPCTR RemoveName[_MAX_PATH];	//削除するディレクトリ名

RemoveDirectory(RemoveName);

でできます。

RemoveDirectoryで実際に成功しないこと(LastErrorで1338がかえってくる)がNT上ではありますが
それは
FindFirstFile
FindNextFile
FindClose

という風に実行しなければならないところを
FindFirstFile
FindNextFile

としFindCloseを忘れることによっておきます。