ご質問ありがとうございます。
確かにおっしゃるような状況は起こり得ます。
インストールしたブログの記事を「削除」した場合は、すべてのリンクから記事が削除されるのですが、ブログそのものをアンインストールすると、サイト全体の最新記事一覧やコメント一覧に記事へのリンクが残ってしまいます。
最新記事一覧の実体は環境設定の「外部ファイル編集(共通)」で開くことができる「metaindex.ssi」です。
該当するリンクが含まれる <!--article id="***"--> <!--/article--> で囲まれた部分を削除してください。
少々面倒ですが以上お試しください。