آیت‌الله العظمی آسیّد احمد آقای خوانساری(اعلی اللّه مقامه الشّریف) - که امام(اعلی اللّه مقامه الشّریف) فرمودند: ایشان اتقی‌الاتقیاء هستند - همسری داشتند که خیلی آقا را اذیّت می‌کرد. حتّی اگر در خانه آقا می‌آمدند، می‌گفتند: با آیت‌الله العظمی خوانساری کار داریم. می‌گفت: کدام آیت‌الله؟ بروید و به آقا فحاشی می‌کرد! گاهی آقا را با خاک‌انداز می‌زد. یک مرتبه دیدند سر آقا شکسته، به خصّیصینشان گفته بودند: این مرحمتی خانم است!

مرحوم فلسفی(اعلی اللّه مقامه الشّریف) تعریف می‌کردند: یکی از آقایان (ظاهراً آیت‌الله خنده‌آبادی) به ایشان گفته بود: آقا! شما چرا این‌طور صبوری می‌کنید؟ طلاقش بدهید برود. گفته بودند: کجا رهایش کنم، بیچاره جایی را ندارد برود، من صبر می‌کنم! احساس می‌کردند اگر او را رها کنند، برایش شر می‌شود.