Можно заставить браузер при закрытии автоматически удалять куки файлы. Нужно в настройках (дополнительные параметры) найти вкладку - "содержимое". В ней выбрать пункт, c приблизительным названием - "не сохранять локальные файлы". В этом случае сохраненные данные будут частично удаляться.
Для продвинутых пользователей, знакомых с программированием, можно посоветовать написать свой простенький макрос, который будет выполняться при закрытии и отправлять браузеру команду shift+ctl+del - "очистить все".
Еще есть вариант поискать готовое дополнение в магазине приложений.
Если выбор браузера не критичен, то можно использовать другой, не сохраняющий историю по умолчанию. Например Epic Browser, то же собранный на движке Chromium, как и Яндекс браузер.
Как выгодно покупать доллары? Анализ стратегий и статистики за 25 лет