Недостатки автоматизации тестирования

      При всех перечисленных ранее преимуществах автоматизация может иметь и существенные недостатки, некоторые из которых могут быть очевидны не сразу.

1. Может быть неправильно оценён масштаб возможного покрытия системы автоматическими тестами, например, при попытке автоматизации того, что не должно быть автоматизировано. В таком случае процесс автоматизации становится неоправданно долгим и дорогим.
2. Очевидно, что наибольший эффект можно получить при автоматизации регрессионного тестирования, однако именно этот вид автоматизации имеет наибольшее количество минусов. Регрессионное тестирование используется для проверки новых версий, часто содержащих в себе большое количество дополнений и исправлений по сравнению с предыдущими версиями. При изменении в программе, тест уже не понимает, где произошло улучшение, дополнение, нововведение, а где ошибка. Поэтому всегда необходимо проверять актуальность используемого автоматического теста. 
3. При автоматизации регрессионного тестирования может случиться так, что вследствие изменений функциональности разработанный тест не может быть использован в дальнейшем. Поэтому прежде чем заниматься автоматизацией, необходимо четко представлять план дальнейшего развития проверяемого программного продукта, чтобы избегать подобных ситуаций. 
4. Еще одним недостатком автоматизации тестирования может стать отсутствие необходимой квалификации у сотрудников. Этот факт приводит к значительному увеличению времени при автоматизации и в дальнейшем при использовании автоматических тестов. Оператор теста должен обладать соответствующими знаниями: как использовать тест, как его конфигурировать, как его анализировать. Если оператора сменить, то результат автоматизации получится совсем другой.
5. Следствием из предыдущего пункта может стать наличие ошибок в тестовом скрипте. Например, если ошибка неверно определяется в автоматическом тесте, тогда она влечет за собой другие «ошибки», которые на самом деле ошибками не являются. Это может внести значительную сумятицу в процесс тестирования.
6. Также не стоит забывать про экономическую эффективность автоматизации. Возможна ситуация, что стоимость лицензий на инструменты для автоматизации превысят экономическую выгоду от использования автоматизированного тестирования в проектах. Кроме того, необходимо учитывать, что использование инструментов автоматизации может потребовать дополнительных расходов на необходимое оборудование: для их установки зачастую требуются отдельные сервера, и, возможно, потребуется их покупка.