Большие текстовые файлы - проблема
Добавлено: Чт окт 17, 2019 1:22 am
Почему-то xStarterу тяжело работать с относительно большими текстовыми файлами.
Если файл размером до мегабайта обрабатывается быстро - секунды. То при увеличении размера время растет по экспоненте. Файл размером 15 мегабайт может обрабатываться сутки (сравнение времени при обработке одной и той же информации с разным количеством строк - просто поиск и выборка нужного текста).
При этом память не перегружена, все в норме, как и при обработке файлов маленького размера.
P.S. Проблема явно есть, так как устав ждать, стал руками делать, чтобы было быстрее (файлов пару сотен). И оказалось, что за 15 минут делаю то, что xStarter делает часами (один и тот же алгоритм действий - открыть файл, найти текст, выбрать данные из строки).
Явно какая-то проблема в программе, к сожалению.
Если файл размером до мегабайта обрабатывается быстро - секунды. То при увеличении размера время растет по экспоненте. Файл размером 15 мегабайт может обрабатываться сутки (сравнение времени при обработке одной и той же информации с разным количеством строк - просто поиск и выборка нужного текста).
При этом память не перегружена, все в норме, как и при обработке файлов маленького размера.
P.S. Проблема явно есть, так как устав ждать, стал руками делать, чтобы было быстрее (файлов пару сотен). И оказалось, что за 15 минут делаю то, что xStarter делает часами (один и тот же алгоритм действий - открыть файл, найти текст, выбрать данные из строки).
Явно какая-то проблема в программе, к сожалению.