Важное хранилище
Хранилище для всех служб одно. При необходимости задание можно выполнить, таким образом, при котором URL разбивается на энное количество частей и раздается энному количеству машин. Таким образом, нагрузка распределяется, и мы можем отметить, что при росте количества страниц, которые нужно обработать, можно просто увеличить число машин. Вся информация, которая находится в хранилище, собирается в сжатом виде, и при этом разбивается на небольшие части по 50 Мб. Эти части разделяются на 70 машинах, где включаются в работу, программа- индексатор.
