Прямая загрузка

Обычная загрузка

При обычной загрузке данных в таблицу для массива включаемых записей генерируется команда SQL INSERT. При таком подходе SQL*Loader конкурирует со всеми другими процессами Oracle за ресурсы буферного кэша; Oracle ищет и пытается заполнить частично заполненные блоки данных. Если загружаются малые объемы данных, такой подход приемлем, однако для больших массивов данных последнее требует большого времени и ресурсов.

Для обычной загрузки справедливы такие утверждения;

• Другие пользователи и процессы Oracle могут обращаться к таблице одновременно с SQL*Loader.

• Индексы обновляются по мере того, как строки вставляются в таблицу.

• При загрузке данных в таблицу активизированы все ограничения ссылочной целостности и ограни­чения целостности.

• Триггеры INSERT базы данных запускаются, когда строки вставляются в таблицу.

• Можно применять функции SQL к входным данным, когда они загружаются.

• Данные могут быть загружены в кластерную таблицу.

• Данные могут быть загружены с помощью SQL*Net.

Прямая загрузка, в отличие от обычной, не использует кэш-буферов для получения и заполнения блоков данных, а обращается к менеджеру экстентов, чтобы получить новые экстенты и произвести подстройку уровня заполнения экстентов (high water mark). При прямой загрузке создаются форматированные блоки данных, которые записываются непосредственно в БД.

Прямая загрузка имеет несколько существенных преимуществ:

• Можно загрузить и индексировать большие объемы данных в пустые или непустые таблицы за отно­сительно короткое время.

• Можно значительно увеличить производительность, загружая в пустые таблицы предварительно от­сортированные данные, устранив фазы сортировки и слияния при формировании индекса.

• Можно загружать данные параллельно, запустив несколько сеансов SQL*Loader, выполняющих пря­мую загрузку в одну и ту же таблицу.

• Можно задать выполнение прямой загрузки с опцией UNRECOVERABLE (без восстановления), который обходит механизм восстановления (журнал) Oracle, что значительно увеличивает произво­дительность.

Хотя прямая загрузка более производительна, она имеет ряд недостатков и ограничений:

• Таблицы и индексы, в которые загружаются данные, монопольно блокируются в начале загрузки и не освобождаются до ее окончания; таблицы не могут участвовать в каких-либо активных транзакци­ях и недоступны другим пользователям или процессам до завершения загрузки.

• Индексы переводятся в состояние прямой загрузки в начале загрузки и должны быть перестроены автоматически или вручную после завершения загрузки. Если сеанс SQL*Loader заканчивается не­удачно, индексы остаются в состоянии прямой загрузки и должны быть перестроены вручную. Огра­ничения PRIMARY KEY или UNIQUE не проверяются, пока не закончена загрузка и не перестроен индекс; возможно наличие дублированных ключей, и придется исправить их с помощью таблицы исключений прежде, чем вы сможете перестроить индекс.

• Ограничение NOT NULL — единственное ограничение, которое активно во время вставки. Все дру­гие ограничения целостности и ограничения ссылочной целостности активизируются и проверяются после того, как загрузка заканчивается. Если обнаружены какие-либо нарушения, они помещаются в таблицу исключений, которая должна быть специфицирована во время создания ограничения. Таблицу исключений нужно создать перед сеансом загрузки.

• Триггеры INSERT базы данных не запускаются на выполнение. Построенная на них работа прило­жения должна быть выполнена другими методами.

• Нельзя применять функции SQL к входным данным во время загрузки.

• Данные не могут быть загружены в кластерную таблицу. Данные могут быть загружены через SQL*Net, только когда обе компьютерные системы принадле­жат одному семейству и используют одинаковый символьный набор. Не рекомендуется использовать SQL*Net для прямой загрузки, так как прямой путь предназначен только для больших объемов дан­ных. Перегрузка сети "съест" весь выигрыш в производительности, обеспеченный прямой загрузкой. При прямой загрузке недействительна опция DEFAULT для столбца. Синонимы, существующие для загружаемых таблиц, должны ссылаться непосредственнона таблицу, а не на другой синонимили представление.

Основное преимущество прямой загрузки – производительность. Не существует строгих правил, чтобы определить, когда использовать стандартную или прямую загрузку, так как определение "большие объемы данных" меняется от приложения к приложению. Внешние факторы, такие как требования к доступности базы данных, чистота загружаемых данных и наличие ресурсов системы, также меняются. Время загрузки сокращается с дней до часов при использовании параллельной прямой загрузки по сравнению с обычной, с достоверными данными на мультипроцессорной системе. Но иногда значительное время тратится на контроль и "очистку" данных в загруженной таблице, чтобы можно было наконец перестроить индекс после прямой загрузки. Вы должны проанализировать свою ситуацию и, основываясь на всех факторах, решить, какой метод является лучшим.