7.2. Основные требования к проведению обработки данных и этапы технологии Всеукраинской переписи населения

Технология обработки данных Всеукраинской переписи населения 2001 года предусматривает применение сертифицированных технических и программных средств, которые отвечают требованиям открытых систем взаимодействия. Технология строится с использованием принципов «клиент-сервер».
Разработка программного обеспечения для обработки материалов переписи населения осуществляется с использованием стандартных для органов статистики программных средств, таких как MS Excel, S-Designor, PowerBuilder, Power, Sybase SQL, и соответствует действующим нормативно-техническим документам.
Технологические средства обеспечивают обработку данных в сроки, определенные календарным планом подготовки и проведения Всеукраинской переписи, а также их распространение в необходимых и достаточных объемах. С целью обеспечения высокой степени надежности применяются стандартные программно-технические решения, широко применяемые в составе информационной системы Государственного комитета статистики Украины.
Отдельно от существующих вычислительных комплексов, используемых для обработки статистической информации, установлено серверы и рабочие станции для приема данных с ОУС, их контроля и обработки. Рабочие станции и серверы работают под управлением стандартных для информационной системы Госкомстата операционных систем.
На региональном и государственном уровнях используются средства архивации для создания на магнитно-оптических дисках и картриджах на магнитной ленте страховых и архивных копий данных переписи населения. Предусмотрена возможность получения из архива данных отдельных информационных единиц хранения: база данных в целом, выгружена таблица базы данных, графические файлы. Порядок образования и сроки хранения архивов регламентируются постановкой задачи «Всеукраинская перепись населения 2001 года».
Для обеспечения достоверности данных переписи населения предусмотрены необходимые и достаточные средства ручной и автоматизированной регистрации документов, файлов данных и технологических операций при передаче с участка на участок, с уровня на ривень.
Передача данных с регионального уровня на государственный выполняется: курьером на машинных носителях; по электронной почте по коммутируемым телефонным каналам общего користування.
Информационная совместимость данных переписи населения обеспечивается использованием общегосударственных классификаторов информации и таблиц связи локальных справочников Всеукраинской переписи с общегосударственными класификаторами.
Технологический процесс обработки материалов переписи с момента поступления переписных листов (ПЛ) в областное управление статистики приведены на рис. 7.3.
Технологический процесс обработки материалов начинается с момента поступления переписных листов в региональные управления статистики - Автономной Республики Крым, областных управлений статистики, статистических управлений городов Киева и Севастополя и имеет следующие этапы:
1) регистрация портфелей в ОУС, проверка и кодирования данных ПЛ, формирования отчетной документации о ходе сдачи ВЛ;
2) ввода данных с бумажных носителей с помощью сканеров Fujitsu M4099 D с проведением контроля в ограниченном объеме, подготовка файлов ПЛ для загрузки в базу данных, формирование архива графических изображений, формирования отчетной документации о ходе обработки материалов переписи населения, регистрация и возврат обработанных портфелей ПЛ ;
3) загрузки файлов ПЛ к БД, формирование протоколов загрузки;
4) контроль ПЛ, формирования протоколов контроля ПЛ, корректировки данных ПЛ на основе протокола контроля с использованием архива графических изображений, выполнения повторного контроля, формирования отчетной документации о ходе обработки данных переписи;
5) формирование сводных данных (исходных таблиц) в разрезе районов, проведения их внутришньотабличного, мижрозризного и межтабличных контроля, формирования отчетной документации о ходе обработки данных переписи;
6) формирование территориального файла для отправки (передачи) на государственный уровень, создание архивных копий;
7) получение от ОУС, регистрация и антивирусный контроль территориальных файлов на государственном уровне, составление справок о ходе поступления территориальных файлов, подготовка территориальных файлов для загрузки в базу данных
8) загрузки территориальных файлов в центральную базу данных переписи, формирование протоколов загрузки;
9) выполнение контроля переписных листов, входящих в территориальные файлов, формирование протоколов ПЛ, корректировки территориальных файлов по протоколам контроля, проведения повторного контроля, формирования отчетной документации о ходе обработки данных переписи;
10) формирование сводных данных (исходных таблиц), проведение их внутришньотабличного, мижрозризного и межтабличных контроля;
11) печати и вывода выходных таблиц на технические носители;
12) формирование информации для руководящих органов страны;
13) формирование региональных фрагментов центральной базы данных переписи со сводными данными и отправки (передачи) их в ОУС для дальнейшего использования, печати сводных данных в ОУС;
14) подготовка материалов Всеукраинской переписи населения для распространения печатными средствами, средствами Internet и формирования файлов на магнитных и оптических дисках.
Пункты 1-7 и частично 13 выполняются в ОУС.
На любом технологическом этапе обработки предполагается передачи на государственный уровень сложившейся отчетной документации о ходе обработки данных переписи населения. Отчетная документация (начиная с третьего этапа) формируется автоматично.
Во время любого технологического этапа обработки данных на государственном уровне предусматривается возможность полного или частичного повторного запроса территориальных файлов или фрагментов графических файлов ПЛ по региональному ривня.
Технология обработки материалов переписи населения ориентирована на обработку бумажных переписных листов. Проконтролированы, оформлены и укомплектованы в портфеле переписные листы в сроки, установленные календарным планом, передаются районными (городскими) отделами статистики в ОУС. Отчетная документация приема-передачи направляется по электронной почте руководству Госкомстата. Дальнейшую обработку переписных листов в областном управлении статистики непосредственно контролируется отделом переписи ОУС.
После получения переписных листов из районных (городских) отделов статистики в отделах переписи ОУС выполняются операции проверки, Доукомплектация портфелей ПЛ и кодирования ПЛ. В ОУС портфеле поступают на участок архива переписи, где хранятся на специальных стеллажах. Архивная служба имеет средства механизации для доставки / приема портфелей на участке ввода и из участков введения, а также телефонная связь.
После кодирования портфеле передаются на специализированный участок ввода данных, где регистрируются начальником смены. Начальник смены передает портфеле операторам ввода данных. Оператор вводит информацию переписных листов с помощью устройства оптического считывания. Обработанные портфеле ПЛ оператор возвращает начальнику смены и получает следующую партию портфелей. По каждому отдельному портфеля формируется файл для загрузки в базу данных. Начальник второй смены формирует отчетную документацию о ходе обработки материалов перепису.
Информация о ходе обработки материалов переписи передается работником отдела переписи населения ОУС в восемь часов по электронной почте в Госкомстат и одновременно руководству ОУС.
Подготовленные на этапе оптического считывания файлы ПЛ загружаются в базу данных. К БД записываются те портфели, которые полностью или частично соответствуют требованиям целостности и правильности комплектации.
Контроль ПЛ делится на два основных вида: сплошной и фрагментарный. Единицей сплошного контроля является портфель, единицей фрагментарного контроля - переписной лист. Перед формированием сводных данных переписные листы, по которым проводится сведения, проходят сплошной контроль, если после загрузки в данные портфеля вносились любые змини.
На региональном уровне после завершения сплошного контроля ПЛ, касающиеся одного района, проводится формирование сводных данных, исходных таблиц и их внутришньотабличний, мижрозризний и межтабличных контроль. Результаты контроля фиксируются в базе даних.
Предполагается полное и частичное рабочее печати сводных данных по запросу користувача.
По окончании внутришньотабличного, мижрозризного и межтабличных контроля в целом по региону (в разрезе районов) путем выгрузки данных из базы данных формируются территориальные файлы, состоящие из ПЛ и сопроводительной информации, в том числе данные о ходе внутришньотабличного, мижрозризного и межтабличных контроля сводных данных . Территориальные файлы готовятся для записи на технические носители или для передачи по электронной почте. Формируется пакет данных для передачи (отправки).
После формирования и отправки территориального файла или его части создается архивная копия как с БД, так и по территориальному файла или его части. Первоначальное обработки территориального файла охватывает этап технологического звена от поступления ТФ на государственный уровень до их загрузки в центральную базу данных перепису.
На государственном уровне (рис. 7.4) полученные от курьера или по электронной почте территориальные файлы регистрируются, проходят антивирусный контроль и контроль на полноту и подготавливаются к загрузке. По результатам выполнения этих операций дается разрешение на загрузку ТФ в центральную базу государственного переписи или ТФ повторно запрашивается с регионального уровня. Перед началом загрузки с ТФ делается архивная копия.
По окончании первоначального обработки каждого ТФ осуществляется его загрузку до ЦБДП, после чего получается протокол или справка о составе данных, поступивших из ТФ. После загрузки каждого территориального файла проводится сплошной контроль переписных листов этого территориального файла, получается протокол проверки справка о качестве данных. Формирование сводных данных на государственном уровне выполняется по окончании контроля всех данных переписи. После формирования всех исходных таблиц осуществляется их внутришньотабличний, мижрозризний и межтабличных контроль. В случае обнаружения ошибок с помощью системы нерегламентированных запросов локализуется источник ошибки и определяется необходимость повторного запроса ТФ с регионального уровня или повторение предыдущего этапа с использованием автокоригування.
По окончании внутришньотабличного, мижрозризного и межтабличных контроля в случае отсутствия ошибок исходные таблицы могут быть распечатаны и выведены на технические носители. Предполагается как полное, так и частичное печати и вывода выходных таблиць.
Для руководящих органов страны информация формируется в виде печатных изданий, на оптических дисках с соответствующими программами визуализации. Программы визуализации, разработанные в рамках выполнения работ по обработке материалов переписи 2001 г., поставляются на том же оптическом носителе.
В рамках выполнения работ по обработке материалов переписи населения формируются фрагменты ЦБДП данным исходных таблиц для дальнейшей обработки на региональном уровне. Порядок формирования и отправки региональных фрагментов аналогичен порядку формирования территориальных файлив.
В ОУС полученные по электронной почте региональные фрагменты регистрируются, проходят антивирусный контроль, готовятся для загрузки. По результатам выполнения этих операций дается разрешение на загрузку региональных фрагментов в БД или региональные фрагменты повторно запрашиваемые с регионального уровня. Перед началом загрузки из регионального фрагмента делается архивная копия. После окончания загрузки в БД выполняется печать выходных таблиц и вывод их на технические носии.
Подготовка материалов Всеукраинской переписи населения для распространения печатными средствами, средствами Internet и формирования файлов на магнитных и оптических дисках осуществляются на государственном ривни.
Для обработки материалов Всеукраинской переписи населения используется такая нормативно-справочная информация:
справочник территорий;
коды административного значения населенных пунктов;
справочник национальностей;
справочник языков;
справочник «Миграция населения»;
справочник государств;
классификатор видов экономической деятельности;
систематический словарь занять.
Для ввода данных переписи населения используются следующие макеты:
форма 10 сельский «Сопроводительное письмо на населенный пункт, часть населенного пункта» (доп. 1);
форма 10 городская «Сопроводительное письмо на населенный пункт, часть населенного пункта» (доп. 2);
форма 1 «Список № _ проживающих в помещении и их жилищные условия» (доп. 3);
форма 2с «Переписной лист» (доп. 4).
В результате обработки переписных листов населения получают выходные машинограммы, полный перечень которых приведен в прил. 5. Формы и содержание основных машинограмм приведены в прил. 6.
7.1. Значение переписи населения 7.3. Техническое и программное обеспечение обработки материалов переписи населения