4.3. Технологические процессы решения регламентных статистических задач
Технологический процесс автоматизированной обработки статистической информации представляет собой совокупность операций, осуществляемых в определенной последовательности, - от сбора исходной информации до получения исходной информации. Под операцией понимают комплекс действий, выполняемых над информацией на одном рабочем месте.Разработка любого технологического процесса должна обеспечить максимальную автоматизацию процессов обработки информации с использованием различных технологических средств и высокую достоверность получения исходной информации при минимальных трудовых и стоимостных затрат.
Состав операций и последовательность их выполнения зависят от характера решаемых статистических задач и имеющегося комплекса технических средств на каждом уровне обработки (районном, областном, государственном). Характер задач в основном определяется объемами обрабатываемой информации, периодичностью решения, а также сложностью алгоритмов ее преобразования. Решение задачи на каждом уровне обработки может выполняться разными способами с использованием различных вычислительных средств и методов контролю.
В технологическом процессе автоматизированной обработки статистической информации решения различных задач прослеживаются три этапа: первичный, основной и пидсумковий.
Операции первоначального этапа связанные со сбором и подготовкой статистических отчетов в машинной обработки. От качества выполнения этих операций зависят эффективность и достоверность непосредственно автоматизированной обработки.
Операции основного этапа обеспечивающие ввод и обработка первичных отчетов, а также печать сводных отчетов в соответствии с заданным алгоритмом решения статистической задачи. Автоматизированная обработка статистической информации может осуществляться с использованием отдельных типов ПЭВМ или ПЭВМ, входящих в состав локальной информационно-вычислительной мережи.
На итоговом этапе выполняются операции контроля и выпуска сводных отчетов с целью проверки качества их обработки и печати, дальнейшего размножения и рассылки споживачам.
Поскольку для выполнения отдельных операций обработки информации могут быть использованы различные средства вычислительной техники и в различных сочетаниях, существует много вариантов технологических процессов. Эффективность проектирования машинной обработки статистической информации требует их стандартизации. Под стандартизацией технологии автоматизированной обработки информации понимается разработка комплекса детализированных и максимально унифицированных схем технологических процессов с четким установлением состава и последовательности выполнения операций. Ориентация на стандартные технологические процессы приводит к улучшению качества проектирования, облегчения и ускорения внедрения машинной обработки даних.
Первый этап обработки первичной отчетности на районном и областном уровнях начинается по сбору информации, контроля полноты и качества заполнения первичных отчетов экономистами соответствующих отделов информационного обеспечения от источников информации (предприятий, организаций). Если обнаруживаются ошибки, то экономисты делают запросы к источникам информации. В противном случае по первичным отчетам производится подсчет и регистрация контрольных сумм. Контрольные суммы необходимы в дальнейшем для проверки правильности ввода данных в ПЭВМ, в зависимости от структуры первичного отчета они могут подсчитываться по каждой строке, графе или по отчету в цилому.
Основной этап начинается с ввода первичных отчетов, их логического, арифметического и синтаксического контроля. Независимо от результатов контроля осуществляется запись информации на магнитные носители. При этом выполняется проверка полноты записи и внесения корректив в первоначальные отчеты на магнитных носиях.
Арифметический контроль заключается в проверке баланса данных в строках и графах первичного отчета с применением заранее подсчитанных контрольных сумм. При логического контроля проверяют допустимые отклонения от наиболее вероятных данных, а синтаксического - структура заполнения документа различными даними.
Если в процессе контроля оказалось нарушения, печатается протокол ошибок, в котором указывается характер нарушения, конкретная ошибка и ее место в массиве информации. На основе этого протокола запрашивается к информации, по результатам которого выполняется корректировка информации на машинных носиях.
Только после внесения всех изменений и положительного контроля полноты записи первичных отчетов на магнитные носители берутся в их обработки по заданному алгоритму решения задачи. Далее осуществляется печать сводных звитив.
На итоговом этапе технологического процесса обработки информации экономистами выполняется контроль сводных отчетов на полноту вхождения входных данных в заданный разрез обработки и качества их друкування.
В зависимости от характера ошибки сводные отчеты обрабатываются или печатаются заново. Затем осуществляется размножение сводных отчетов с помощью копировально-множительных средств в зависимости от заказанного различными потребителями тиража и направлением местным органам управления и другим уровням системы Госкомстата Украини.
Для решения регламентных задач используются информационные технологии, которые реализуются с помощью комплексов электронного обработки информации (КЭОИ), которые представляют собой совокупность пакетов прикладных программ, обеспечивающих решение отдельных регламентных задач на различных уровнях Госкомстата Украини.
Технология решения регламентных статистических задач охватывает все этапы прохождения статистической отчетности - от поступления первичных отчетов от предприятий, организаций, коммерческих структур на низкий уровень к выпуску сводных отчетов на более высоком уровне Госкомстата Украины. Осуществляется эта технология средствами КЕОИ.
В настоящее время в информационной системе Государственного комитета статистики Украины функционируют системные и локальные КЭОИ. В системных комплексах решения регламентной задачи выполняется по типовой технологии с обменом данными между уровнями с помощью электронной почты. Локальные КЭОИ для высшего уровня реализуют решения задач, для которых первичные отчеты поступают непосредственно в ГМУС Государственного комитета статистики Украины, где и осуществляется их полное оброблення.
Технология решения регламентных статистических задач охватывает следующие процедуры:
процедура 1 - подготовка к работе с КЭОИ. При этом осуществляется загрузка программ и библиотечного массива со всеми элементами информационно-справочного фонда КЭОИ (каталогами, словарями, справочниками)
процедура 2 - подготовка исходной информации к обработке. Осуществляются визуальный контроль и подготовка форм первичных статистических отчетов, перенос первичной информации этих отчетов на магнитные носители или непосредственная запись в базу данных или файлов в интерактивном режиме. Процедура выполняется на районном уровне, а промышленных предприятиях - на областном уровне;
процедура 3 - ввод и запись входной информации в ПЭВМ. Данные первичных статистических отчетов, размещенные на машинных носителях, вводятся (считываются) в память ПЭВМ, осуществляются все виды контроля с выдачей протокола ошибок, на основе которого подготавливается и вводится информация, далее выполняется контроль на полноту поступления отчетов, объединение данных отчетов данным каталога в единый массив данных, копирование этого массива на магнитный носитель с целью организации архива;
процедура 4 - обработка, контроль, корректировка и печать выходных таблиц. При выполнении этих операций происходит формирование промежуточных итоговых числовых матриц и предыдущее печати сводных таблиц, осуществляется контроль таблиц, а при необходимости, в случае корректировки первичных данных, - повторный расчет, контроль и рабочее печати отдельных таблиц. Во многих КЭОИ предусмотрена возможность корректировки сформированных исходных числовых матриц без пересчета. Далее печатаются итоговые выходные таблицы с использованием всех необходимых текстовых наборов данных для их оформления;
процедура 5 - подготовка материалов для передачи на более высокий уровень. Осуществляется вывод на магнитный носитель первичных данных, которые передаются на более высокий уровень, и массивов в виде промежуточных итоговых числовых матриц или в виде сводных таблиц, полученных в процессе реализации предыдущих процедур, а также печать справочной информации, передаваемой и контрольных и справочных данных о передаваемую по электронной почте в областное управление статистики, а из областного управления статистики - в Государственный комитет статистики Украины;
процедура 6 - подготовка к объединению массивов сводных данных, полученных из низшего уровня. Для каждой из полученных совокупностей региональных данных по очереди представляются справочные сведения об информации, которая поступила. Осуществляется контроль балансовой и логической увязки таблиц, а при необходимости - их корректировки и повторную запись по каждому региону;
процедура 7 - объединение массивов сводных данных, полученных из низшего уровня. Происходит предварительное накопление таблиц объединяемых массивов без суммирования данных, формирование для ряда КЭОИ каталогов в разрезе министерств, ведомств, отраслей и т.п., расчет и печать сводных таблиц по этим разрезами обработки, контроль балансовой и логической увязки этих таблиц. При необходимости осуществляется их корректировка и повторное печатание, формирование и печать сводных таблиц по территории в целом, выдача справочных данных о структуре сводной информации на машинных носителях;
процедура 8 - обработки и получения сводных таблиц по министерствам и ведомствам, отчетность которых не централизованно в органах статистики. Процедура выполняется во многих КЭОИ на государственном уровне и предусматривает прием сводных выходных таблиц ряда министерств, отчетность которых не централизованно в органах статистики. Осуществляются: прием сводных итогов по этим министерствам, подготовка их к вводу в ЭВМ, записи с контролем и корректировкой и машинное распечатки сводных таблиц. Полученная в результате процедуры информация выводится на отдельные дискеты, которые используются наряду с магнитными дискетами, полученными из низшего уровня, во время выполнения процедуры 7;
процедура 9 - получения таблиц для местных руководящих органов. Выполняется на районном и областном уровнях. На этих уровнях выполняется формирование промежуточных числовых матриц с данными специальных таблиц для местных руководящих органов и печатаются таблици.
Во многих КЭОИ осуществляется дополнительное разработки первичных отчетов, подготовленных в виде массива исходных данных в процессе реализации процедуры 3, с целью получения исходных таблиц (например, по административным районам) и печать этих таблиц. Специальные выходные таблицы, а также исходные таблицы, полученные в результате дополнительной разработки, передаются местным руководящим органам. Приведенные выше типовые технологические процедуры реализуют процесс обработки статистической отчетности на районном, областном и государственном уровнях в виде таких операторских схем: районный уровень - процедуры 1, 2, 3, 4, 5, 9; областной уровень - процедуры 1, 2, 3, 4 , 5, 6, 7, 9, государственный уровень - процедуры 1, 2, 3, 4, 6, 7, 8.
Если перечень технологических процедур дополнить еще одной процедурой - передачей информации по коммутируемым и выделенным каналам связи с использованием средств телеобработки для составления срочной отчетности, то можно получить полный набор типовых процедур.
Последнее время распространяется такая технология обработки данных, по которой на государственный уровень первичные данные передаются или вместе со сводным, или без них - в этом случае возведения на государственном уровне формируются из первичных данных. Применение такой технологии связано с необходимостью образования банка данных единиц статистической отчетности - статистического реестра. Основное назначение статистического реестра - определение круга респондентов для различных выборочных обстежень.
Выполнение процедур обработки статистических данных происходит на основе традиционного набора программных модулей: введение, контроль и запись первичных отчетов; корректировки первичных отчетов формирование отчетов печати сводных звитив.
Описание сводных таблиц имеет четыре раздела, а именно:
раздел параметров заголовочнои части таблицы;
раздел текстов;
раздел получения производных граф;
раздел параметров содержательной части таблиць.
В разделе параметров содержательной части таблицы приводится характеристика размещения заголовков, подзаголовков, рамки с кодами и шапки (наименование и номера граф содержательной части) таблиць.
Раздел текстов служит для оформления выходных таблиц и содержит описание символьных текстов, которые включают заголовки, рамки кодов, шапки, боковики.
Раздел получения производных граф описывается в том случае, если их значение можно вычислить, используя входные графы. Для этого указываются номера входящих граф и тип групповой арифметической операции, выполняемой для получения производной графи.
В разделе параметров содержательной части таблицы приводятся описания боковика, строк таблицы и расчет производных строк. Описание расчета производных строк складывается аналогично описанию производных граф.
Технологический процесс, который реализуется в рамках комплекса электронного обработки информации регламентных статистических задач, делится на следующие этапы:
запуск комплекса электронного обработки информации;
подготовка исходной информации к обработке;
ввода, запись и контроль входной информации;
формирование сводных таблиц, контроль, корректировка и печать сводных таблиц;
подготовка материалов для передачи на более высокий уровень;
подготовка к объединению массивов сводных данных, полученных из низшего уровня;
обработки и получения сводных таблиц, отчетность которых не центравлизовано;
получения таблиц для местных руководящих органов.
В процессе подготовки к работе КЭОИ происходит инсталляция программного и информационного обеспечения на ПЭВМ пользователя или на рабочие станции и сервер, если КЭОИ предназначен для функционирования в архитектуре клиент-сервер. При необходимости осуществляется корректировка отдельных элементов информационного фонду.
Согласно этой структуры организуются АРМ для обработки информации на всех уровнях иерархии информационной системы статистики. В каждой из подсистем определены комплексы задач, процессы и процедуры обработки информации для формирования статистической звитности.
Так, в подсистеме статистики промышленности выделяют такие комплексы задач:
статистика продукции промышленности;
статистика себестоимости продукции;
статистика основных фондов;
статистика расчетов технико-экономических показателей;
статистика анализа эффективности работы промисловости.
В рамках каждого блока определены конкретные задачи, по которым отработаны технологии обработки информации от момента представления статистических отчетов в районные отделы и областные управления статистики в формирование сводных показателей на уровне Государственного комитета статистики Украины. Эти технологические процессы являются однородными и могут быть выполнены с помощью типовых пакетов програм.
Формирование аналитических таблиц осуществляется с помощью типовых пакетов программ, электронных таблиц или специально написанных программ. Формы таких аналитических таблиц задаются пользователем и не являются постоянными. В них задаются динамика изменений или корреляционные зависимости статистических показникив.
Технологические процессы решения задач по формированию ответов на отдельные вопросы специалистов к БД являются специфическими. Ответы могут формироваться специальными программами, если вопрос типичны, если же они индивидуальны, то ответы формируются с помощью манипулирования данными. Для решения таких задач по статистическим исследованиям каждый раз формируется база данных оперативной информации, которая обновляется на основе опроса или иных методов сбора статистической информации. Решение осуществляется с использованием архивных БД.
Обработка информации БД выполняется с помощью типовых пакетов, специальных программ, разработанных в ГМУС Государственного комитета статистики Украины, и специализированных статистических пакетов.