Реферат: Понятие об измерительных шкалах, их виды. Понятие о шкалировании
Московский государственный сенный социальный университет
Филиал в г. Минске
Контрольная работа
по предмету «Основы психологического экспериментирования»
ПОНЯТИЕ ОБ ИЗМЕРИТЕЛЬНЫХ ШКАЛАХ, ИХ ВИДЫ. ПОНЯТИЕ О ШКАЛИРОВАНИИ
Минск 2005
СОДЕРЖАНИЕ
Введение
1. Понятие об измерительных шкалах
2. Виды шкал
2.1 Шкала наименований
2.2 Шкала порядка
2.3 Шкала отношений
2.4 Шкала интервалов
2.5 Другие шкалы
3.Шкалирование
Заключение
Список литературы
ВВЕДЕНИЕ
В своей работе психолог достаточно часто сталкивается с проблемой измерения индивидуально-психологических особенностей таких, например, как креативность, нейротизм, импульсивность, свойства нервной системы и т.п. Для этого в психодиагностике разрабатываются специальные измерительные процедуры, в том числе и тесты. Помимо того в психологии широко используются экспериментальные методы и модели исследования психических феноменов в познавательной и личностной сферах. Это могут быть модели процессов познания (восприятия, памяти, мышления) или особенности мотивации, ценностных ориентации, личности и т.п. Главное заключается в том, что в ходе эксперимента изучаемые характеристики могут получать количественное выражение. Количественные данные, полученные в результате тщательно спланированного эксперимента по определенным измерительным процедурам, используются затем для статистической обработки.
Измерение может быть определено как приписывание чисел объектам или событиям, которое осуществляется по определенным правилам. Эти правила должны устанавливать соответствие между некоторыми свойствами рассматриваемых объектов, с одной стороны, и ряда чисел — с другой. В целом можно сказать, что измерение — это процедура, с помощью которой измеряемый объект сравнивается с некоторым эталоном и получает численное выражение в определенном масштабе или шкале.
В каждом конкретном случае измерение является операцией, с помощью которой экспериментальным данным придается форма связного числового сообщения. Именно закодированная в числовой форме информация позволяет использовать математические методы и выявлять то, что без обращения к числовой интерпретации могло бы остаться скрытым; кроме того, числовое представление объектов или событий позволяет оперировать сложными понятиями в более сокращенной форме. Именно это и является причиной использования измерений в любой науке, в том числе и психологии. (4).
1. ПОНЯТИЕ ОБ ИЗМЕРИТЕЛЬНЫХ ШКАЛАХ
Любой вид измерения предполагает наличие единиц измерения. Единица измерения это та «измерительная палочка», как говорил С. Стивенс, которая является условным эталоном для осуществления тех или иных измерительных процедур. В естественных науках и технике существуют стандартные единицы измерения, например, градус, метр, ампер и т.д.
Психологические переменные за единичными исключениями не имеют собственных измерительных единиц. Поэтому в большинстве случаев значение психологического признака определяется при помощи специальных измерительных шкал. (4).
Измерительная шкала — основное понятие, введенное в психологию в 1950г. С.С. Стивенсом; его трактовка шкалы и сегодня используется в научной литературе.
Итак, приписывание чисел объектам создает шкалу. Создание шкалы возможно, поскольку существует изоморфизм формальных систем и систем действий, производимых над реальными объектами.
Числовая система является множеством элементов с реализованными на нем отношениями и служит моделью для множества измеряемых объектов.
Различают несколько типов таких систем и соответственно несколько типов шкал. Операции, а именно — способы измерения объектов, задают тип шкалы. Шкала в свою очередь характеризуется видом преобразований, которые могут быть отнесены к результатам измерения. Если не соблюдать это правило, то структура шкалы нарушится, а данные измерения нельзя будет осмысленно интерпретировать.
Тип шкалы однозначно определяет совокупность статистических методов, которые могут быть применены для обработки данных измерения. (2, 3).
Шкала (лат. scala — лестница) – инструмент для измерения непрерывных свойств объекта; представляет собой числовую систему, где отношения между различными свойствами объектов выражены свойствами числового ряда. (6).
П.Суппес и Дж. Зинес дали классическое определение шкалы: «Пусть А—эмпирическая система с отношениями (ЭСО), R— полная числовая система с отношениями (ЧСО), f— функция, которая гомоморфно отображает А в подсистему R (если в области нет двух разных объектов с одинаковой мерой, что является отображением изоморфизма). Назовем шкалой упорядоченную тройку <А; R; f>».
Обычно в качестве числовой системы R выбирается система действительных чисел или ее подсистема. Множество А — это совокупность измеряемых объектов с системой отношений, определенной на этом множестве. Отображение f— правило приписывания каждому объекту определенного числа.
В настоящее время определение Суппеса и Зинеса уточнено. Во-первых, в определение шкалы вводится G — группа допустимых преобразований. Во-вторых, множество А понимается не только как числовая система, но и как любая формальная знаковая система, которая может быть поставлена в отношение гомоморфизма с эмпирической системой. Таким образом, шкала — это четверка <А; R; f; G>. Согласно современным представлениям, внутренней характеристикой шкалы выступает именно группа G, а f является лишь привязкой шкалы к конкретной ситуации измерения.
В настоящее время под измерением понимается конструирование любой функции, которая изоморфно отображает эмпирическую структуру в символическую структуру. Как уже отмечено выше, совсем не обязательно такой структурой должна быть числовая. Это может быть любая структура, с помощью которой можно измерить характеристики объектов, заменив их другими, более удобными в обращении (в том числе — числами). (2 ,3).
2. ВИДЫ ШКАЛ
В психологии различные шкалы используются для изучения разных характеристик социально-психологических явлений. Первоначально выделялись четыре типа числовых систем, определявших соответственно четыре уровня, или шкалы измерения: 1) шкала наименований - номинальная; 2) шкала порядка — ординальная; шкала интервалов - интервальная; 4) шкала отношений — пропорциональная. (6).
Первые две шкалы получили название неметрических, вторые две — метрических. В соответствии с этим в психологии говорят и о двух подходах к психологическим измерениям: метрическом (более строгом) и неметрическом (менее строгом). (1).
Ряд специалистов выделяют также абсолютную шкалу и шкалу разностей.
Рассмотрим особенности каждого типа шкал.
2.1 Шкала наименований
Шкала наименований получается путем присвоения "имен" объектам. При этом нужно разделить множество объектов на непересекающиеся подмножества.
Иными словами, объекты сравниваются друг с другом и определяется их эквивалентность — неэквивалентность. В результате процедуры образуется совокупность классов эквивалентности. Объекты, принадлежащие одному классу, эквивалентны друг другу и отличны от объектов, относящихся к другим классам. Эквивалентным объектам присваиваются одинаковые имена.
Операция сравнения является первичной для построения любой шкалы. Для построения такой шкалы нужно, чтобы объект был равен или подобен сам себе (х=х для всех значений х), т.е. на множестве объектов должно быть реализовано отношение рефлексивности. Для психологических объектов, например испытуемых или психических образов, это отношение реализуемо, если абстрагироваться от времени. Но поскольку операции попарного (в частности) сравнения множества всех объектов эмпирически реализуются неодновременно, то в ходе эмпирического измерения даже это простейшее условие не выполняется.
Следует запомнить: любая шкала есть идеализация, модель реальности, даже такая простейшая, как шкала наименований.
На объектах должно быть реализовано отношение симметрии (R (X=Y) -> R (Y=X)) и транзитивности R (X=Y, Y=Z) -> R (X=Z). Но на множестве результатов психологических экспериментов эти условия могут нарушаться.
Кроме того, многократное повторение эксперимента (накопление статистики) приводит к "перемешиванию" состава классов: в лучшем случае мы можем получить оценку, указывающую на вероятность принадлежности объекта к классу.
Таким образом, нет оснований говорить о шкале наименований (номинативной шкале или шкале строгой классификации) как простейшей шкале, начальном уровне измерения в психологии.
Существуют более "примитивные" (с эмпирической, но не с математической точки зрения) виды шкал: шкалы, основанные на отношениях толерантности; шкалы "размытой" классификации и т.п.
О шкале наименований можно говорить в том случае, когда эмпирические объекты просто "метятся" числом.
Итак, если объекты в каком-то отношении эквивалентны, то мы имеем право отнести их к одному классу. Главное, как говорил Стивенс, не приписывать один и тот же символ разным классам или разные символы одному и тому же классу.
Несмотря на тенденцию "завышать" мощность шкалы, психологи очень часто применяют шкалу наименований в исследованиях. "Объективные" измерительные процедуры при диагностике личности приводят к типологизации: отнесению конкретной личности к тому или иному типу. Примером такой типологии являются классические темпераменты: холерик, сангвиник, меланхолик и флегматик. (2, 3).
Самая простая номинативная шкала называется дихотомической. При измерениях по дихотомической шкале измеряемые признаки можно кодировать двумя символами или цифрами, например 0 и 1, или 2 и 6, или буквами А и Б, а также любыми двумя отличающимися друг от друга символами. Признак, измеренный по дихотомической шкале, называется альтернативным. В дихотомической шкале все объекты, признаки или изучаемые свойства разбиваются на два непересекающихся класса, при этом исследователь ставит вопрос о том, «проявился» ли интересующий его признак у испытуемого или нет. (4).
Исследователь, пользующийся шкалой наименований, может применять следующие инвариантные статистики: относительные частоты, моду, корреляции случайных событий, критерий. (2, 3).
2.2 Шкала порядка
Если можно установить порядок следования психологических объектов в соответствии с выраженностью какого-то свойства, то используется порядковая шкала.
Порядковая шкала образуется, если на множестве реализовано одно бинарное отношение — порядок (отношения "больше" и "меньше"). Построение шкалы порядка — процедура более сложная, чем создание шкалы наименований. Она позволяет зафиксировать ранг, или место, каждого значения переменной по отношению к другим значениям. Этот ранг может быть результатом установления порядка между какими-то стимулами или их атрибутами самим испытуемым (первичный показатель методик ранжирования, или рейтинговых процедур), но может и устанавливаться экспериментатором в качестве вторичного показателя (например, при ранжировке частот положительных ответов испытуемых на вопросы, относящиеся к разным темам). (5).
Классы эквивалентности, выделенные при помощи шкалы наименований, могут быть упорядочены по некоторому основанию. Различают шкалу строгого порядка (строгая упорядоченность) и шкалу слабого порядка (слабая упорядоченность). В первом случае на элементах множества реализуются отношения "больше" и "меньше", а во втором — "не больше или равно" и "меньше или равно".
Значения величин можно заменять квадратами, логарифмами, нормализовать и т.д. При таких преобразованиях значений величин, определенных по шкале порядка, место объектов на шкале не изменяется, т.е. не происходит инверсий.
Еще Стивенс высказывал точку зрения, что результаты большинства психологических измерений в лучшем случае соответствуют лишь шкалам порядка.
Шкалы порядка широко используются в психологии познавательных процессов, экспериментальной психосемантике, социальной психологии: ранжирование, оценивание, в том числе педагогическое, дают порядковые шкалы. Классическим примером использования порядковых шкал является тестирование личностных черт, а также способностей. Большинство же специалистов в области тестирования интеллекта полагают, что процедура измерения этого свойства позволяет использовать интервальную шкалу и даже шкалу отношений.
Как бы то ни было, эта шкала позволяет ввести линейную упорядоченность объектов на некоторой оси признака. Тем самым вводится важнейшее понятие — измеряемое свойство, или линейное свойство, тогда как шкала наименований использует "вырожденный" вариант интерпретации понятия "свойство": "точечное" свойство (свойство есть — свойства нет). (2,3).
В порядковой (ранговой) шкале должно быть не меньше трех классов (групп): например, ответы на опросник: «да», «не знаю», «нет»; или — низкий, средний, высокий; и т.п., с тем расчетом, чтобы можно было расставить измеренные признаки по порядку. Именно поэтому эта шкала и называется порядковой, или ранговой, шкалой.
От классов просто перейти к числам, если считать, что низший класс получает ранг (код или цифру) 1, средний — 2, высший — 3 (или наоборот). Чем больше число классов разбиений всей экспериментальной совокупности, тем шире возможности статистической обработки полученных данных и проверки статистических гипотез.
При кодировании порядковых переменных им можно приписывать любые цифры (коды), но в этих кодах (цифрах) обязательно должен сохраняться порядок, или, иначе говоря, каждая последующая цифра должна быть больше (или меньше) предыдущей. (4).
Для интерпретации данных, полученных посредством порядковой шкалы, можно использовать более широкий спектр статистических мер (в дополнение к тем, которые допустимы для шкалы наименований).
В качестве характеристики центральной тенденции можно использовать медиану, а в качестве характеристики разброса — процентили. Для установления связи двух измерений допустима порядковая корреляция (т-Кэнделла и р-Спирмена).
Числовые значения порядковой шкалы нельзя складывать, вычитать, делить и умножать. (2, 3).
2.3 Шкала интервалов
Шкала интервалов является первой метрической шкалой. Собственно, начиная с нее, имеет смысл говорить об измерениях в узком смысле этого слова — о введении меры на множестве объектов. Шкала интервалов определяет величину различий между объектами в проявлении свойства. С помощью шкалы интервалов можно сравнивать два объекта. При этом выясняют, на сколько более или менее выражено определенное свойство у одного объекта, чем у другого.
Шкала интервалов очень часто используется исследователями. Классическим примером применения этой шкалы в физике является измерение температуры по Цельсию. Шкала интервалов имеет масштабную единицу, но положение нуля на ней произвольно, поэтому нет смысла говорить, во сколько раз больше или меньше утренняя температура воздуха, измеренная шкалой Цельсия, чем дневная.
Интервальная шкала позволяет применять практически всю параметрическую статистику для анализа данных, полученных с ее помощью. Помимо медианы и моды для характеристики центральной тенденции используется среднее арифметическое, а для оценки разброса—дисперсия. Можно вычислять коэффициенты асимметрии и эксцесса и другие параметры распределения. Для оценки величины статистической связи между переменными применяется коэффициент линейной корреляции Пирсона и т.д.
Большинство специалистов по теории психологических измерений полагают, что тесты измеряют психические свойства с помощью шкалы интервалов. Прежде всего, это касается тестов интеллекта и достижений. Численные значения одного теста можно переводить в численные значения другого теста с помощью линейного преобразования: х' = ах + b.
Ряд авторов полагают, что относить тесты интеллекта к шкалам интервалов нет оснований. Во-первых, каждый тест имеет "нуль" — любой индивид может получить минимальный балл, если не решит ни одной задачи в отведенное время. Во-вторых, тест имеет максимум шкалы — балл, который испытуемый может получить, решив все задачи за минимальное время. В-третьих, разница между отдельными значениями шкалы неодинакова. По крайней мере, нет никаких теоретических и эмпирических оснований утверждать, что 100 и 120 баллов по шкале IQ отличаются на столько же, на сколько 80 и 100 баллов.
Скорее всего, шкала любого теста интеллекта является комбинированной шкалой, с естественным минимумом и\или максимумом, но порядковой. Однако эти соображения не мешают тестологам рассматривать шкалу IQ как интервальную, преобразуя "сырые" значения в шкальные с помощью известной процедуры "нормализации" шкалы.(2, 3)
2.4 Шкала отношений
Шкалу отношений называют также шкалой равных отношений. Особенностью этой шкалы является наличие твердо фиксированного нуля, который означает полное отсутствие какого-либо свойства или признака. Шакала отношений является наиболее информативной шкалой, допускающей любые математические операции и использование разнообразных статистических методов.
Шкала отношений по сути очень близка интервальной, поскольку если строго фиксировать начало отсчета, то любая интервальная шкала превращается в шкалу отношений.
Шкала отношений показывает данные о выраженности свойств объектов, когда можно сказать, во сколько раз один объект больше или меньше другого.
Это возможно лишь тогда, когда помимо определения равенства, рангового порядка, равенства интервалов известно равенство отношений. Шкала отношений отличается от шкалы интервалов тем, что на ней определено положение "естественного" нуля. Классический пример — шкала температур Кельвина. (2, 3)
Именно в шкале отношений производятся точные и сверхточные измерения в таких науках, как физика, химия, микробиология и др. Измерение по шкале отношений производятся и в близких к психологии науках, таких, как психофизика, психофизиология, психогенетика. (4).
Измерения массы, времени реакции и выполнения тестового задания — области применения шкалы отношений.
Отличием этой шкалы от абсолютной является отсутствие "естественной" масштабной единицы.
2.5 Другие шкалы
1. Дихотомическая классификация часто рассматривается как вариант шкалы наименований. Это верно, за исключением одного случая, когда мы измеряем свойство, имеющее всего лишь два уровня выраженности: "есть — нет", так называемое "точечное" свойство. Примеров таких свойств много: наличие или отсутствие у испытуемого какой-либо наследственной болезни (дальтонизм, болезнь Дауна, гемофилия и др.), абсолютного слуха и др. В этом случае исследователь имеет право проводить "оцифровку" данных, присваивая каждому из типов цифру "1" или "О", и работать с ними, как со значениями шкалы интервалов.
2. Шкала разностей, в отличие от шкалы отношений, не имеет естественного нуля, но имеет естественную масштабную единицу измерения. Ей соответствует аддитивная группа действительных чисел. Классическим примером этой шкалы является историческая хронология. Она сходна со шкалой интервалов. Разница лишь в том, что значения этой шкалы нельзя умножать (делить) на константу. Поэтому считается, что шкала разностей — единственная с точностью до сдвига. В психологии шкала разностей используется в методиках парных сравнений.
3. Абсолютная шкала является развитием шкалы отношений и отличается от нее тем, что обладает естественной единицей измерения. В этом ее сходство со шкалой разностей. Число решенных задач ("сырой" балл), если задачи эквивалентны, — одно из проявлений абсолютной шкалы.
В психологии абсолютные шкалы не используются. Данные, полученные с помощью абсолютной шкалы, не преобразуются, шкала тождественна сама себе. Любые статистические меры допустимы.
4. В литературе, посвященной проблемам психологических измерений, упоминаются и другие типы шкал: ординальная (порядковая) с естественным началом, логинтервальная, упорядоченная метрическая и др.
Все написанное выше относится к одномерным шкалам. Шкалы могут быть и многомерными: шкалируемый признак в этом случае имеет ненулевые проекции на два (или более) соответствующих параметра. Векторные свойства, в отличие от скалярных, являются многомерными. (2, 3).
3. ШКАЛИРОВАНИЕ
Шкалирование – метод моделирования реальных процессов с помощью числовых систем. В науках социальных — антропологии, социологии, психологии и пр. — шкалирование является одним из важнейших средств анализа математического изучаемого явления, а также способом организации эмпирических данных, получаемых посредством наблюдения, изучения документов, опроса анкетного, экспериментов или тестирования. К основным процедурам шкалирования относятся: 1) парное сравнение объектов; 2) отнесение объектов к категориям, и пр.
Большинство социальных и психологических объектов невозможно строго фиксировать относительно места и времени их существования, отчего они не поддаются прямому измерению. Поэтому возникает вопрос о специфике числовой системы, могущей соотнестись с эмпирическими данными такого рода. Различные методы шкалирования как раз служат особыми приемами трансформации качественных характеристик в некую числовую переменную.
Общий процесс шкалирования состоит в конструировании по определённым правилам самой шкалы и включает два этапа: 1) на этапе сбора данных, от методов коего зависит вид социально-психологической информации, создаётся эмпирическая система исследуемых объектов и фиксируются типы отношений между ними; 2) на этапе анализа данных от методов коего зависит объем информации, строится числовая система, моделирующая отношения эмпирической системы объектов; иногда этот этап обозначается как выбор и реализация метода шкалирования.
Есть два типа задач. решаемых с помощью методов шкалирования:
1) числовое отображение совокупности объектов с помощью их усреднённой групповой оценки; в этом случае отображение осуществляется с помощью шкалы оценок; 2) числовое отображение внутренних характеристик индивидов посредством фиксации их отношения к некоему социально-психологическому явлению; в этом случае отображение осуществляется с помощью шкалы установок. (6).
ЗАКЛЮЧЕНИЕ
Шкалы различаются не только математическими свойствами, но и разными способами сбора информации. В каждой шкале применяются определенные методы анализа данных. В зависимости от типа задач, решаемых с помощью шкалирования, строятся либо шкалы оценок, либо шкалы для измерения социальных установок. В практике социологических и психологических исследований каждая шкала — независимо от уровня измерения — имеет специальное название, связанное с наименованием изучаемого свойства объекта.
Шкала оценок - методический прием, позволяющий распределить совокупность изучаемых объектов по степени выраженности общего для них свойства. Такое распределение основывается на оценках субъективных данного свойства, усредненных по группе экспертов.
В психологии и социологии шкалы оценок стали применяться одними из первых. Простейший пример такой шкалы — обычная школьная система баллов.
Шкала установок - прием, позволяющий сравнивать индивидов по величине, интенсивности и устойчивости их отношения к изучаемому явлению.
В прикладной социологии и социальной психологии шкала установок применяется как одно из главных средств анализа, ибо здесь объект измерения, прежде всего, — качества личностные. Построение шкалы установок связано с подбором таких суждений, что выражают весь спектр возможных отношений субъекта к определенному социально-психологическому явлению. По шкале оценок каждое суждение оценивается группой экспертов и получает свой усредненный балл. (6).
ЛИТЕРАТУРА
1. Гусев А.Н., Измайлов Ч.А., Михалевская М.Б. Измерение в психологии М., 1998. С. 10 - 16
2. Дружинин В.Н. Экспериментальная психология: Учебное пособие — М.: ИНФРА-М, 1997.
3. Дружинин В.Н. Экспериментальная психология— СПб: Питер, 2000. – 320с.
4. Ермолаев О.Ю. Математическая статистика для психологов. М.: Московский психолого-социальный институт: Флинта, 2003. – 366 с.
5. Корнилова Т.В. Введение в психологический эксперимент. Учебник для ВУЗов. М.: Изд-во ЧеРо, 2001.
6. Словарь практического психолога / Сост. С.Ю. Головин. – Мн: Харвест, М.: ООО «Издательство АСТ», 2003.
Основы психодиагностики | |
ТЕМА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ВОЗРАСТНОЙ ПСИХОДИАГНОСТИКИ. НОРМАТИВНАЯ БАЗА ДЕЯТЕЛЬНОСТИ ПСИХОЛОГА-ДИАГНОСТА 1. Понятие про возрастную психодиагностику ... Как в экспериментальной психологии, так и в статистике валидное измерение - такое измерение, которое измеряет то, что оно должно измерять. Эти сгруппированные вопросы, получившие название шкал, различаются между собой по наименованию изучаемого свойства личности (шкалы тревожности, лидерства, агрессивности и др.) |
Раздел: Рефераты по психологии Тип: учебное пособие |
Шкалы. Критерии надежности шкал. Классификация шкал | |
ШКАЛЫ. КРИТЕРИИ НАДЕЖНОСТИ ШКАЛ. КЛАССИФИКАЦИЯ ШКАЛ 2011 ОГЛАВЛЕНИЕ Введение 1. Критерии надежности шкал и правила их построения 2. Классификация шкал ... Если в шкале наименований было безразлично, в каком порядке мы расположим классификационные ячейки, то в порядковой шкале они образуют последовательность от ячейки "самое малое ... При построении измерительной шкалы, прежде всего, решается проблема измерения с помощью набора свойств изучаемых социальных объектов, явлений и процессов, которые непосредственно ... |
Раздел: Рефераты по социологии Тип: реферат |
... как отрасли социологии. Метод социометрических измерений. Сущность и ... | |
Министерство общего и профессионального образования Российской Федерации Самарская Государственная Экономическая Академия Кафедра социально ... Предположим, например, что мы измерили отношение студентов к учебе и в результате получили, что четырем респондентам у4, Бу В и /"оказались приписанными соответственно числа 1, 2 ... Основой модельных представлений, заложенных в известных методах шкалирования, является сопоставление с каждой измеряемой переменной (в том числе латентной) некоторой протяженности ... |
Раздел: Рефераты по социологии Тип: реферат |
Сборник экзаменационных билетов по медицинским предметам и психологии | |
Экзаменационный билет по предмету АНАТОМИЯ ЦНС Билет № 1 Особенности формирования таламуса и глазного яблока. Фиброзные астроциты и их расположение ... Краткая характеристика порядковой шкалы измерений. Характеристика порядковой измерительной шкалы. |
Раздел: Рефераты по медицине Тип: реферат |
Основы стандартизации, метрологии и сертификации | |
ПРЕДИСЛОВИЕ Стандартизация, метрология и сертификация являются инструментами обеспечения качества продукции, работ и услуг - важного аспекта ... где Q - значение физической величины; Х - числовое значение измеряемой величины в принятой единице; [Q] - выбранная для измерения единица. Измерительная установка - совокупность функционально объединенных мер, измерительных приборов, измерительных преобразователей и других устройств, предназначенных для измерений ... |
Раздел: Рефераты по менеджменту Тип: учебное пособие |