• Проблема множинних перевірок статистичних гіпотез
  • Методи статистичних випробувань (Монте-Карло) і датчики псевдовипадкових чисел
  • Методи розмноження вибірок (бутстреп-методи)
  • Економетрика в контролінгу


  • Дата конвертації24.03.2017
    Розмір74.37 Kb.
    Типреферат

    Скачати 74.37 Kb.

    Інформаційні технології в економетрики

    реферат

    за економетрики

    Економетричні інформаційні технології


    ЗМІСТ

    Проблема множинних перевірок статистичних гіпотез. 3

    Методи статистичних випробувань (Монте-Карло) і датчики псевдовипадкових чисел. 25

    Методи розмноження вибірок (бутстреп-методи) 30

    Економетрика в контролінгу. 35

    Література .. 41

    Проблема множинних перевірок статистичних гіпотез

    Практика застосування економетричних методів часто виходить за межі класичної математико-статистичної теорії. Як приклад розглянемо перевірку статистичних гіпотез.

    Базова теоретична модель стосується перевірки однієї-єдиної статистичної гіпотези. На практиці ж при виконанні того чи іншого прикладного дослідження гіпотези часто перевіряють неодноразово. При цьому, як правило, залишається неясним, як впливають результати попередніх перевірок на характеристики (рівень значущості, потужність) наступних перевірок. Чи є взагалі вплив? Як його оцінити? Як його врахувати при формулюванні остаточних висновків?

    Вивчено лише деякі схеми множинних перевірок, наприклад, схема послідовного аналізу А. Вальда або схема оцінювання ступеня полінома в регресії шляхом послідовної перевірки адекватності моделі (див. Розділ 5 вище). У таких виняткових постановках вдається розрахувати характеристики статистичних процедур, що включають множинні перевірки статистичних гіпотез.

    Однак в більшості важливих для практики випадків статистичні властивості процедур аналізу даних, заснованих на множинних перевірках, залишаються поки невідомими. Прикладами є процедури знаходження інформативних підмножин ознак (коефіцієнти для таких і тільки таких ознак відмінні від 0) в регресійному аналізі або виявлення відхилень параметрів в автоматизованих системах управління.

    У таких системах відбувається стеження за великим числом параметрів. Різка зміна значення параметра свідчить про зміну режиму роботи системи, що, як правило, вимагає керуючого впливу. Існує теорія для визначення меж допустимих коливань одного чи фіксованого числа параметрів. Наприклад, можна використовувати контрольні карти Шухарта або кумулятивних сум, а також їх багатовимірні аналоги (див. Розділ 13). У переважній більшості постановок, згідно зазвичай використовуються імовірнісним моделям, для кожного параметра, що знаходиться в стабільному ( "налагодженому") стані, існує хоча і мала, але позитивна ймовірність того, що його значення вийде за задані межі. Тоді система зафіксує різка зміна значення параметра ( "помилкова розладнання"). При досить великій кількості параметрів з імовірністю, близькою до 1, буде виявлено декілька "випадкових збоїв", серед яких можуть "загубитися" і реальні відмови підсистем. Можна довести, що при великій кількості параметрів є два крайніх випадку - незалежних (в сукупності) параметрів і функціонально пов'язаних параметрів, а для всіх інших систем ймовірність виявлення різкого відхилення хоча б у одного параметра лежить між відповідними можливостями для цих двох крайніх випадків.

    Чому важко вивчати статистичні процедури, що використовують множинні перевірки гіпотез? Причина полягає в тому, що результати послідовно проводяться перевірок, як правило, не є незалежними (в сенсі незалежності випадкових величин). Більш того, послідовність перевірок часто задається дослідником довільно.

    Проблема множинних перевірок статистичних гіпотез - частина більш загальної проблеми "стикування" (сполучення) статистичних процедур. Справа в тому, що кожна процедура може застосовуватися лише за деяких умов, а в результаті застосування попередніх процедур ці умови можуть порушуватися. Наприклад, часто рекомендують перед відновленням залежності (регресійний аналізом) розбити дані на однорідні групи за допомогою будь-якого алгоритму класифікації, а потім будувати залежності для кожної з виділених груп окремо. Тут йде мова про "стикування" алгоритмів класифікації і регресії. Як випливає з розглядів глави 5 вище, зазначені в одній однорідну групу результати спостережень залежні і їх розподіл не є нормальним (гаусовим), оскільки вони лежать в обмеженій за деякими напрямками області, а кордони залежать від всієї сукупності результатів спостережень. При цьому при зростанні обсягу вибірки залежність зменшується, але ненормальність залишається Розподіл результатів спостережень, що потрапили в одну групу, наближається ні до нормального, а до усеченному нормальному. Отже, алгоритмами регресійного аналізу, заснованими на "нормальної теорії", користуватися некоректно. Згідно з рекомендаціями глави 10 доцільно застосовувати робастної регресію.

    Проблема "стикування" статистичних процедур обговорюється давно. З проблеми "стикування" був проведений ряд досліджень, результати деякі з яких згадані вище, але скільки-небудь остаточних результатів отримано не було. На нашу думку, на швидке вирішення проблеми "стикування" розраховувати не можна. Можливо, вона є настільки ж "вічної", як і проблема вибору між середнім арифметичним і медіаною як характеристиками "центру" вибірки.

    Як приклад обговоримо одне цікаве дослідження з проблеми повторних перевірок статистичних гіпотез - роботу С.Г. Корнілова [1].

    Як уже зазначалося, теоретичне дослідження є досить складним, скільки-небудь цікаві результати вдається отримати лише для окремих постановок. Тому цілком природно, що С.Г. Корнілов застосував метод статистичного моделювання на ЕОМ. Однак не можна забувати про проблему якості псевдовипадкових чисел. Переваги та недоліки різних алгоритмів отримання псевдовипадкових чисел багато років обговорюються в різних виданнях (див. Нижче).

    У роботі С.Г. Корнілова добре моделюється мислення статистика-прикладника. Видно, наскільки заважає застаріле уявлення про те, що для перевірки гіпотез необхідно ставити певний рівень значущості. Особливо воно заважає, якщо в подальшому знадобляться подальші перевірки. Набагато зручніше використовувати "досягається рівень значимості", тобто ймовірність того, що статистика критерію покаже більше відхилення від нульової гіпотези, ніж те, що відповідає наявним експериментальним даним (див. термінологічне додаток 1 в кінці книги). Якщо є бажання, можна порівнювати "досягається рівень значимості" з заданими значеннями 0,05 або 0,01. Так, якщо "досягається рівень значимості" менше 0,01, то нульова гіпотеза відкидається на рівні значущості 0,01, в іншому випадку - приймається. Слід розраховувати "досягається рівень значимості" завжди, коли для цього є обчислювальні можливості.

    Перехід до "досягається рівнем значущості" може позбавити прикладника від ще однієї проблеми, пов'язаної з використанням непараметричних критеріїв. Справа в тому, що їх розподілу, як правило, дискретні, оскільки ці критерії використовують тільки ранги спостережень. Тому неможливо побудувати критерій із заданим номінальним рівнем значущості, реальний рівень значимості може приймати лише кінцеве число значень, серед яких, як правило, немає ні 0,05, ні 0,01, ні інших популярних номінальних значень.

    Неможливість побудови критичних областей критеріїв із заданими рівнями значущості ускладнює порівняння критеріїв по потужності, як це продемонстровано в роботі [2]. Є формальний спосіб досягти заданого номінального рівня значущості - провести рандомізацію, тобто при певному (граничному) значенні статистики критерію провести незалежний випадковий експеримент, в якому одні наслідки (із заданою сумарною ймовірністю) призводять до прийняття гіпотези, а решта - до її відхилення. Однак подібну процедуру рандомізації прикладнику важко прийняти - як виправдати те, що одні й ті ж експериментальні дані можуть бути підставою як для прийняття гіпотези, так і для її відхилення? Пригадується обкладинка журналу "Крокодил", на якій один господарник каже іншому: "Кинемо монетку. Впаде гербом - будемо будувати завод, а впаде решкою ​​- немає". Описана процедура рандомізації має практичний сенс лише при масової рутинній перевірці гіпотез, наприклад, при статистичному контролі великих вибірок виробів або деталей (див. Розділ 13, присвячену економетрики якості).

    У все ще поширених критерію Стьюдента та інших параметричних статистичних критеріїв - свої проблеми. Вони виходять із припущення про те, що функції розподілу результатів спостережень входять в певні параметричні сімейства невеликої розмірності. Найбільш поширена гіпотеза нормальності розподілу. Однак давно відомо, що переважна більшість реальних розподілів результатів вимірів не є нормальними. Про це йдеться, наприклад, в класичній для інженерів і організаторів виробництва монографії проф.В. В. Налимова [3]. Ряд недавно отриманих конкретних експериментальних фактів і теоретичних міркувань розглянуто в розділі 4.

    Як же бути? Перевіряти нормальність розподілу своїх даних? Але це справа непроста, можна допустити ті чи інші помилки, зокрема, застосовуючи критерії типу Колмогорова або омега-квадрат (одна з найбільш поширених помилок полягає в тому, що в статистики замість невідомих параметрів підставляють їх оцінки, але при цьому користуються критичними значеннями, розрахованими для випадку, коли параметри повністю відомі [4]). Крім того, для скільки-небудь надійної перевірки нормальності потрібні тисячі спостережень (див. Главу 4). Тому в переважній більшості реальних завдань немає підстав приймати гіпотезу нормальності. У кращому випадку можна говорити про те, що розподіл результатів спостережень мало відрізняється від нормального.

    Як впливають відхилення від нормальності на властивості статистичних процедур? Для різних процедур - різний відповідь. Якщо мова йде про відбракування викидів - вплив відхилень від нормальності настільки велике, що робить процедуру відбракування з практичної точки зору евристичної, а не науково обґрунтованої (див. Главу 4). Якщо ж мова йде про перевірку однорідності двох вибірок за допомогою критерію Стьюдента (при апріорно припущенні про рівність дисперсій) або Крамера-Уелча (при відсутності такого припущення), то при зростанні обсягів вибірок вплив відхилень від нормальності убуває, як це докладно показано в розділі 4 ). Це випливає з Центральної Граничною Теореми. Правда, при цьому виявляється, що процентні точки розподілу Стьюдента не приносять реальної користі, досить використовувати процентні точки граничного нормального розподілу.

    Дуже важлива обговорювана, зокрема, в роботі [1] постійно встає перед економетриком проблема вибору того чи іншого статистичного критерію для вирішення конкретної прикладної задачі. Наприклад, як перевіряти однорідність двох незалежних вибірок числових результатів спостережень? Відомі параметричні критерії: Стьюдента, Лорда; непараметричні: Крамера-Уелча, Вілкоксона, Ван-дер-Вардена, Севіджа, Мартинова, Смирнова, типу омега-квадрат (Лемана-Розенблатта) і багато інших (див., наприклад, главу 4 і довідник [5]). Який з них вибрати для конкретних розрахунків?

    Деякі автори пропонують формувати технологію прийняття статистичного рішення, згідно з якою вирішальне правило формується на основі комбінації декількох критеріїв. Наприклад, технологія може передбачати проведення "голосування": якщо з 5 критеріїв більшість "висловлюється" за відхилення гіпотези, то підсумкове рішення - відкинути її, в іншому випадку - прийняти. Ці автори не завжди розуміють, що в їх підході немає нічого принципово нового, просто до вже наявних критеріям вони додають їх комбінації - чергові варіанти, тим чи іншим чином виділяють критичні області в просторах можливих значень результатів вимірювань, тобто збільшують число розглянутих критеріїв.

    Отже, є деяка сукупність критеріїв.У кожного - свій набір значень рівнів значущості і потужностей на можливі альтернативи. Математична статистика демонструє в цій ситуації віртуозну математичну техніку для аналізу окремих випадків і повну безпорадність при видачі практичних рекомендацій. Так, виявляється, що практично кожен з відомих критеріїв є оптимальним в тому чи іншому сенсі для якогось набору нульових гіпотез і альтернатив. Математики вивчають асимптотичну ефективність в різних сенсах - по Пітмену, по Бахадуру і т.д., але - для вузького класу альтернативних гіпотез, зазвичай для альтернативи зсуву. При спробі перенесення асимптотических результатів на кінцеві обсяги вибірок виникають нові невирішені проблеми, пов'язані, зокрема, з чисельним оцінюванням швидкості збіжності (див. Розділ 10). В цілому ця область математичної статистики може активно розвиватися ще багато десятиліть, видаючи "на гора" чудові теореми (які можуть послужити підставою для захистів кандидатських і докторських дисертацій, виборів в академіки РАН і т.д.), але не даючи нічого практиці. Добре б, щоб цей песимістичний прогноз не цілком виправдався!

    З точки зору економетрики та прикладної статистики необхідно вивчати проблему вибору критерію перевірки однорідності двох незалежних вибірок. Таке вивчення було проведено, в тому числі методом статистичних випробувань, і в результаті був отриманий висновок про те, що найбільш доцільно застосовувати критерій Лемана-Розенблатта типу омега-квадрат (див. Главу 4).

    У літературі з прикладних статистичних методів, як справедливо зауважує С.Г. Корнілов в роботі [1], є маса помилкових рекомендацій. Чого варті хоча б принципово невірні державні стандарти СРСР по статистичним методам, а також відповідні їм стандарти РЕВ і ІСО, тобто Міжнародної організації зі стандартизації. Особливо виділяються своєю кількістю помилкові рекомендації щодо застосування критерію Колмогорова для перевірки нормальності (див. Посилання в роботі [4]). Помилки є і в наукових статтях, і в нормативних документах (державних стандартах), і в методичних розробках, і навіть у вузівських підручниках. На жаль, немає способу захистити інженера і науковця, економіста і менеджера, які потребують застосування економетричних та статистичних методів, від літературних джерел і нормативно-технічних та інструктивно-методичних документів з помилками, неточностями і помилками. Єдиний спосіб - або постійно підтримувати професійні контакти з кваліфікованими фахівцями в економетрики, або самому стати таким фахівцем.

    Як оцінити досягається рівень значимості конкретного критерію, що передбачає повторні перевірки? Відразу ясно, що в більшості випадків ніяка сучасна теорія математичної статистики не допоможе. Залишається використовувати сучасні комп'ютери. Методика статистичного моделювання, описана в роботі [1], може стати щоденним робочим інструментом фахівця, що займається застосуванням економетричних методів. Для цього вона повинна бути реалізована у вигляді відповідної діалогової програмної системи. Сучасні персональні комп'ютери дозволяють проводити статистичне моделювання досить швидко (за частки секунд). Можна використовувати різні модифікації бутстрепа - одного з варіантів застосування статистичного моделювання (див. Нижче).

    Проведене обговорення показує, як багато невирішених проблем стоїть перед фахівцем, що займається, здавалося б, рутинним застосуванням стандартних статистичних процедур. Економетрика - молода наука, її основні проблеми, на нашу думку, ще не до кінця вирішені. Багато роботи як в порівняно нових областях, наприклад, в аналізі нечислових та інтервальних даних (див. Глави 8 і 9 вище), так і в класичних.

    Проблеми розробки та обґрунтування статистичних технологій

    У цьому пункті розглядаються проблеми практичного використання економетричних методів для системного аналізу конкретних економічних даних. При цьому застосовуються не окремі методи опису даних, оцінювання, перевірки гіпотез, а розгорнуті цільні процедури - так звані "статистичні технології". Поняття "статистичні технології" або "економетричні технології" аналогічні поняттю "технологічний процес" в теорії організації виробництва.

    Статистичні технології. Оскільки термін "технологія" порівняно рідко використовується стосовно економетрики та статистики, пояснимо суть розглянутої проблеми. Статистичний аналіз конкретних економічних даних, як правило, включає в себе цілий ряд процедур і алгоритмів, що виконуються послідовно, паралельно або по більш складною схемою. Зокрема, з точки зору менеджера економетричного проекту можна виділити наступні етапи:

    - Планування статистичного дослідження (включаючи розробку форм обліку, їх апробацію; підготовку сценаріїв інтерв'ю та аналізу даних і т.п.);

    - Організація збору необхідних статистичних даних за оптимальною або раціональної програмою (планування вибірки, створення організаційної структури і підбір команди статистиків, підготовка кадрів, які будуть займатися збором даних, а також контролерів даних і т.п.);

    - Безпосередній збір даних і їх фіксація на тих чи інших носіях (з контролем якості збору і отбраковкой помилкових даних з міркувань предметної області);

    - Первинне опис даних (розрахунок різних вибіркових характеристик, функцій розподілу, непараметрических оцінок щільності, побудова гістограм, кореляційних полів, різних таблиць і діаграм і т.д.),

    - Оцінювання тих чи інших числових або нечислових характеристик і параметрів розподілів (наприклад, непараметричне интервальное оцінювання коефіцієнта варіації або відновлення залежності між відгуком і факторами, тобто оцінювання функції),

    - Перевірка статистичних гіпотез (іноді їх ланцюжків - після перевірки попередньої гіпотези приймається рішення про перевірку тієї чи іншої подальшої гіпотези; наприклад, після перевірки адекватності лінійної регресійної моделі і відхилення цієї гіпотези може перевірятися адекватність квадратичної моделі),

    - Більш поглиблене вивчення, тобто одночасне застосування різних алгоритмів багатовимірного статистичного аналізу, алгоритмів діагностики та побудови класифікації, статистики нечислових та інтервальних даних, аналізу часових рядів та ін .;

    - Перевірка стійкості отриманих оцінок і висновків щодо допустимих відхилень вихідних даних і передумов використовуваних ймовірносно-статистичних моделей, зокрема, вивчення властивостей оцінок методом розмноження вибірок та іншими чисельними методами;

    - Застосування отриманих статистичних результатів в прикладних цілях, тобто для формулювання висновків в термінах змістовної області (наприклад, для діагностики конкретних матеріалів, побудови прогнозів, вибору інвестиційного проекту із запропонованих варіантів, знаходження оптимальних режиму здійснення технологічного процесу, підведення підсумків випробувань зразків технічних пристроїв та ін.),

    - Складання підсумкових звітів, зокрема, призначених для тих, хто не є фахівцями в статистичних методах аналізу даних, в тому числі для керівництва - "осіб, які приймають рішення".

    Можливі й багато інших структуризації різних статистичних технологій (див., Наприклад, аналогічну схему для процедур експертних оцінок в главі 12). Важливо підкреслити, що кваліфіковане і результативне застосування статистичних методів - це аж ніяк не перевірка однієї окремо взятої статистичної гіпотези або оцінка характеристик або параметрів одного заданого розподілу з фіксованого сімейства. Подібного роду операції - тільки окремі цеглинки, з яких складається статистична технологія. Тим часом підручники і монографії за статистикою зазвичай розповідають лише про окремі цеглинки, але не обговорюють проблеми їх організації в технологію, призначену для прикладного використання.

    Отже, процедура статистичного аналізу даних - це інформаційний технологічний процес, іншими словами, та чи інша інформаційна технологія. Статистична інформація піддається різноманітним операціям (послідовно, паралельно або по більш складними схемами). В даний час про автоматизацію всього процесу статистичного аналізу даних говорити було б несерйозно, оскільки є дуже багато невирішених проблем, що викликають дискусії серед економетрики і статистиків. Так звані "експертні системи" в області статистичного аналізу даних поки не стали робочим інструментом статистиків. Ясно, що і не могли стати. Можна сказати і жорсткіше - це поки наукова фантастика чи навіть шкідлива утопія.

    Проблема "стикування" алгоритмів. У літературі статистичні технології розглядаються явно недостатньо. Зокрема, зазвичай вся увага зосереджується на тому чи іншому елементі технологічного ланцюжка, а перехід від одного елемента до іншого залишається в тіні. Тим часом проблема "стикування" статистичних алгоритмів, як відомо, вимагає спеціального розгляду (див. Попередній параграф цієї глави), оскільки в результаті використання попереднього алгоритму часто порушуються умови застосовності наступного. Зокрема, результати спостережень можуть перестати бути незалежними, може змінитися їх розподіл і т.п.

    Так, цілком резонною виглядає рекомендація: спочатку розбийте дані на однорідні групи, а потім в кожній з груп проводите статистичну обробку, наприклад, регресійний аналіз. Однак ця рекомендація під уявною прозорістю містить підводні камені. Дійсно, як поставити завдання в ймовірносно-статистичних термінах? Якщо, як зазвичай, приймемо, що вихідні дані - це вибірка, тобто сукупність незалежних однаково розподілених випадкових елементів, то класифікація призведе до розбиття цих елементів на групи. У кожній групі елементи будуть залежні між собою, а їх розподіл буде залежати від групи, куди вони потрапили. Відзначимо, що в типових ситуаціях кордону класів стабілізуються, а це значить, що асимптотично елементи кластерів статновятся незалежними. Однак їх розподіл не може бути нормальним. Наприклад, якщо вихідне розподіл був нормальним, то розподілу в класах буде усіченим нормальним. Це означає, що необхідно користуватися непараметричних методами, про що вже не раз говорилося в главах 4 і 5 (докладніше цей приклад розібраний в роботі [7]).

    Розберемо ще один приклад При перевірці статистичних гіпотез велике значення мають такі добре відомі характеристики статистичних критеріїв, як рівень значущості та потужність. Методи їх розрахунку і використання при перевірці однієї гіпотези зазвичай добре відомі. Якщо ж спочатку перевіряється одна гіпотеза, а потім з урахуванням результатів її перевірки (конкретніше, якщо перша гіпотеза прийнята) - друга, то підсумкова процедура, яку також можна розглядати як перевірку деякої (більш складної) статистичної гіпотези, має характеристики (рівень значущості та потужність ), які, як правило, не можна простими формулами висловити через характеристики двох складових гіпотез, а тому вони зазвичай невідомі. Лише в деяких простих випадках характеристики підсумкової процедури можна розрахувати (див. Приклади в главі 13). В результаті підсумкову процедуру не можна розглядати як науково обґрунтовану, вона відноситься до евристичних алгоритмах. Звичайно, після відповідного вивчення, наприклад, методом Монте-Карло, вона може увійти в число науково обґрунтованих процедур економетрики або прикладної статистики.

    Про термін "високі статистичні технології". Як відомо, технології бувають різні. Бувають адекватні і неадекватні, сучасні і застарілі. Звернемо увагу на термін "високі технології". Він популярний в сучасній науково-технічній літературі і використовується для позначення найбільш передових технологій, що спираються на останні досягнення науково-технічного прогресу. Є такі технології і серед технологій економетричного і статистичного аналізу даних - як в будь-який інтенсивно розвивається науково-практичної області.

    Приклади високих економетричних та статистичних технологій і входять до них алгоритмів аналізу економічних даних постійно обговорюються на сторінках цієї книги.Докладний аналіз сучасного стану та перспектив розвитку економетрики дано у розділі 15 при обговоренні "точок зростання" нашої науково-практичної дисципліни. У цьому розділі в якості прикладів "високих статистичних технологій" виділені технології непараметричного аналізу даних (див. Глави 4, 5 і 6); стійкі (робастні) технології (див. розділ 10); технології, засновані на розмноженні вибірок (див. нижче в цій главі), на використанні досягнень статистики нечислових даних (див. глави 8 і 12) і статистики інтервальних даних (див. розділ 9).

    Детальніше обговоримо тут поки не цілком звичний термін "високі статистичні технології". Кожне з трьох слів несе своє смислове навантаження.

    "Високі", як і в інших науково-технічних областях, означає, що статистична технологія спирається на сучасні наукові досягнення і передовий досвід реальної діяльності, а саме, досягнення економетричної і статистичної теорії і практики, зокрема, на сучасні результати теорії ймовірностей і прикладної математичної статистики. При цьому формулювання "спирається на сучасні наукові досягнення" означає, по-перше, що математична основа технології отримана порівняно недавно в рамках відповідної наукової дисципліни, по-друге, що алгоритми розрахунків розроблено та обґрунтовано відповідно до неї (а не є т. Н . "евристичними"). Згодом, якщо нові підходи і результати не змушують переглянути оцінку застосовності і можливостей технології, замінити її на більш сучасну, "високі статистичні технології" переходять в "класичні статистичні технології", такі, як метод найменших квадратів. Як відомо, незважаючи на солідний вік (понад 200 років), метод найменших квадратів залишається одним з найбільш часто використовуваних економетричних методів. Отже, високі статистичні технології - плоди недавніх серйозних наукових досліджень. Тут два ключових поняття - "молодість" технології (у всякому разі, не старше 50 років, а краще - не старше 10 або 30 років), і опора на "високу науку".

    Термін "статистичні" звичний, але роз'яснити його нелегко. У всякому разі, до діяльності Державного комітету РФ за статистикою високі статистичні технології безпосереднього відношення не мають. У розділі 1 вже йшлося про те розриві між різними групами осіб, що вживають термін "статистика", який є в нашій країні. Втім, сам термін "статистика" пррошел довгий шлях. Як відомо, співробітники проф.В. В. Налимова, одного з найбільш відомих вітчизняних статистиків ХХ ст., Зібрали понад 200 визначень терміна "статистика" [8]. Полеміка навколо термінології іноді приймає вельми гострі форми (див., Наприклад, редакційні зауваження до статті [9], написані в стилі відомих висловлювань про генетику і кібернетику 1940-х років - втім, будь-яких організаційних висновків не було). Сучасне уявлення про термінологію в галузі теорії ймовірностей і прикладної математичної статистики відображено в додатку 1 до цієї книзі, підготовленої на противагу поширеним помилкам і неточностей в цій області. Зокрема, з точки зору економетрики статистичні дані - це результати вимірювань, спостережень, випробувань, аналізів, дослідів, а "статистичні технології" - це технології аналізу статистичних даних.

    Чи завжди потрібні "високі статистичні технології"? "Високим статистичними технологіям" протистоять, природно, "низькі статистичні технології" (а між ними розташовані "класичні статистичні технології"). Це ті технології, які не відповідають сучасному рівню науки і практики. Зазвичай вони одночасно і застаріли, і не цілком адекватні суті розв'язуваних економетричних та статистичних задач.

    Приклади таких технологій неодноразово критично розглядалися, в тому числі і на сторінках цієї книги. Досить згадати критику використання критерію Стьюдента для перевірки однорідності при відсутності нормальності і рівності дисперсії або критику застосування класичних процентних точок критеріїв Колмогорова і омега-квадрат в ситуаціях, коли параметри оцінюються за вибіркою і ці оцінки підставляються в "теоретичну" функцію розподілу (детальний розбір проведено, наприклад, в роботі [4]). Доводилося констатувати широке поширення таких порочних технологій і конкретних алгоритмів, в тому числі в державних і міжнародних стандартах (перелік помилкових стандартів подано в праці [10]), підручниках і поширених посібниках. Тиражування помилок відбувається зазвичай в процесі навчання у вищих навчальних закладах або шляхом самоосвіти при використанні недоброякісної літератури.

    На перший погляд викликає подив стійкість "низьких статистичних технологій", їх постійне відродження в усі нових статтях, монографіях, підручниках. Тому, як не дивно, найбільш "довгоживучими" виявляються не роботи, присвячені новим науковим результатам, а публікації, що викривають помилки, типу статті [4]. Минуло більше 15 років з моменту її публікації, але вона як і раніше актуальна, оскільки помилкове застосування критеріїв Колмогорова і омега-квадрат і раніше поширене.

    Доцільно розглянути тут принаймні чотири обставини, які визначають цю стійкість помилок.

    По-перше, міцно закріпилася традиція. Підручники по т. Н. "Загальної теорії статистики", написані "чистими" економістами (оскільки навчальна дисципліна "Статистика" офіційно належить до економіки), якщо неупереджено проаналізувати їх зміст, складаються в основному з вступу в прикладну статистику, викладеного в стилі "низьких статистичних технологій", т. е. на рівні 1950-х років, а багато в чому і на рівні початку ХХ ст. . До "низькою" прикладної статистики додана деяка інформація про діяльність органів Держкомстату РФ. Некоректно звинувачувати тільки економістів - приблизно таке ж становище зі статистичними методами в медицині: одні й ті ж "низькі статистичні технології" переписуються з книги в книгу. Нове покоління, навчившись помилковим підходам, ідеям, алгоритмам, їх використовує, а з плином часу і досягненням посад, вчених звань і ступенів - пише нові підручники зі старими помилками.

    Друга обставина пов'язана з великими труднощами при оцінці економічної ефективності застосування статистичних методів взагалі і при оцінці шкоди від застосування помилкових методів зокрема. (А без такої оцінки як доведеш, що "високі статистичні технології" краще "низьких"?) Деякі міркування по першому з цих питань наведено в статті [9], що містить оцінки економічної ефективності ряду робіт по застосуванню статистичних методів (див. Також розділ 13 , присвячену економетрики якості). При оцінці шкоди від застосування помилкових методів доводиться враховувати, що загальний успіх в конкретній інженерної або наукової роботи цілком можна було б досягти всупереч застосуванню помилкових методів, за рахунок "запасу міцності" інших складових загальної роботи. Наприклад, перевага одного технологічного прийому над іншим можна продемонструвати як за допомогою критерію Крамера-Уелча перевірки рівності математичних очікувань (що правильно), так і за допомогою двухвиборочного критерію Стьюдента (що, взагалі кажучи, невірно, т. К. Зазвичай не виконуються умови застосовності цього критерію - немає ні нормальності розподілу, ні рівності дисперсій). Крім того, доводиться витримувати натиск невігласів, які захищають свої помилкові роботи, наприклад, державні стандарти. Замість виправлення помилок застосовуються найрізноманітніші прийоми бюрократичної боротьби з тими, хто викриває помилки.

    Третє суттєва обставина - труднощі зі знайомством з високими статистичними технологіями. У нашій країні в силу ряду історичних обставин розвитку статистичних методів та економетрики (див. Главу 1) протягом останніх 10 років тільки журнал "Заводська лабораторія" надавав такі можливості. На жаль, потік сучасних вітчизняних і перекладних статистичних книг, що випускалися раніше, зокрема, видавництвами "Наука", "Мир", "Фінанси і статистика", практично перетворився у вузький струмочок ... Можливо, більш істотним є вплив природної затримки в часі між створенням "нових статистичних технологій" і написанням повноцінної і об'ємної навчальної та методичної літератури. Вона повинна дозволяти знайомитися з новою методологією, новими методами, теоремами, алгоритмами, методами розрахунків та інтерпретації їхніх результатів, статистичними технологіями в цілому не по коротким оригінальним статтям, а при звичайному вузівському і післядипломному навчанні.

    І, нарешті, найбільш важливе. Чи завжди потрібні високі статистичні технології? Наведемо аналогію - чи потрібна сучасна сільськогосподарська техніка для обробітку пріусадебногоучастка? Чи потрібні трактори і комбайни? Може бути, досить технологій, заснованих на використанні лопати? Повернемося до даних державної статистики. Застосовуються статистичні технології первинної обробки (опису) даних, засновані на побудові різноманітних таблиць, діаграм, графіків. Більшість споживачів статистичної інформації це подання даних задовольняє. Отже, щоб високі статистичні технології успішно використовувалися, необхідні дві умови: щоб вони були об'єктивно потрібні для вирішення практичного завдання і щоб потенційний користувач технологій суб'єктивно розумів це.

    Таким чином, весь арсенал реально використовуваних в даний час економетричних та статистичних технологій можна розподілити за трьома потокам:

    - Високі статистичні технології;

    - Класичні статистичні технології,

    низькі статистичні технології.

    Під класичними статистичними технологіями, як уже зазначалося, розуміємо технології поважного віку, які зберегли своє значення для сучасної статистичної практики. Такі технололгій на основі методу найменших квадратів (включаючи методи точкового оцінювання параметрів прогностичної функції, непараметричні методи довірчого оцінювання параметрів, прогностичної функції, перевірок різних гіпотез про них - див. Розділ 5), статистик типу Колмогорова, Смирнова, омега-квадрат, непараметричних коефіцієнтів кореляції Спірмена і Кендалла (відносити їх тільки до методів аналізу ранжировок - значить робити поступку "низьким статистичними технологіям", див. розділ 5) і багатьох інших статистичних проц дур.

    Основна сучасна проблема в області економетричних та статистичних технологій полягає в тому, щоб в конкретних економетричних дослідженнях використовувалися тільки технології перших двох типів.

    Які можливі шляхи вирішення основного сучасної проблеми в області статистичних технологій?

    Боротися з конкретними невігласами - справа майже безнадійна. Відстоюючи своє становище і посади, вони або нахабно ігнорують інформацію про свої помилки, як це зазвичай роблять автори підручників з "Загальної теорії статистики" і їх видавці, або за допомогою різних бюрократичних прийомів йдуть і від відповідальності, і від виправлення помилок по суті (як це було зі стандартами по статистичним методам - ​​див. статтю [10]). Третій варіант - визнання і виправлення помилок - зустрічається, на жаль, рідко. Але зустрічається.

    Звичайно, необхідна демонстрація кваліфікованого застосування високих статистичних технологій. У 1960-70-х роках цим займалася Лабораторія статистичних методів акад.А.Н. Колмогорова в МДУ ім. М.В. Ломоносова. Секція "Математичні методи дослідження" журналу "Заволская лабораторія" опублікувала за останні 40 років понад 1000 статей в стилі "високих статистичних технологій". В даний час діє Інститут високих статистичних технологій та економетрики МГТУ ім. Н.е. Баумана. Є, звичайно, цілий ряд інших наукових колективів, що працюють на рівні "високих статистичних технологій".

    Очевидно, саме основне - це навчання. Які б нові наукові результати не були отримані, якщо вони залишаються невідомими студентам, то нове покоління економістів ії менеджерів, дослідників і інженерів змушене освоювати їх поодинці, в порядку самоосвіти, а то і переоткривать.Т. е. практично нові наукові результати майже зникають, ледь з'явившись. Як не дивно це може здатися, надлишок наукових публікацій перетворився на гальмо розвитку науки. За нашими даними, до теперішнього часу по економетричних та статистичних технологій опубліковано не менше мільйона статей і книг, в основному в другій половині ХХ ст., З них не менше 100 тисяч є актуальними для сучасного фахівця. При цьому реальне число публікацій, які здатний освоїти дослідник за свою проофессіональную життя, за нашою оцінкою, не перевищує 2-3 тисяч. У всякому разі, в найбільш "товстому" російською мовою тритомнику за статистикою М. Дж. Кендалла і А. Стьюарта наведено близько 2 тисяч літературних посилань. Отже, кожен дослідник-економетрик знаком не більше ніж з 2-3% актуальних для нього літературних джерел. Оскільки значна частина публікацій заражена "низькими статистичними технологіями", то дослідник-самоучка, на жаль, має мало шансів вийти на рівень "високих статистичних технологій". Із підтвердженнями цього сумного висновку постійно доводиться стикатися. Одночасно доводиться констатувати, що маса корисних результатів похована в виданнях минулих десятиліть і має мало шансів пробитися в ряди використовуваних в даний час "високих статистичних технологій" без спеціально організованих зусиль сучасних фахівців.

    Отже, основне - навчання.Кілька огрубляя, можна сказати так: що потрапило в навчальні курси і відповідні навчальні посібники - то зберігається, що не потрапило - то пропадає.

    Необхідність високих статистичних технологій. Може виникнути природне запитання: навіщо потрібні високі статистичні технології, хіба недостатньо звичайних статистичних методів? Фахівці з економетрики справедливо вважають і доводять своїми теоретичними і прикладними роботами, що зовсім недостатньо. Так, абсолютно очевидно, що багато даних в інформаційних системах мають нечислової характер, наприклад, є словами або приймають значення з кінцевих множин. Нечислової характер мають і впорядкування, які дають експерти або менеджери, наприклад, вибираючи головну мету, наступну за важливістю і т.д. Значить, потрібна статистика нечислових даних. Ми її збудували. Далі, багато величини відомі не абсолютно точно, а з деякою погрішністю - від і до. Іншими словами, вихідні дані - не числиться, а інтервали. Потрібна статистика інтервальних даних. Ми її розвиваємо. У широко відомої монографії з контролінгу [11] на с.138 добре сказано: "Нечітка логіка - потужний елегантний інструмент сучасної науки, який на Заході (і на Сході - в Японії, Китаї - А. О) можна зустріти в десятках виробів - від побутових відеокамер до систем управління озброєнням, - у нас до самого останнього часу був практично невідомий ". Нагадаємо, перша монографія російського автора з теорії нечіткості містить основи високих статистичних технологій аналізу вибірок нечітких множин (див. Книгу [12]). Ні статистики нечислових даних, ні статистики інтервальних даних, ні статистики нечітких даних немає і не могло бути в класичній статистиці. Все це - високі статистичні технології. Вони розроблені за останні 10-30-50 років. А звичайні вузівські курси з загальної теорії статистики і з математичної статистики розбирають наукові результати, отримані в першій половині ХХ століття.

    Важлива і вельми перспективна частина економетрики - застосування високих статистичних технологій до аналізу конкретних економічних даних, що часто вимагає додаткової теоретичної роботи з доопрацювання статистичних технологій стосовно конкретної ситуації. Велике значення мають конкретні економетричні моделі, наприклад, моделі експертних оцінок або економетрики якості. І звичайно, такі конкретні застосування, як розрахунок і прогнозування індексу інфляції. Зараз вже багатьох ясно, що річний бухгалтерський баланс підприємства може бути використаний для оцінки його фінансово-господарської діяльності тільки з залученням даних про інфляцію (див. Розділ 7).

    Про підготовку фахівців з високим статистичними технологіям. Доводиться з жалем констатувати, що в Росії практично відсутня підготовка фахівців з високим статистичними технологіям. У курсах з теорії ймовірностей і математичній статистиці зазвичай даються лише класичні основи цих дисциплін, розроблені в першій половині ХХ ст., А викладачі-математики свою наукову діяльність за краще присвячувати доказу теорем, що мають лише внутріматематіческіе значення, а не розвитку високих статистичних технологій. В даний час з'явилася надія на економетрику. У Росії починають розгортатися економетричні дослідження і викладання економетрики. Економісти, менеджери та інженери, перш за все фахівці з контролінгу, повинні бути озброєні сучасними засобами інформаційної підтримки, в тому числі високими статистичними технологіями і економетрикою. Очевидно, викладання повинно йти попереду практичного застосування. Адже як застосовувати те, чого не знаєш?

    Наведемо два приклади - негативний і позитивний, - показують зв'язок викладання з впровадженням передових технологій.

    Один раз - в 1990-1992 рр. ми вже обпеклися на недооцінці необхідності попередньої підготовки тих, для кого призначені сучасні програмні продукти. Наш колектив (Всесоюзний центр статистичних методів та інформатики Центрального Правління Всесоюзного економічного суспільства) розробив систему діалогових програмних систем забезпечення якості продукції. Їх створенням керували провідні фахівці країни. Але поширення програмних продуктів йшло на 1-2 порядки повільніше, ніж ми очікували. Причина стала зрозуміла не відразу. Як виявилося, працівники підприємств просто не розуміли можливостей розроблених систем, не знали, які завдання можна вирішувати з їх допомогою, який економічний ефект вони дадуть. А не розуміли і не знали тому, що в вузах ніхто їх не вчив статистичним методам управління якістю. Без такого систематичного навчання не можна обійтися - складні концепції "на пальцях" за 5 хвилин не поясниш.

    Є й протилежний приклад - позитивний. У середині 1980-х років в радянській середній школі ввели новий предмет "Інформатика". І зараз молоде покоління чудово володіє комп'ютерами, миттєво освоюючи швидко з'являються новинки, і цим помітно відрізняється від тих, кому за 30-40 років.

    Якби вдалося ввести в середній школі курс теорії ймовірностей і статистики - а такий курс є в Японії і США, Швейцарії, Кенії і Ботсвані, майже у всіх країнах (і ЮНЕСКО проводить всесвітні конференції з викладання математичної статистики в середній школі - см збірник доповідей [ 13]) - то ситуація з впровадженням високих статистичних технологій могла б бути різко поліпшена. Треба, звичайно, домогтися того, щоб такий курс був побудований на високих статистичних технологіях, а не на низьких. Іншими словами, він повинен відображати сучасні досягнення, а не концепції п'ятдесятирічної або столітньої давності.

    Методи статистичних випробувань (Монте-Карло) і датчики псевдовипадкових чисел

    Багато економетричні інформаційні технології спираються на використання методів статистичних випробувань. Цей термін застосовується для позначення комп'ютерних технологій, в яких в економетричну модель штучно вводиться велика кількість випадкових елементів. Зазвичай моделюється послідовність незалежних однаково розподілених випадкових величин або ж послідовність, побудована на основі такої, наприклад, послідовність накопичуються (кумулятивних) сум.

    Необхідність в методі статистичних випробувань виникає тому, що чисто теоретичні методи дають точне рішення, як правило, лише у виняткових випадках. Або тоді, коли вихідні випадкові величини мають цілком певні функції розподілу, наприклад, нормальні, чого, як правило, не буває. Або коли обсяги вибірок дуже великі (з практичної точки зору - нескінченні). Ця проблема вже обговорювалася в главі 10.

    Не тільки в чисто економетричних задачах обробки статистичних даних виникає необхідність в методі статистичних випробувань. Вона не менш актуальна і при економіко-математичному моделюванні техніко-економічних і торгових процесів. Уявімо собі всім знайомий об'єкт - торговий зал самообслуговування з продажу продовольчих товарів. Скільки потрібно працівників в залі, скільки кас? Необхідно прорахувати завантаження в різний час доби, в різні сезони року, з урахуванням заміни товарів і зміни співробітників. Неважко побачити, що теоретичному аналізу подібна система не піддається, а комп'ютерному - цілком.

    Методи статистичних випробувань стали розвиватися після Другої світової війни з появою комп'ютерів. Друга назва - методи Монте-Карло - вони отримали по найбільш відомому ігорному будинку, а точніше, за його рулетці, оскільки вихідний матеріал для отримання випадкових чисел з довільним розподілом - це випадкові натуральні числа.

    У методах статистичних випробувань можна виділити дві складові. Базою є датчики псевдовипадкових чисел. Результатом роботи таких датчиків є послідовності чисел, які мають деякі властивості послідовностей випадкових величин (в сенсі теорії ймовірностей). Надбудовою є різні алгоритми, що використовують послідовності псевдовипадкових чисел.

    Що ж це можуть бути за алгоритми? Наведемо приклади. Нехай ми вивчаємо розподіл деякої статистики при заданому обсязі вибірки. Тоді природно багато разів (наприклад, 100000 раз) змоделювати вибірку заданого обсягу (тобто набір незалежних однаково розподілених випадкових величин) і розрахувати значення статистики. Потім по 100000 значенням статистики можна досить точно побудувати функцію розподілу досліджуваної статистики, оцінити її характеристики. Однак ця схема годиться лише для так званої "вільної від розподілу" статистики, розподіл якої не залежить від розподілу елементів вибірки. Якщо ж така залежність є, то однією точкою моделювання не обійдешся, доведеться багато разів моделювати вибірку, беручи різні розподілу, змінюючи параметри. Щоб загальний час моделювання було прийнятним, можливо, доведеться скоротити число моделювань в одній точці, зате збільшивши загальне число точок. Точність моделювання може бути оцінена за загальними правилами вибіркових обстежень (див. Розділ 2).

    Другий приклад - частково описане вище моделювання роботи торгового залу самообслуговування з продажу продовольчих товарів. Тут одна послідовність псевдовипадкових чисел описує інтервали між появами покупців, друга, третя і т.д. пов'язані з вибором ними першого, другого і т.д. товарів в залі (наприклад, число - номер у переліку товарів). Коротше, всі дії покупців, продавців, працівників підприємства розбиті на операції, кожна операція, в тривалості чи іншої характеристиці якої є випадковість, моделюється за допомогою відповідної послідовності псевдовипадкових чисел. Потім підсумки роботи співробітників організації торгівлі і залу в цілому виражаються через характеристики випадкових величин. Формулюється критерій оптимальності, вирішується завдання оптимізації і знаходяться оптимальні значення параметрів.

    Оптимальні плани статистичного контролю, побудовані на основі ймовірносно-статистичних моделей, будуються в главі 13.

    Тепер обговоримо властивості датчиків псевдовипадкових чисел. Тут варто слово "псевдо випадкові", а не "випадкові". Це дуже важливо.

    Справа в тому, що за останні 50 років обговорювалися в основному три принципово різних варіанти отримання послідовностей чисел, які в подальшому використовувалися в методах статистичних випробувань.

    Перший - таблиця випадкових чисел. На жаль, обсяг будь-якої таблиці кінцевий, і скільки-небудь складні розрахунки з її допомогою неможливі. Через деякий час доводиться повторюватися. Крім того, зазвичай виявлялися ті чи інші відхилення від випадковості (див. Про це в роботі [9]).

    Другий - фізичні датчики випадкових чисел. Основний недолік - нестабільність, непередбачувані відхилення від заданого розподілу (зазвичай - рівномірного).

    Третій - розрахунковий. У найпростішому випадку кожен наступний член послідовності розраховується за попереднім. Наприклад, так:

    де z0 - початкове значення (заданий ціле позитивне число) M - параметр алгоритму (заданий ціле позитивне число), P = 2m, де m - число двійкових розрядів уявлення чисел, з якими маніпулює комп'ютер. знак тут означає теоретико-числову операцію порівняння, тобто взяття дробової частини від і відкидання цілої.

    В даний час застосовується саме третій варіант. Абсолютно ясно, що він не відповідає інтуїтивному уявленню про випадковість. Наприклад, інтуїтивно очевидно, що за попереднім елементу випадкової послідовності з незалежними елементами не можна передбачити значення наступного елемента. Розрахунковий шлях отримання послідовності псевдовипадкових чисел суперечить не тільки інтуїції, а й підходу до визначення випадковості на основі теорії алгоритмів, розвиненому акад.А.Н. Колмогоровим і його учнями в 1960-х роках. Однак у багатьох прикладних задачах він працює, і це основне.

    Методу статистичних випробувань присвячена велика література (див., Наприклад, монографії [14-16]). Час від часу виявляються недоліки у популярних датчиків псевдовипадкових чисел. Так, наприклад, в середині 1980-х років з'ясувалося, що для одного з найбільш відомих датчиків

    Після цього в 1985 р в журналі "Заводська лабораторія" почалася дискусія про якість датчиків псевдовипадкових чисел, яка тривала до 1993 року і закінчилася статтею проф.С.М. Єрмакова [17] і нашим коментарем.

    Підсумки можна підвести так. У багатьох випадках вирішується методом статистичних випробувань завдання зводиться до оцінки ймовірності попадання в деяку область в багатовимірному просторі фіксованою розмірності. Тоді з чисто математичних міркувань теорії чисел випливає, що за допомогою датчиків псевдовипадкових чисел поставлена ​​задача вирішується коректно. Зведення відповідних математичних обгрунтувань наведена, наприклад, в роботі С.М. Єрмакова [17].

    В інших випадках доводиться розглядати ймовірності попадання в області в просторах змінної розмірності. Типовим прикладом є ситуація, коли на кожному кроці проводиться перевірка, і за її результатами або залишаємося в даному просторі, або переходимо в простір більшої розмірності. Наприклад, в розділі 5 при оцінюванні ступеня многочлена або зупинялися на цій мірі, або збільшували ступінь, переходячи в параметричне простір більшої розмірності. Так ось, питання про обгрунтованість застосування методу статистичних випробувань (а точніше, про властивості датчиків псевдовипадкових чисел) в разі просторів змінної розмірності залишається в даний час відкритим. Про важливість цієї проблеми говорив академік РАН Ю.В. Прохоров на Першому Всесвітньому Конгресі Товариства математичної статистики і теорії ймовірностей ім. Бернуллі (Ташкент, 1986 р).

    Імітаційне моделювання. Оскільки постійно говоримо про моделювання, наведемо кілька загальних формулювань.

    Модель в загальному сенсі (узагальнена модель) - це створюваний з метою отримання і (або) зберігання інформації специфічний об'єкт (у формі уявного образу, опису знаковими засобами або матеріальної системи), що відбиває властивості, характеристики та зв'язку об'єкта-оригіналу довільної природи, істотні для завдання, розв'язуваної суб'єктом (це визначення взято з монографії [18, с.44]).

    Наприклад, в менеджменті виробничих систем використовують:

    - Моделі технологічних процесів (контроль і управління по техніко-економічним критеріям, АСУ ТП - автоматизовані системи управління технологічними процесами);

    - Моделі управління якістю продукції (зокрема, моделі оцінки і контролю надійності);

    - Моделі масового обслуговування (теорії черг);

    - Моделі управління запасами (в сучасній термінології - моделі логістики, тобто теорії і практики управління матеріальними, фінансовими та інформаційними потоками);

    - Імітаційні та економетричні моделі діяльності підприємства (як єдиного цілого) і управління ним (АСУ підприємством) і ін.

    Згідно академіку РАН М.М. Мойсеєву [19, с.213], імітаційна система - це сукупність моделей, що імітують протікання досліджуваного процесу, об'єднана зі спеціальною системою допоміжних програм та інформаційною базою, що дозволяють досить просто і оперативно реалізувати варіантні розрахунки. Іншими словами, імітаційна система - це сукупність імітаційних моделей. А імітаційна модель призначена для відповідей на запитання на кшталт: "Що буде, якщо ..." Що буде, якщо параметри приймуть ті чи інші значення? Що буде з ціною на продукцію, якщо попит буде падати, а число конкурентів рости? Що буде, якщо держава різко посилить втручання в економіку? Що буде, якщо зупинку громадського транспорту перенесуть на 100 м далі від входу в торговий зал, про який йшла мова вище, і потік покупців різко впаде? Крім комп'ютерних моделей, на питання подібного типу часто відповідають експерти при використанні методу сценаріїв (див. Розділ 12).

    При імітаційному моделюванні часто використовується метод статистичних випробувань (Монте-Карло). Теорію і практику машинних імітаційних експериментів з моделями економічних систем ще 30 років тому докладно розібрав Т. Нейлор у великій класичної монографії [20]. Повернемося до внутріеконометріческому застосування датчиків псевдовипадкових чисел.

    Методи розмноження вибірок (бутстреп-методи)

    Економетрика та прикладна статистика бурхливо розвиваються останні десятиліття. Серйозним (хоча, зрозуміло, не єдиним і не головним) стимулом є стрімко зростаюча продуктивність обчислювальних засобів. Тому зрозумілий гострий інтерес до статистичних методів, інтенсивно використовують комп'ютери. Одним з таких методів є так званий "бутстреп", запропонований в 1977 р.Б. Ефроном з Стенфордського університету (США).

    Сам термін "бутстреп" - це "bootstrap" російськими буквами і буквально означає щось на кшталт: "витягування себе (з болота) за шнурки від черевиків". Термін спеціально придуманий і змушує згадати про подвиги барона Мюнхгаузена.

    В історії економетрики було кілька більш-менш успішно здійснених рекламних кампаній. У кожній з них "розкручувався" той чи інший метод, який, як правило, відповідав кільком умовам:

    - На думку його пропагандистів, повністю вирішував актуальну наукову задачу;

    - Був зрозумілий (при постановці завдання, при її вирішенні і при інтерпретації результатів) широким масам потенційних користувачів;

    - Використовував сучасні можливості обчислювальної техніки.

    Пропагандисти методу, як правило, уникали неупередженого порівняння його можливостей з можливостями інших економетричних методів. Якщо порівняння і проводилися, то з свідомо слабким "противником".

    У нашій країні в умовах відсутності систематичного економетричного освіти подібні рекламні кампанії знаходили особливо сприятливий грунт, оскільки у більшості порушених ними фахівців не було достатніх знань в області методології побудови економетричних моделей для того, щоб скласти самостійне кваліфіковане думка.

    Йдеться про такі методи як бутстреп, нейронні мережі, метод групового урахування аргументів, робастні оцінки по Тьюки-Хубер (див. Розділ 10), асимптотика пропорційного зростання числа параметрів і обсягу даних і ін. Бувають локальні сплески ентузіазму, наприклад, московські соціологи в 1980-х роках пропагували так званий "детермінаціонного аналіз" - простий евристичний метод аналізу таблиць спряженості, хоча в Новосибірську в цей час давно вже було розроблено просунуте програмне забезпечення аналізу векторів різнотипних приз наков (див. розділ 8).

    Однак навіть на тлі всіх інших рекламних кампаній доля бутстрепа виняткова. По-перше, визнаний його автор Б. Ефрон з самого початку зізнавався, що він нічого принципово нового не зробив. Його вихідна стаття (перша в збірнику [21]) називалася: "Бутстреп-методи: новий погляд на методи складного ножа". По-друге, відразу з'явилися статті та дискусії в наукових виданнях, публікації рекламного характеру, і навіть в науково-популярних журналах. Бурхливі обговорення на конференціях, нагальний випуск книг. У 1980-і роки фінансова підоснова всієї цієї активності, пов'язана з вибиванням грантів на наукову діяльність, утримання навчальних закладів і т.п. була мало зрозуміла вітчизняним фахівцям.

    У чому основна ідея групи методів "розмноження вибірок", найбільш відомим представником яких є бутстреп?

    Нехай дана вибірка . У ймовірносно-статистичної теорії припускаємо, що це - набір незалежних однаково розподілених випадкових величин. Нехай економетрика цікавить деяка статистика Як вивчити її властивості? Подібними проблемами ми займалися впродовж усієї книжки і знаємо, наскільки це непросто. Ідея, яку запропонував в 1949 Г.М. Кенуй (це і є "метод складного ножа") полягає в тому, щоб з однієї вибірки зробити багато, виключаючи по одному спостереженню (і повертаючи раніше виключені). Перерахуємо вибірки, які виходять з вихідної:

    ;

    ...

    ;

    ...

    ;

    Всього n нових (розмножених) вибірок обсягом (n-1) кожна. По кожній з них можна розрахувати значення цікавить економетрика статистики (зі зменшеним на 1 об'ємом вибірки):

    ...

    ...

    Отримані значення статистики дозволяють судити про її розподілі і про характеристики розподілу - про математичне сподівання, медіані, Квантиль, розкид, середньому квадратичному відхиленні. Значення статистики, побудовані по розмноженим підвибірках, не є незалежними, однак, як ми бачили в розділі 5 на прикладі ряду статистик, що виникають в методі найменших квадратів і в кластер-аналізі (при обговоренні можливості об'єднання двох кластерів), при зростанні обсягу вибірки вплив залежності може слабшати і зі значеннями статистик типу можна звертатися як з незалежними випадковими величинами.

    Однак і без всякої ймовірносно-статистичної теорії розкид величин дає наочне уявлення про те, яку точність може дати розглянута статистична оцінка.

    Сам М. Кенуй і його послідовники використовували розмноження вибірок в основному для побудови оцінок з зменшеним зміщенням. А ось Б. Ефрон перемінив новий спосіб розмноження вибірок, істотно використовує датчики псевдовипадкових чисел. А саме, він запропонував будувати нові вибірки, моделюючи вибірки з емпіричного розподілу (див. Визначення в термінологічному Додатку 1 в кінці книги). Іншими словами, Б. Ефрон запропонував взяти кінцеву сукупність з n елементів вихідної вибірки і за допомогою датчика випадкових чисел сформувати з неї будь-яке число розмножених вибірок. Процедура, хоча і нереальна без ЕОМ, проста з точки зору програмування. У порівнянні з описаною вище процедурою з'являються нові недоліки - неминучі збіги елементів розмножених вибірок і залежність від якості датчиків псевдовипадкових чисел (див. Вище). Однак існує математична теорія, що дозволяє (при деяких припущеннях і безмежному зростанні обсягу вибірки) обгрунтувати процедури бутстрепа (див. Збірник статей [21]).

    Є багато способів розвитку ідеї розмноження вибірок (див., Наприклад, статтю [22]). Можна по вихідної вибірці побудувати емпіричну функцію розподілу, а потім якимось чином від кусково-постійною функції перейти до безперервної функції розподілу, наприклад, з'єднавши точки відрізками прямих. Інший варіант - перейти до безперервного розподілу, побудувавши непараметричних оцінку щільності. Після цього рекомендується брати розмножені вибірки з цього безперервного розподілу (що є спроможною оцінкою вихідного), безперервність захистить від збігів елементів в цих вибірках.

    Інший варіант побудови розмножених вибірок - більш прямий. Вихідні дані не можуть бути визначені абсолютно точно і однозначно. Тому пропонується до вихідних даних додавати малі незалежні однаково розподілені похибки. При такому підході одночасно з'єднуємо разом ідеї стійкості (див. Розділ 10) і бутстрепа. При уважному аналізі багато ідей економетрики тісно один з одним пов'язані (див. Статтю [22]).

    У яких випадках доцільно застосовувати бутстреп, а в яких - інші економетричні методи? У період рекламної кампанії зустрічалися, в тому числі в науково-популярних журналах, твердження про те, що і для оцінювання математичного очікування корисний бутстреп. Як показано в статті [22], це абсолютно не так. При зростанні числа випробувань методом Монте-Карло бутстреп-оцінка наближається до класичної оцінці - середньому арифметичному результатів спостережень. Іншими словами, бутстреп-оцінка відрізняється від класичної тільки шумом псевдовипадкових чисел.

    Аналогічною є ситуація і в ряді інших випадків. Там, де економетрична теорія добре розвинена, де знайдені методи аналізу даних, в тому чи іншій сенсі близькі до оптимальних, бутстреп робити нічого. А ось в нових областях зі складними алгоритмами, властивості яких недостатньо ясні, він являє собою цінний інструмент для вивчення ситуації.

    Економетрика в контролінгу

    Контролера і співпрацює з ним економетрику потрібна різноманітна економічна і управлінська інформація, не менше потрібні зручні інструменти її аналізу. Отже, інформаційна підтримка контролінгу необхідна для успішної роботи контролера. Без сучасних комп'ютерних інструментів аналізу та управління, заснованих на просунутих економетричних та економіко-математичних методах і моделях, неможливо ефективно приймати управлінські рішення. Недарма фахівці з контролінгу велику увагу приділяють проблемам створення, розвитку та застосування комп'ютерних систем підтримки прийняття рішень. Високі статистичні технології та економетрика - невід'ємні частини будь-якої сучасної системи підтримки прийняття економічних і управлінських рішень.

    Важлива частина економетрики - застосування високих статистичних технологій до аналізу конкретних економічних даних. Такі дослідження часто вимагають додаткової теоретичної роботи по "доведенню" статистичних технологій стосовно конкретної ситуації. Велике значення для контролінгу мають не тільки загальні методи, але і конкретні економетричні моделі, наприклад, ймовірносно-статистичні моделі тих чи інших процедур експертних оцінок (глава 12) або економетрики якості (глава 13), імітаційні моделі діяльності організації, прогнозування в умовах ризику ( глава 14). І звичайно, такі конкретні застосування, як розрахунок і прогнозування індексу інфляції. Зараз вже багатьом фахівцям ясно, що річний бухгалтерський баланс підприємства може бути використаний для оцінки його фінансово-господарської діяльності тільки з залученням даних про інфляцію. Різні галузі економічної теорії і практики в даний час ще далеко не узгоджені. При оцінці і порівнянні інвестиційних проектів прийнято використовувати такі характеристики, як чиста поточна вартість, внутрішня норма прибутковості, засновані на введенні в розгляд зміни вартості грошової одиниці в часі (це здійснюється за допомогою дисконтування). А при аналізі фінансово-господарської діяльності організації на основі даних бухгалтерської звітності зміна вартості грошової одиниці в часі за традицією не враховують.

    Фахівці з контролінгу повинні бути озброєні сучасними засобами інформаційної підтримки, в тому числі засобами на основі високих статистичних технологій та економетрики. Очевидно, викладання повинно йти попереду практичного застосування. Адже як застосовувати те, чого не знаєш?

    Статистичні технології застосовують для аналізу даних двох принципово різних типів. Один з них - це результати вимірювань (спостережень, випробувань, аналізів, дослідів та ін.) Різних видів, наприклад, результати управлінського або бухгалтерського обліку, дані Держкомстату та ін. Коротше, мова йде про об'єктивної інформації. Інший - це оцінки експертів, на основі свого досвіду і інтуїції роблять висновки щодо економічних явищ і процесів. Очевидно, це - суб'єктивна інформація. У стабільній економічній ситуації, що дозволяє розглядати довгі часові ряди тих чи інших економічних величин, отриманих в порівнянних умовах, дані першого типу цілком адекватні. У швидко мінливих умовах припадають спиратися на експертні оцінки. Така новітня частина економетрики, як статистика нечислових даних, була створена як відповідь на запити теорії і практики експертних оцінок (див. Глави 8 і 12).

    Для вирішення будь економічних завдань може бути корисна економетрика? Практично для всіх, що використовують конкретну інформацію про реальний світ. Тільки чисто абстрактні, абстрактні від реальності дослідження можуть обійтися без неї. Зокрема, економетрика необхідна для прогнозування, в тому числі поведінки споживачів, а тому і для планування. Вибіркові дослідження, в тому числі вибірковий контроль, засновані на економетрики. Але планування і контроль - основа контролінгу. Тому економетрика - важлива складова інструментарію контролера, втіленого в комп'ютерній системі підтримки прийняття рішень. Перш за все оптимальних рішень, які передбачають опору на адекватні економетричні моделі. У виробничому менеджменті це може означати, наприклад, використання моделей екстремального планування експерименту (судячи з накопиченому досвіду їх практичного використання, такі моделі дозволяють підвищити вихід корисного продукту на 30-300%).

    Високі статистичні технології в економетрики припускають адаптацію застосовуваних методів до мінливої ​​ситуації. Наприклад, параметри прогностичного індексу змінюються слідом за зміною характеристик використовуваних для прогнозування величин. Такий метод експоненціального згладжування. У відповідному алгоритмі розрахунків значення часового ряду використовуються з вагами. Ваги зменшуються в міру віддалення в минуле. Багато методи дискримінантного аналізу засновані на застосуванні навчальних вибірок. Наприклад, для побудови рейтингу надійності банків можна за допомогою експертів скласти дві навчальні вибірки - надійних і ненадійних банків. А потім з їх допомогою вирішувати для знову розглянутого банку, який він - надійний або ненадійний, а також оцінювати його надійність чисельно, тобто обчислювати значення рейтингу.

    Один із способів побудови адаптивних економетричних моделей - нейронні мережі (див., Наприклад, монографію [23]). При цьому основний акцент робиться не на формулювання адаптивних алгоритмів аналізу даних, а - в більшості випадків - на побудову віртуальної адаптивної структури. Термін "віртуальна" означає, що "нейронна мережа" - це спеціалізована комп'ютерна програма, "нейрони" використовуються лише при спілкуванні людини з комп'ютером. Методологія нейронних мереж йде від ідей кібернетики 1940-х років. У комп'ютері створюється модель мозку людини (досить примітивна з точки зору фізіолога). Основа моделі - дуже прості базові елементи, звані нейронами. Вони з'єднані між собою, так що нейронні мережі можна порівняти з добре знайомими економістам і інженерам блок-схемами. Кожен нейрон знаходиться в одному із заданої множини станів. Він отримує імпульси від сусідів по мережі, змінює свій стан і сам розсилає імпульси. В результаті стан безлічі нейтронів змінюється, що відповідає проведенню економетричних обчислень.

    Нейрони зазвичай об'єднуються в шари (як правило, два-три). Серед них виділяються вхідний і вихідний шари. Перед початком вирішення тієї чи іншої задачі проводиться настройка. По-перше, встановлюються зв'язки між нейронами, відповідні розв'язуваної задачі. По-друге, проводиться навчання, тобто через нейронну мережу пропускаються навчальні вибірки, для елементів яких необхідні результати розрахунків відомі. Потім параметри мережі модифікуються так, щоб отримати максимальну відповідність вихідних значень заданим величинам.

    З точки зору точності розрахунків (і оптимальності в тому чи іншому економетричному сенсі) нейронні мережі не мають переваг перед іншими адаптивними економетричними системами. Однак вони більш прості для сприйняття. Треба відзначити, що в економетрики використовуються і моделі, проміжні між нейронними мережами і "звичайними" системами регресійних рівнянь (одночасних і з лагами). Вони теж використовують блок-схеми, як, наприклад, універсальний метод моделювання зв'язків економічних факторів ЖОК (цей метод описаний в роботі [24]).

    Помітне місце в математико-комп'ютерному забезпеченні прийняття рішень в контролінгу займають методи теорії нечіткості (по-англійськи - fuzzy theory, причому термін fuzzy перекладають на російську мову по-різному: нечіткий, розмитий, розпливчастий, туманний, пухнастий і ін.). Початок сучасної теорії нечіткості покладено роботою Л.А. Заде 1965р., Хоча витоки простежуються з часів Стародавньої Греції (про історію теорії нечіткості см., Наприклад, книгу [12]). Цей напрямок прикладної математики в останній третині ХХ ст. отримало бурхливий розвиток. До теперішнього часу по теорії нечіткості опубліковані тисячі книг і статей, видається кілька міжнародних журналів (половина - в Китаї і Японії), постійно проводяться міжнародні конференції, виконано досить багато як теоретичних, так і прикладних наукових робіт, практичне використання дали відчутний техніко-економічний ефект .

    Основоположник розглянутого наукового напрямку Лотфі А. Заде розглядав теорію нечітких множин як апарат аналізу і моделювання гуманістичних систем, тобто систем, в яких бере участь людина. Його підхід спирається на передумову про те, що елементами мислення людини не є числа, а елементи деяких нечітких множин або класів об'єктів, для яких перехід від "приналежності" до "неналежність» не скачкообразен, а безперервний. В даний час методи теорії нечіткості використовуються майже у всіх прикладних областях, в тому числі при управлінні якістю продукції і технологічними процесами.

    Нечітка математика і логіка - потужний елегантний інструмент сучасної науки, який на Заході і на Сході (в Японії, Китаї, Кореї) можна зустріти в програмному забезпеченні сотень видів виробів - від іграшок і побутових відеокамер до систем управління підприємствами. У Росії він був досить добре відомий з початку 1970-х років. Однак перша монографія російського автора з теорії нечіткості [12] була опублікована лише в 1980 р Надалі проводилися раз на рік всесоюзні конференції збирали близько 100 учасників - за світовими мірками небагато. В даний час інтерес до теорії нечіткості серед економістів і менеджерів зростає.

    При викладі теорії нечітких множин зазвичай не підкреслюється зв'язок з ймовірними моделями. Тим часом ще в середині 1970-х років встановлено (цикл відповідних теорем наведено, зокрема, в монографії [12], але це аж ніяк не перша публікація), що теорія нечіткості в певному сенсі зводиться до теорії випадкових множин, хоча цей зв'язок і має , можливо, лише теоретичне значення. У США подібні роботи з'явилися років на п'ять пізніше.

    Професіоналу в області контролінгу корисні численні інтелектуальні інструменти аналізу даних, що відносяться до високих статистичних технологій та економетрики.

    література

    1. Корнілов С.Г. Накопичення помилки першого роду при повторній перевірці статистичних гіпотез. Регламент повторних перевірок. // Заводська лабораторія. 1996. Т.62. Nо.5. С.45-51.

    2. Камінь Ю.Е., Камінь Я.Е., Орлов А.І. Реальні і номінальні рівні значущості в задачах перевірки статистичних гіпотез. // Заводська лабораторія. 1986. Т.52. No.12. С.55-57.

    3. Налімов В.В. Застосування математичної статистики при аналізі речовини. - М .: Физматгиз, 1960. - 430 с.

    4. Орлов А.І. Поширена помилка при використанні критеріїв Колмогорова і омега-квадрат. // Заводська лабораторія. 1985. т.51. No.1. С.60-62.

    5. Большев Л.Н., Смирнов Н.В. Таблиці математичної статистики. Изд.3-е. - М .: Наука, 1983. - 416 с.

    6. Орлов А.І. Про сучасні проблеми впровадження прикладної статистики та інших статистичних методів. // Заводська лабораторія. 1992. Т.58. No.1. С.67-74.

    7. Орлов А.І. Деякі ймовірні питання теорії класифікації. - В сб .: Прикладна статистика. Вчені записки за статистикою, т.45. - М .: Наука, 1983. С.166-179.

    8. Нікітіна Е.П., Фрейдліна В.Д., Ярхо А.В. Колекція визначень терміну "статистика" / Міжфакультетська лабораторія статистичних методів. Вип.37. - М .: Изд-во Московського державного університету ім. М.В. Ломоносова, 1972. - 46 с.

    9. Орлов А.І. Що дає прикладна статистика народному господарству? // Вісник статистики. - 1986. - No.8. - С.52-56.

    10. Орлов А.І. Сертифікація і статистичні методи (узагальнююча стаття). // Заводська лабораторія. - 1997. - Т.63. - No.З. - С.55-62.

    11. Контролінг у бізнесі. Методологічні та практичні засади побудови контролінгу в організаціях / А.М. Кармінський, Н.І. Оленєв, А.Г. Примак, С.Г. Фалько. - М .: Фінанси і статистика, 1998. - 256 с.

    12. Орлов А.І. Завдання оптимізації і нечіткі змінні. - М .: Знание, 1980. - 64 с.

    13. The teaching of statistics / Studies in mathematics education. Vol.7. - Paris, UNESCO, 1989. - 258 pp.

    14. Єрмаков С.М. Метод Монте-Карло і суміжні питання. - М .: Наука, 1975. - 471 с.

    15. Єрмаков С.М., Михайлов Г.А. Статистичне моделювання. - М .: Наука, 1982. - 296 с.

    16. Іванова І.М. Випадкові числа і їх застосування. - М .: Фінанси і статистика, 1984. - 111 с.

    17. Єрмаков С.М. Про датчиках випадкових чисел. // Заводська лабораторія. 1993. Т.59. No.7. С.48-50.

    18. Неуймін Я.Г. Моделі в науці і техніці. Історія, теорія, практика. - Л .: Наука, 1984. - 190 с.

    19. Моїсеєв Н.Н. Математичні завдання системного аналізу. - М .: Наука, 1981. - 488 с.

    20. Нейлор Т. Машинні імітаційні експерименти з моделями економічних систем. - М .: Світ, 1975. - 500 с.

    21. Ефрон Б. Нетрадиційні методи багатовимірного статистичного аналізу. - М .: Фінанси і статистика, 1988. - 263 с.

    22. Орлов А.І. Про реальні можливості бутстрепа як статистичного методу. // Заводська лабораторія. 1987. Т.53. No.10. С.82-85.

    23. Бестенс Д.Е., Берт В.М. ван дер, Вуд Д. Нейронні мережі і фінансові ринки: прийняття рішень в торгових операціях. - М .: ТВП, 1998..

    24. Орлов А.І., Жихарєв В.Н., Кольцов В.Г. Новий економетричний метод "ЖОК" оцінки результатів взаємовпливів факторів в інженерному менеджменті // Проблеми технології, управління і економіки / Під загальною редакцією к. Е. н. Панкова В.А. Ч.1. Краматорськ: Донбаська державна машинобудівна академія, 1999. С.87-89.