понедельник, 17 марта 2014 г.

Кейс по оценке эффективности обучения (половинчатый и бестолковый как большая часть практических кейсов)

Автор:  Эдуард Бабушкин

Для внутренних T&D кейс может показаться не под их задачи, хотя, уверен, что во внутреннем T&D есть большой кластер задач, который имеет аналогичное решение. Когда я был HR, я постоянно сталкивался с подобными задачами. Почему половинчатый и бестолковый - позже.

Кейс

Проводили вебинар Алексея Королькова Автоматизация деятельности корпоративного учебного центра с помощью системы WebTutor. Анонс вебинара был размещен загодя, еще в декабре. На вебинар зарегистрировалось 146 человек, пришло 68 из записавшихся. 
Отсюда следует задача: что можно сделать, чтобы приходило больше?
Одна из гипотез (даже скорее области проблемных вопросов): на посещаемость вебинара влияет промежуток времени, за который до начала вебинара зарегистрировался участник (ибо те, кто зарегистрировался заранее, уже остывают и теряют актуальность). И зная некую критическую дату, давать рекламу вебинара, которое обеспечит, во - первых, максимальный приток участников, во -вторых, максимальную конверсию. 
Реальная бизнес задача? Ок.

Решение

Для анализа у нас есть данные, представленные в приложении. Мы знаем очередность регистрации участников и факт участия / не участия в вебинаре (ну просто такая статистика, другой нет). В данном случае любой начинающий аналитик (здесь незамысловая реклама своего семинара Аналитика для HR - присоединяйтесь, если вы хотите научиться решать такие задачки) применяет "наш любимый критерий Манн Уитни" и получает p-value < 0, 000....
Это первая и последняя радость в исследовании.
Мы показали, что есть значимые различия в порядке регистрации между теми, кто участвовал в вебинаре, и теми, кто не участвовал. И, скорее всего, это значит, что дата регистрации влияет на выбор регистранта принять участие или нет. 
Половинчатый и бестолковый кейс потому, что это знание нам мало что дает. Мы знаем, что чем ближе регистрация к дате самого вебинара, тем вероятность участия в вебинаре выше (люди, далекие от аналитики, скажут: "ну это же очевидно! чё вы нам тут ерунду втюхиваете, которая и так понятна"), но мы не можем этим управлять: мы не можем сказать, в какой момент регистрации участие в вебинаре становится значимым. 
В этой ситуации у нас два пути:
  • заводить N вебинаров с разными датами начала регистрации и проведения, причем с одинаковыми промежутками времени должно быть несколько вебинаров (уже сама по себе интересная задача для анализа: сколько вебинаров нужно провести, чтобы ответить на вопрос о критичной дате вывешивания анонса. И она решается не так тривиально, поскольку мы оцениваем как минимум два параметра: конверсию участников (% участников от числа регистрантов) и само максимальное число регистрантов, которое также является производной количества дней. Т.е. первую задачу мы бы просто решили с помощью логистической регрессии, выявив вес фактора "число дней между регистрацией и проведением вебинара", но вторая выводит нас на задачу оптимизации двух параметров. Красивая задачка, правда?
  • завести сбор информации о дате регистрации. Тогда мы получаем более гибкий инструмент анализа.
Половинчатый пост потому, что чаще всего у нас нет ресурса для сбора данных о дате регистрации. Наш айтишник скажет, что это невозможно (реже, что некогда, или начальник скажет, что это не в приоритете, и т.п..). И вы никогда не докажете, что может быть один потенциальный участник вебинара, который мог прийти, но не пришел, и потому он не купил ваш продукт, а стоимость покупки продукта значительно превышает работу программиста по доработке. 
Знакома вам такая ситуация?

Приложение. Таблица регистрации участников на вебинар 

Левая колонка - участвовал в вебинаре или нет, правая - каким по счету зарегистрировался (т.е. чем больше номер, тем ближе к дате вебинара). 
Участвовал (1 -да, 0 -нет)
Каким по счету зарегистрировался
0
1
0
2
0
3
0
4
0
5
0
6
0
7
0
8
0
9
0
10
0
11
1
12
1
13
0
14
1
15
1
16
0
17
0
18
0
19
1
20
0
21
0
22
0
23
1
24
0
25
0
26
1
27
0
28
0
29
0
30
1
31
1
32
0
33
1
34
1
35
0
36
0
37
0
38
0
39
0
40
1
41
1
42
0
43
1
44
1
45
0
46
0
47
1
48
1
49
0
50
0
51
1
52
0
53
0
54
0
55
1
56
1
57
0
58
0
59
1
60
1
61
0
62
0
63
0
64
1
65
0
66
0
67
1
68
1
69
0
70
1
71
0
72
1
73
1
74
1
75
1
76
1
77
1
78
0
79
0
80
0
81
1
82
1
83
0
84
1
85
1
86
0
87
1
88
1
89
0
90
0
91
1
92
1
93
1
94
1
95
1
96
0
97
1
98
1
99
0
100
1
101
1
102
0
103
1
104
1
105
1
106
0
107
1
108
1
109
1
110
1
111
1
112
1
113
0
114
1
115
0
116
1
117
1
118
1
119
0
120
0
121
0
122
1
123
0
124
0
125
0
126
0
127
1
128
1
129
0
130
0
131
1
132
1
133
1
134
1
135
1
136
1
137
1
138
1
139
1
140
1
141
1
142
1
143
1
144
1
145

Источник: Кейс по оценке эффективности обучения (половинчатый и бестолковый как большая часть практических кейсов)

Комментариев нет:

Отправить комментарий