Стандартный совет по внедрению инструментов ИИ — перестать спорить и измерять. Дайте каждому варианту одинаковые репрезентативные задачи, отслеживайте время слияния, количество дефектов, доработку, анализируйте усилия и превратите предпочтение в решение, подкрепленное доказательствами....
Стандартный совет по внедрению инструментов ИИ — перестать спорить и измерять. Дайте каждому варианту одинаковые репрезентативные задачи, отслеживайте время слияния, количество дефектов, доработку, анализируйте усилия и превратите предпочтение в решение, подкрепленное доказательствами. Я согласен с этим, продолжаю это делать, и именно это я и сделал в трех отдельных исследованиях в этом году.
Вот что никто не пишет в этом же абзаце: то, чем вы измеряете, тоже непроверенный софт. В этих трех исследованиях каждый инструмент, который я построил, сломался хотя бы один раз. Каждый перерыв указывал на результат, которого я уже ожидал. И всех поймали одинаково — они пошли и посмотрели на саму вещь, а не на то, что о ней сказал мой инструмент.
Это не признание, это образец с механизмом, и от этого механизма легко защититься, если знать его форму.
1. Прибор наследует вашу гипотезу.
Когда я читал пятидневный набор сообщений между сеансами параллельного кодирования, одной из вещей, которые мне хотелось, был протокол взаимного исключения: один сеанс говорит: подождите, я в этом файле, другой говорит: «Давай». Я написал для этого лексический детектор. Он нашел 19 последовательностей-кандидатов, из которых только 5 закрылись, и я записал вывод.