Странное тестовое, которое проверяет LLM

Странное тестовое, которое проверяет LLM

На днях узнала, что одна из российских компаний даёт тестовое продактам: провести дискавери и создать прототип — и всё это с LLM за 2–4 часа.

В ответе нужно описать шаги с промптами, а также саммари с результатами.

При этом проверяют задание они тоже с помощью LLM — говорят, по своим критериям.

Скажу сразу: в текущей формулировке задание считаю плохим. Оно помогает отсечь только тех, кто либо забил на него, либо кто не слышал о LLM.

Почему так:

1. Что мы проверяем? Если хотим посмотреть, какие AI-инструменты знает кандидат, то нужно просить делать упор на разнообразие инструментов и аргументацию их выбора. Если продуктовые скиллы, то нужно делать упор на то, как человек умеет валидировать результаты LLM. А это уже выходит за скоуп «сделай всё с LLM».

2. Из первого пункта вытекает, что в тестовом критически важны критерии оценки. В зависимости от них будет по-разному строиться презентация результатов. Без них кандидаты играют в угадайку — верно ли они определили критерии оценки. В итоге в преселекте останутся кандидаты, которые: а) угадали, что вы хотите от них увидеть б) прогнали саммари через LLM и поправили те части, которые LLM «не понравились»

3. Но если у нас есть критерии, то возникает другая проблема: Кандидаты просто включат эти критерии в промпт, и отредактируют саммари так, чтобы оно проходило проверку. Опять получается ерунда.

Как можно было бы сделать - идем от цели: 1. Если хотим получить демо инструментов, которые знает кандидат — просим аргументировать выбор инструментов. Держим в голове, что это тоже можно нагуглить за выходные. Возможно, личное общение тут помогло бы.

2. Если хотим понять продуктовое мышление — даём продуктовую задачу и не ограничиваем, что всё должно быть сделано с LLM. Просим кандидата презентовать итог. Пусть сам решает, когда уместно использовать LLM и до какой степени. Главное, чтобы он дошёл до цели, и его размышления были логичны.

3. А вообще, лучше любых тестовых говорят прошлые проекты. Если кандидат может в режиме онлайн показать и рассказать, как и в каких случаях он работал с LLM, что билдил с их помощью — это будет лучше тысячи тестовых.

#PG_размышления