Из курса про ИИ-агентов:
Moving from vague criteria to operational definitions
To build an effective rubric, you must move away from vague quality descriptions and establish operational definitions. An operational definition is a clear, unambiguous definition of a quality attribute in measurable terms. If five people grade an output using an operational definition, they must all arrive at the same rating.
For example, instructing an annotator or an autorater to check if a chatbot response «sounds professional» is highly subjective.
Instead, you must operationalize «professional» into concrete criteria:
- The chatbot does not apologize in the first sentence.
- The chatbot uses an active voice.
- The chatbot directs the user to a clear next step.
Да в целом я бы сказал, что на людей это можно растянуть, или даже вернее обратное. Эти правила растут из того, как мы оцениваем реальных людей, например в том же корпоративном чате, на удалёнке, большой разницы тут нет. Как говорил мне один коллега: в корпоративном мире никогда не извиняйся, но благодари.
Разница между агентом и человеком размывается всё больше, особенно когда вы не общаетесь лично, причём агентам я начинаю доверять всё больше: у них хотя бы есть метрики и промты, а у людей — только совесть.