崗位要求：
1、大模型深度使用者：了解主流大模型的特點(diǎn)與區(qū)別，具備扎實(shí)的 Prompt Engineering 能力，熟練掌握 CoT、ReAct 等提示工程技術(shù)。
2、具備 AI Agent 認(rèn)知能力：深入理解 AI Agent 的架構(gòu)設(shè)計(jì)，掌握 Tool Use、Memory、Planning 等核心機(jī)制，有 LangChain、AutoGen 或同類框架使用經(jīng)驗(yàn)者優(yōu)先考慮。
3、構(gòu)建大模型評(píng)測(cè)基準(zhǔn)：搭建覆蓋音頻、視頻、圖像、文本等多模態(tài)的評(píng)估體系，設(shè)計(jì)科學(xué)合理的評(píng)測(cè)指標(biāo)，并實(shí)現(xiàn)評(píng)測(cè)工具鏈的自動(dòng)化。
4、評(píng)測(cè)數(shù)據(jù)自動(dòng)化生成與分析：搭建評(píng)測(cè)數(shù)據(jù)集的生產(chǎn)流程，支撐模型評(píng)測(cè)與結(jié)果分析工作；
5、優(yōu)先條件：計(jì)算機(jī)、人工智能、語(yǔ)言學(xué)等相關(guān)專業(yè)方向。在 GitHub、HuggingFace 上有開(kāi)源項(xiàng)目貢獻(xiàn)，或運(yùn)營(yíng)技術(shù)博客者優(yōu)先。熟悉 Python，可編寫(xiě)基礎(chǔ)腳本用于數(shù)據(jù)處理或評(píng)測(cè)自動(dòng)化。

崗位職責(zé)：
1、數(shù)據(jù)構(gòu)建
（1）參與大模型訓(xùn)練所需高質(zhì)量指令數(shù)據(jù)的撰寫(xiě)工作。
（2）設(shè)計(jì)復(fù)雜場(chǎng)景下的數(shù)據(jù)樣本，涵蓋音視圖文多模態(tài)內(nèi)容，包括多輪對(duì)話、工具調(diào)用、代碼執(zhí)行、任務(wù)規(guī)劃等多種任務(wù)類型的數(shù)據(jù)。
2、模型評(píng)估
（1）參與制定評(píng)估標(biāo)準(zhǔn)，對(duì)大模型輸出結(jié)果進(jìn)行多維度評(píng)分。
（2）構(gòu)造“對(duì)抗性”測(cè)試數(shù)據(jù)，探索模型在邊界情況下的行為表現(xiàn)。
（3）系統(tǒng)性地評(píng)估各類模型，輸出詳盡的 Badcase 分析報(bào)告，為算法優(yōu)化提供切實(shí)可行的改進(jìn)建議。