Хиймэл оюуныг байгууллагын үйл ажиллагаанд нэвтрүүлэх дараагийн шат аль хэдийн эхэлжээ. Өмнө нь AI бидний асуултад хариулж, мэдээлэл боловсруулж, зөвлөмж өгдөг байсан бол өнөөдөр AI агентууд бие даан шийдвэр гаргаж, системүүдтэй харилцаж, тодорхой үйлдлүүдийг хүний оролцоогүйгээр гүйцэтгэх болсон.
Гэхдээ нэг чухал асуулт урган гарч байна.
Хэрэв AI агент буруу шийдвэр гаргаж, байгууллагад хохирол учруулбал бид яагаад ийм шийдвэр гаргасныг нь нотолж чадах уу?
Жишээлбэл, AI агент нийлүүлэгчтэй байгуулсан гэрээг цуцалсан, хэрэглэгчид буруу хэмжээний төлбөрийн буцаалт олгосон, эсвэл нууц мэдээллийг зөвшөөрөлгүй систем рүү дамжуулсан гэж төсөөлье.
Байгууллагын удирдлага шалтгааныг нь асуухад инженерүүд лог бүртгэлээ нээж үзнэ. Хэдэн мянган мөр үйл явдал, цагийн тэмдэглэгээ, API дуудлага, системийн хариу бүгд байна.
Гэвч тэдгээрээс AI яагаад яг тэр шийдвэрийг сонгосныг тайлбарлаж чадахгүй бол яах вэ?
Энэ бол өнөөдөр AI-ийн засаглал, аудитын өмнө тулгарч буй бодит сорилт юм.
1. Лог бүртгэл ба шийдвэрийн бүртгэл хоёр өөр ойлголт
Уламжлалт программ хангамжид лог бүртгэл хангалттай гэж үзэх тохиолдол олон байсан.
Учир нь программ тодорхой оролтын өгөгдөлд урьдчилан бичигдсэн логикийн дагуу хариу үйлдэл үзүүлдэг. Оролтын мэдээлэл болон программын хувилбар тодорхой байвал тухайн үйлдлийг дахин ажиллуулж, үр дүнг нь шалгах боломжтой.
Харин AI агентын хувьд энэ зарчим бүрэн үйлчлэхгүй.
Нэг ижил нөхцөлд AI өөр өөр хариулт гаргаж болно. Мөн нэг шийдвэр гаргахын тулд олон эх сурвалжаас мэдээлэл авч, хэд хэдэн хэрэгсэл ашиглаж, бусад AI агенттай харилцаж, дараа нь бодит системд үйлдэл хийж болно.
Үүнээс гадна:
Ашигласан AI загвар шинэчлэгдэж болно.
Системийн заавар буюу prompt өөрчлөгдөж болно.
Холбогдсон API болон хэрэгслүүдийн тохиргоо өөрчлөгдөж болно.
Нэг агентын шийдвэр нөгөө агентын үйлдлээр дамжин хэрэгжиж болно.
Эрх олгосон хүн болон үйлдэл гүйцэтгэсэн агент өөр өөр байж болно.
Тиймээс зөвхөн ямар үйлдэл хэзээ хийгдсэнийг бүртгэх нь хангалтгүй. Тухайн шийдвэр ямар мэдээлэлд үндэслэсэн, ямар дүрэм баримталсан, хэн зөвшөөрсөн, ямар үр дагавар үүсгэсэн гэдгийг хамтад нь хадгалах шаардлагатай.
2. AI-ийн шийдвэрийг сэргээн тогтооход шаардлагатай дөрвөн үндсэн бүрэлдэхүүн
CIO-ийн нийтлэлд Maman Ibrahim AI агентын шийдвэрийг дараа нь сэргээн тогтоохын тулд дөрвөн төрлийн мэдээллийг зайлшгүй бүртгэх шаардлагатайг онцолжээ.
Нэгдүгээрт. Мэдлэг (Knowledge) – AI тухайн үед ямар мэдээлэлтэй байсан бэ?
AI агент шийдвэр гаргах үедээ хэрэглэгчээс ямар хүсэлт авсан, ямар баримт бичиг уншсан, ямар мэдээллийн сангаас өгөгдөл татсан, ямар API-ийн хариу авсан зэргийг хадгалах хэрэгтэй.
Зөвхөн баримт бичгийн нэр эсвэл ID-г бүртгэх нь хангалтгүй. Учир нь тухайн баримт бичиг дараа нь өөрчлөгдөж болно.
Зургаан сарын дараа аудит хийхэд AI тухайн үед яг ямар мэдээлэл харж байсныг сэргээн гаргаж ирж чадах ёстой.
Мөн ашигласан загварын хувилбар, prompt-ийн хувилбар, системийн тохиргоог хадгалах шаардлагатай.
Хоёрдугаарт. Үндэслэл (Basis) – AI яагаад ийм шийдвэр сонгосон бэ?
AI ямар зорилго биелүүлэхээр ажиллаж байсан, ямар дүрэм журам хэрэглэсэн, ямар босго үзүүлэлтээр үйлдэл хийхээр шийдсэн, боломжит хувилбаруудаас алийг нь сонгосон зэргийг бүртгэх хэрэгтэй.
Жишээлбэл, хэрэглэгчийн хүсэлтийг хүлээн авахдаа AI гурван боломжит шийдлээс нэгийг сонгосон бол зөвхөн эцсийн үйлдлийг бус, сонголтод нөлөөлсөн бодлого, шалгуур, шийдвэрийн үндэслэлийг хадгалах нь чухал.
Энд нэг зүйлийг ялгаж ойлгох хэрэгтэй. AI-ийн дотоод нейрон сүлжээний бүх процессыг тайлбарлах буюу Model Interpretability болон шийдвэрийг аудитын зорилгоор сэргээн тогтоох хоёр ижил зүйл биш. Байгууллага AI-ийн дотоод механизмыг бүрэн тайлбарлаж чадахгүй байсан ч ашигласан өгөгдөл, бодлого, зорилго, зөвшөөрөл, үр дүнг баримтжуулж чадна.
Гуравдугаарт. Эрх мэдэл (Authority) – AI-д хэн ямар эрх олгосон бэ?
Энэ бол хамгийн чухал асуудлуудын нэг.
AI агент өөрийн санаачилгаар хүссэн үйлдлээ хийх ёсгүй. Түүнд ямар системд хандах, ямар мэдээлэл унших, ямар үйлдэл гүйцэтгэх, ямар тохиолдолд хүний зөвшөөрөл авах шаардлагатайг урьдчилан тогтоосон байх ёстой.
Жишээлбэл, AI агент хэрэглэгчийн хүсэлтийг боловсруулж болох ч банкны шилжүүлэг хийхийн өмнө эрх бүхий ажилтны зөвшөөрөл авах ёстой байж болно.
Иймд дараах мэдээллийг бүртгэнэ:
AI агентад ямар эрх олгосон;
Эрхийг хэн олгосон;
Ямар зөвшөөрлийн шат дамжлагыг давсан;
Бусад агент руу ямар үүрэг шилжүүлсэн;
Эцсийн шийдвэрийн хариуцлагыг хэн хүлээх.
"AI өөрөө хийсэн" гэдэг тайлбар байгууллагын удирдлага, аудитор, зохицуулагчийн өмнө хариуцлагаас чөлөөлөх үндэслэл болохгүй.
Дөрөвдүгээрт. Үр дагавар (Consequence) – AI-ийн шийдвэрийн дараа юу өөрчлөгдсөн бэ?
AI агент шийдвэр гаргасны дараа ямар системд үйлдэл хийсэн, ямар мэдээлэл өөрчлөгдсөн, ямар төлбөр шилжсэн, ямар хэрэглэгчид нөлөөлсөн, дараагийн шатанд ямар үйл явц эхэлсэн зэргийг бүртгэх шаардлагатай.
Зөвхөн AI агентын систем доторх үйлдлийг бүртгэхэд хангалтгүй. Түүний үйлдлээс үүдэн бусад системд гарсан өөрчлөлтүүдийг мөн анхны шийдвэртэй холбож чаддаг байх хэрэгтэй.
Эцэст нь буруу шийдвэр гарсан тохиолдолд тухайн үйлдлийг буцаах боломжтой эсэх, буцаасан эсэхийг ч тогтоох шаардлагатай.
3. AI-ийн аудитад ямар шинэ шаардлага тавигдах вэ?
Энэ асуудал зөвхөн технологийн сайн туршлагаар хязгаарлагдахгүй. Олон улсын зохицуулалтын орчин ч мөн энэ чиглэлд хөгжиж байна.
Тухайлбал, Европын Холбооны AI Act-ийн хүрээнд өндөр эрсдэлтэй AI системүүдийн үйл ажиллагааг мөрдөн тогтоох боломжтой автомат лог бүртгэлтэй байх шаардлага тавьдаг. Мөн тодорхой нөхцөлд AI-ийн шийдвэрт өртсөн этгээд тайлбар авах эрхтэй.
Эндээс нэг чухал зарчим харагдана.
Шийдвэрийг тайлбарлахын тулд эхлээд тухайн шийдвэрийг сэргээн тогтоох боломжтой байх ёстой.
Хэрэв байгууллага AI ямар мэдээлэл ашигласан, ямар бодлого баримталсан, хэн ямар эрх олгосон, ямар үр дүн үүссэнийг нотолж чадахгүй бол тайлбар нь бодит нотолгоо бус, таамаг төдий болно.
Тиймээс AI-ийн аудит нь зөвхөн алгоритмын зөв ажиллагааг шалгах бус, өгөгдөл, эрх мэдэл, шийдвэр, үр дагаврын бүхэл бүтэн гинжин хэлхээг шалгах шаардлагатай болж байна.
4. Байгууллагууд одооноос юу хийх хэрэгтэй вэ?
Энэ асуудлыг шийдэхийн тулд бүх AI үйлдлийг ижил түвшинд бүртгэх шаардлагагүй. Харин шийдвэрийн эрсдэл, нөлөөлөл, буцаах боломжийг харгалзан ангилах нь зүйтэй.
Нэгдүгээр алхам: Бодит аудитын туршилт хийх.
Өнгөрсөн гурван сарын хугацаанд AI агентын гаргасан нэг шийдвэрийг сонгоод тухайн шийдвэрийг зөвхөн одоо байгаа бүртгэлүүдэд тулгуурлан сэргээн тогтоож үзэх хэрэгтэй.
AI ямар мэдээлэл ашигласан, ямар үндэслэлээр сонголт хийсэн, хэн зөвшөөрсөн, ямар үр дагавар гарсныг бүрэн тайлбарлаж чадах эсэхийг шалгана.
Хоёрдугаар алхам: Шийдвэрийг эрсдэлийн түвшнээр ангилах.
Мөнгө шилжүүлэх, гэрээ цуцлах, хэрэглэгчийн эрх өөрчлөх, хувийн мэдээлэл дамжуулах зэрэг өндөр нөлөөтэй шийдвэрт дөрвөн бүрэлдэхүүний бүрэн бүртгэл шаардлагатай.
Харин баримт бичгийн формат өөрчлөх, мэдээлэл ангилах зэрэг бага эрсдэлтэй, буцаах боломжтой үйлдэлд хялбаршуулсан бүртгэл ашиглаж болно.
Гуравдугаар алхам: Бүртгэлийн бүрэн бүтэн байдлыг хамгаалах.
AI өөрийн хийсэн үйлдлийн бүртгэлийг өөрөө өөрчлөх, устгах боломжгүй байх ёстой.
Бүртгэлийг тусдаа орчинд хадгалах, хандалтын эрхийг хязгаарлах, өөрчлөлтийг илрүүлэх боломжтой болгох, хадгалах хугацааг эрсдэл болон хууль, зохицуулалтын шаардлагад нийцүүлэх хэрэгтэй.
Эдгээр нь санхүүгийн болон мэдээллийн аюулгүй байдлын салбарт аль хэдийн хэрэглэгддэг хяналтын зарчмууд бөгөөд AI-ийн орчинд ч адилхан ач холбогдолтой.
5. Монголын байгууллагуудад ямар хамааралтай вэ?
Монголын байгууллагууд AI-г хэрэглэгчийн үйлчилгээ, зээл судалгаа, хүний нөөц, баримт бичиг боловсруулах, мэдээлэл боловсруулах, дотоод үйл ажиллагааг автоматжуулах зэрэг олон чиглэлд ашиглаж эхэлж байна.
Цаашид AI агентууд зөвхөн зөвлөмж өгөх бус, байгууллагын үндсэн системүүдтэй холбогдон бодит үйлдэл гүйцэтгэх нь нэмэгдэнэ.
Энэ үед бид дараах асуултуудад хариулттай байх хэрэгтэй.
AI-д ямар мэдээлэл ашиглах эрх олгосон бэ?
Тэр мэдээллийг ямар зорилгоор ашигласан бэ?
AI ямар дүрэм, шалгуурын дагуу шийдвэр гаргасан бэ?
Хүний оролцоо, зөвшөөрөл шаардлагатай үйлдлүүдийг хэрхэн хянаж байна вэ?
Алдаатай шийдвэр гарвал хэн хариуцлага хүлээх вэ?
Тухайн шийдвэрийн үр дагаврыг бүрэн мөрдөн тогтоож чадах уу?
Эдгээр асуулт нь зөвхөн AI хөгжүүлэгч байгууллагын асуудал биш. AI-г худалдан авч ашиглаж байгаа байгууллага, түүний удирдлага, мэдээллийн аюулгүй байдал, дотоод аудит, чанарын удирдлагын нэгжүүдийн хамтын хариуцлага юм.
AI-ийн системийг нэвтрүүлэхдээ зөвхөн ажиллагаа, хурд, үр ашгийг үнэлээд зогсохгүй, хяналт, найдвартай байдал, аюулгүй байдал, аудитлагдах боломжийг хамтад нь үнэлэх шаардлагатай.
Дүгнэлт: AI-ийн шийдвэрийг хэн ч тайлбарлаж чадахгүй бол тэр системд бид хэрхэн итгэх вэ?
Бид программ хангамжийн чанарыг үнэлэхдээ зөвхөн ажиллаж байгаа эсэхийг шалгадаггүй. Зөв ажиллаж байгаа эсэх, алдаа гарсан үед илрүүлэх боломжтой эсэх, шаардлагатай үед хянаж, нотолж, засах боломжтой эсэхийг үнэлдэг.
AI агентын хувьд ч энэ зарчим өөрчлөгдөх ёсгүй.
Гэхдээ нэг ялгаа бий. Уламжлалт программын алдааг код, оролт, гаралтаар нь мөрдөх боломжтой байсан бол AI агентын шийдвэрийг ойлгохын тулд мэдээлэл, үндэслэл, эрх мэдэл, үр дагаврыг хамтад нь сэргээн тогтоох шаардлагатай болж байна.
Ирээдүйд байгууллагууд AI хэдэн асуултад хариулсан, хэдэн ажлыг автоматжуулсан гэдгээрээ бус, AI-ийн гаргасан шийдвэр бүрийг шаардлагатай үед нотолж, тайлбарлаж, хариуцлага тооцож чадах эсэхээрээ итгэлцлийг бий болгох болно.
AI-д итгэхийн тулд түүнийг зүгээр ажиллуулах хангалтгүй. Түүний юу хийснийг, яагаад хийснийг, хэний эрхээр хийснийг, ямар үр дагавар үүсгэснийг мэддэг байх хэрэгтэй.
Энэ бол AI-ийн эрин үеийн чанар, засаглал, аудитын шинэ шаардлага юм.
Эх сурвалж: Maman Ibrahim, CIO, “Your AI agents have audit logs. Can you reconstruct their decisions?”, 2026 оны 10 дугаар сарын 28.
https://www.cio.com/article/4241123/your-ai-agents-have-audit-logs-can-you-reconstruct-their-decisions.html
Энэхүү нийтлэл нь эх сурвалжийн санаанд тулгуурласан, Монголын байгууллагуудын нөхцөлд зориулан боловсруулсан аналитик нийтлэл болно.
