Энэ нь юунд ашиглагддаг вэ? Frontier, Оак Рижийн үндэсний лабораторид ажилладаг дэлхийн хамгийн хүчирхэг, хамгийн хурдан суперкомпьютер? Реакторын загварчлалаас эхлээд цаг уурын таамаглал хүртэл.
Энэ асуулт илүү өргөн агуулгатай. Хүн бүр компьютертэй бол яагаад ийм хүчирхэг машин бүтээдэг юм бэ гэж надаас байнга асуудаг. Мэдээжийн хэрэг, суперкомпьютер бол асар их хэмжээний эрчим хүч хэрэглэдэг маш үнэтэй машинууд боловч бидний тэднээс олж авсан зүйл нь илүү үнэ цэнэтэй юм. Өнөөдөр би үүнийг Frontier суперкомпьютерийн жишээн дээр тайлбарлахыг хичээх болно.
Мөн сонирхолтой: OpenAI-ийн түүх: Энэ нь юу байсан, компанийг юу хүлээж байна
Яагаад бидэнд супер компьютер хэрэгтэй байна вэ?
Товчхондоо суперкомпьютерууд асар их мэдээллийн урсгалыг боловсруулж чаддаг. Манай дэлхий маш хурдацтай өөрчлөгдөж байна, хүн төрөлхтөн боловсруулах, дүн шинжилгээ хийх, бүлэглэх, хадгалах шаардлагатай асар том мэдээллийн санг бий болгосон. Энэ нь жишээлбэл, шинэ, хямд, илүү үр дүнтэй эм, илүү бат бөх материал олж авах, цаг уурын өөрчлөлтийг олон арван жилийн турш урьдчилан таамаглах гэх мэт бидэнд тусална. Суперкомпьютерууд нь хайлуулах реактор гэх мэт бидний бүтээх гэж буй объектуудын үйл ажиллагааг загварчлах боломжийг олгодог. Эдгээр нь хамгийн хурдан суперкомпьютеруудын хэрэглээний зарим жишээ юм. Тиймээ, тэдгээрийг үйлдвэрлэх, засвар үйлчилгээ хийхэд маш үнэтэй боловч үнэ цэнэтэй юм.
Гэхдээ үндсэн зүйлээс эхэлье. Супер компьютер гэж юу вэ? Энэ талаар тодорхой тодорхойлолт хараахан гараагүй байна. Гэсэн хэдий ч одоогийн суперкомпьютер бүрийн онцлог шинж чанар нь маш өндөр тооцоолох хүчин чадал юм. Хялбаршуулсан тодорхойлолтыг интернетээс олж болно, үүний дагуу суперкомпьютер нь хамгийн багадаа 1 терафлопс тооцоолох хүчин чадалтай машин юм. өөрөөр хэлбэл 1012 (триллион) хөвөгч цэгийн үйлдэл секундэд. Энэ нь энгийн гэрийн компьютертэй харьцуулахад маш их юм.
Хэрэв өмнө нь компьютерийн хурдыг IPS (секундэд заавар) хэмждэг байсан бол суперкомпьютеруудад зориулсан шинэ нэгжийг зохион бүтээх шаардлагатай болсон - FLOPS, өөрөөр хэлбэл секундэд хөвөх цэгийн үйлдлүүд. Энэ тоо өндөр байх тусам компьютер илүү хүчирхэг болно.
Мэдээжийн хэрэг, эдгээр машинуудын гол цөм болсон процессоруудын гүйцэтгэл байнга хувьсан өөрчлөгдөж, өссөөр байдаг тул тодорхой тооцооллын босго дээр суурилсан арга нь маш хурдан хуучирдаг. Шинэ процессорууд гарах бүрт орчин үеийн компьютеруудын бүтээмж нэмэгддэг. Гэсэн хэдий ч тэдгээрийг барих нь маш хэцүү бөгөөд санхүүгийн хувьд үнэтэй байдаг.
Мөн уншина уу: Хүний тархины төсөл: Хүний тархийг дуурайх оролдлого
Аль суперкомпьютерууд хамгийн хурдан вэ?
Энэ асуудлын талаарх хамгийн сүүлийн үеийн мэдээлэл бидэнд байна. 2023 оны арваннэгдүгээр сард дэлхий дээрх хамгийн хүчирхэг компьютеруудын гүйцэтгэлийн үнэлгээг олон жилийн турш тогтмол нийтэлж ирсэн Top500.org вэб сайт нь одоогийн байдлаар хамгийн үр ашигтай 62 супер компьютерийг танилцуулдаг Топ 500 зэрэглэлийн хамгийн сүүлийн буюу 500 дахь хэвлэлийг нийтэлжээ. .
Frontier систем нь манай гараг дээрх хамгийн үр ашигтай суперкомпьютер хэвээр байна. Энэхүү суперкомпьютер нь дэлхийн хамгийн анхны exascale тооцооллын систем бөгөөд өөрөөр хэлбэл хурд нь 1 эксафлопсоос хэтэрсэн байна. Фронтиер өөрөө АНУ-ын Теннесси мужийн Оак Ридж хотод байрладаг Үндэсний лабораторид байрладаг. Энэхүү супер компьютер нь 1193 EFlops (эксафлоп нь квинтиллон буюу 10) HPL оноотой (High Performance LINPACK - суперкомпьютеруудын түүхий гүйцэтгэлийг үнэлдэг тусгай тест) одоогийн тэргүүлэгч юм.18 секундэд хөвөх цэгийн тооцоо).
Харьцуулбал: хамгийн хүчирхэг чипийн хурд Apple M1 Ultra нь ойролцоогоор 21 терафлоп (нэг их наяд FLOPS) юм. Энэ тоо асар их, энэ бол баримт. Гайхалтай нь 2002 онд бүр илүү хурдтай компьютер гарч ирсэн нь Японы технологийн аварга NEC корпорацийн Earth Simulator супер компьютер юм. Түүний хурд 36 терафлопс байв!
Frontier нь AMD EPYC 64C 2 GHz процессоруудыг ашигладаг бөгөөд хамгийн сүүлийн үеийн HPE Cray EX235a архитектур дээр суурилдаг. Энэ нь 9408 AMD EPYC процессор болон 37632 AMD Instinct MI250x хурдасгууруудаас угсардаг. Нийтдээ систем нь 8 процессор болон график цөмтэй. Нэмж дурдахад, Frontier нь 699 GFlops/watt эрчим хүчний үр ашигтай бөгөөд өгөгдөл дамжуулахад HPE Slingshot 904 сүлжээг ашигладаг. Тиймээс туршилтын явцад 52,59 хүртэл эксафлоп үйлдвэрлэх боломжтой. Оргил гүйцэтгэл нь 11 эксафлоп болж дээд амжилт тогтоожээ. Төхөөрөмжийн үнэ 1,1 сая доллараар үнэлэгдэж байна.
Энэ бол флоп горимд ажилладаг дэлхийн анхны бөгөөд одоогоор цорын ганц супер компьютер юм. Frontier жилийн өмнө тэргүүлэгч болсон ч 2023 оны 2024-р сарын чансаанд хэн ч түүний байр сууринд халдахыг ч зөвшөөрөөгүй. Одоогийн байдлаар оны эхээр Америкийн супер компьютер дэлхийн хамгийн бүтээмжтэй байна.
Гэвч хэсэг хугацааны дараа тэр Америкийн өөр нэг машин болох Аврора суперкомпьютерийн давуу талыг хүлээн зөвшөөрөх шаардлагатай болж магадгүй гэж эрдэмтэд аль хэдийн санал болгож байна.
Хамгийн сүүлийн үеийн чансааны дагуу АНУ-ын Иллинойс мужийн Argonne Leadership Computing Facility-д ажиллаж байгаа Intel Sapphire Rapids чип бүхий Aurora шинэ суперкомпьютер нь HPL 585,34 PFlops гүйцэтгэлээр хоёрдугаарт жагсчээ. Хэдийгээр энэ нь Frontier-ийн суперкомпьютерийн гүйцэтгэлийн тал хувь нь боловч Аврора систем хараахан дуусаагүй байгаа бөгөөд төлөвлөсөн эцсийн системийн дөнгөж тал хувь нь ажиллаж байна. Дууссаны дараа Аврорагийн таамагласан гүйцэтгэл 2 EFlops-ээс хэтрэх магадлалтай. Intel-ийн бүтээсэн Аврора супер компьютер нь HPE Cray EX архитектур дээр суурилдаг - Intel Exascale Compute Blade, Intel Xeon CPU Max Series процессорууд болон Intel Data Center GPU Max Series хурдасгууруудыг ашигладаг. Frontier-ийн нэгэн адил HPE Slinghot-11 сүлжээ нь өгөгдөл дамжуулах үүрэгтэй.
Гурав дахь хамгийн үр ашигтай суперкомпьютер бол Eagle хэмээх үүлэнд суурилсан шинэ систем юм Microsoft АНУ дахь Azure. Ийгл бол үүлний суперкомпьютер бөгөөд Топ 500 жагсаалтын гурав дахь байр нь үүлэн системийн хамгийн өндөр амжилт болсон тул энэ нь нэг төрлийн технологийн сонирхолтой зүйл юм. Microsoft Eagle нь 561,2 PFlops HPL гүйцэтгэлтэй, тооцоолох зүрх нь Intel Xeon Platinum 8480C процессор ба хурдасгуур юм. NVIDIA Н100.
Гүйцэтгэл нь Frontier-ээс гурав дахин бага, өнгөрсөн үеийн хамгийн бүтээмжтэй суперкомпьютеруудын нэг болох LUMI-ийн нэг Японы Фугаку суперкомпьютерийг энд дурьдах нь зүйтэй. Хэдийгээр Хятадууд ямар нэгэн хүчирхэг зүйл бүтээсээр байгаа ч энэ бүхэн ирээдүйд бий.
Мөн сонирхолтой: 2024 оны технологийн таамаглал: юу хүлээж байна вэ?
Бидэнд яагаад ийм их тооцоолох хүч хэрэгтэй байна вэ?
Та дэлхий дээрх хамгийн хурдан машинуудын үр ашгийг биширдэг байх, гэхдээ тэдний амжилт нь дээд амжилтыг эвдэх биш, харин хамгийн богино хугацаанд хүссэн тооцооны үр дүнд хүрэх явдал юм. Ямар ч суперкомпьютер хэрэглэгч энэ машиныг имэйл бичих, танилцуулга бэлтгэхэд ашигладаггүй. Ийм машиныг гэрийнхээ төхөөрөмж дээр гүйцэтгэж болох ажлуудыг гүйцэтгэх нь аймшигтай хог хаягдал байх болно. Эцсийн эцэст, суперкомпьютеруудын тооцоолох боломж нь энгийн компьютер дээр байхгүй үйлдлүүдийг хийх боломжийг олгодог.
Бид ямар ажлуудын тухай ярьж байна вэ? Юуны өмнө, бодит ашиг тус авчрах хүмүүсийн тухай бөгөөд эдгээр нь шууд мөнгө болгон хувиргах шаардлагагүй юм. "Frontier" суперкомпьютер бүтээхэд ердөө 600 орчим сая доллар зарцуулсан гэдгийг санах нь зүйтэй. Мэдээжийн хэрэг, түүний ашиглалт, байнгын засвар үйлчилгээний зардал нь бас чухал юм. Энэхүү супер компьютер нь 680 квадрат метр талбайг эзэлдэг бөгөөд 21 МВт цахилгаан зарцуулдаг.
Frontier нь бусад суперкомпьютеруудын нэгэн адил уур амьсгалын загварчлал, хүн төрөлхтөнд нэн чухал шинэ эмүүдийг судлах, үйлдвэрлэх, шинэ материалын технологийн судалгаа гэх мэт ажлуудад ашиглагддаг. Мэдээжийн хэрэг, энэ төрлийн тоног төхөөрөмжийн гүйцэтгэсэн ажлын цар хүрээ нь илүү өргөн бөгөөд жишээлбэл, санхүүгийн, эмнэлгийн, хиймэл дагуулын зураг, физик үзэгдлийн загварчлал болон бусад олон төрлийн асар том мэдээллийн багцад дүн шинжилгээ хийх зэрэг орно. Frontier бол хамгийн анхны суперкомпьютер гэдэг нь бусад суперкомпьютер дээр ч хэцүү даалгавруудыг гүйцэтгэх боломжийг олгодог.
Үүний нэг жишээ нь термоядролын реакторын амьдралын бүх мөчлөгийн загварчлал байж болно. Тийм ээ, энэ бол алдаа биш юм. Дэлхий дээр нэг ч хайлуулах цахилгаан станц байхгүй ч Frontier-ийн хүчирхэг exascale тооцоолох хүчин чадал нь таамагласан хайлуулах реакторын үйлдлийг дуурайж, ийм реактор дахь плазмын үйл ажиллагааг урьдчилан таамаглах боломжтой болгодог. Мэдээжийн хэрэг, дулааны цөмийн энергийг арилжаалах хүртэл ашиг тусын талаар бодоход хэцүү байдаг ч дулааны цөмийн эрчим хүчийг бий болгох, хөгжүүлэхэд хувь нэмрээ оруулах, бүх хүн төрөлхтнийг эрчим хүчний хомсдолоос аврах тооцоолох хүчин чадал ямар ч үнэ цэнэтэй гэдэгт дэлхийн хэн ч эргэлздэггүй. хөрөнгө оруулалт.
Мөн уншина уу: Бүх талаар Microsoft Туслах нисгэгч: ирээдүй эсвэл буруу зам уу?
Суперкомпьютер ба анагаах ухаан
Суперкомпьютерийн хэрэглээний нэг нь химийн бодис, органик нэгдлүүдийн бүтэцтэй холбоотой нарийн төвөгтэй, эрчим хүч их шаарддаг тооцоолол юм. Өгөгдсөн нэгдлүүдийн зан төлөвийг маш нарийн түвшинд дуурайлган хийх чадварын ачаар бие даасан бодисын зан үйлийг нарийвчлан шинжлэх нь шинэ, илүү үр дүнтэй эм боловсруулах боломжийг олгодог хэрэгсэл юм.
2020 онд "Frontier" суперкомпьютер нээлтээ хийхээс өмнө Саммит суперкомпьютертай байсан Оак Рижийн үндэсний лабораторийн эрдэмтэд (энэ машин нь 2018 оны хамгийн үр ашигтай суперкомпьютер байсан, одоо ч ашиглагдаж байгаа бөгөөд үр ашигтайгаар 7-р байранд орсон) 148,8 PFlops) үүнийг хорт хавдрын шинэ төрлийн эмийг бий болгоход ашигласан. Шинэ эм нь урьд өмнө хэрэглэж байсан эмүүдээс 10% илүү сайн, эмчилгээнд илүү үр дүнтэй болсон. Мэдээж 10% нь тийм ч их биш, гэхдээ тэр "жижиг" зөрүүний ачаар амь насаа аварч чадсан өвчтөнүүдэд үүнийг хэлээрэй. Хүний амь нас мэдээжийн хэрэг үнэлж баршгүй зүйл боловч өндөр үр дүнтэй ямар ч эм нь эрүүл мэндийн тогтолцооны асар их нөөцийг хэмнэж, эмчилгээний зардлыг бууруулдаг. Энд Frontier хэрэг болно. Түүний хүчин чадал нь ижил Summit суперкомпьютерийнхээс хамаагүй өндөр юм.
Мөн уншина уу:
- Apple Vision Pro бол iPhone-оос хойшхи хамгийн хувьсгалт төхөөрөмж юм. Гэхдээ нэг нюанс байдаг ©
- руу шилжих Apple M2 процессортой MacBook Air: тойм ба миний сэтгэгдэл
Хил ба цаг уурын шинэ загвар
Уур амьсгалын загварчлал нь дэлхийн мянган жилийн түүхийн загварт дүн шинжилгээ хийж, үндэслэлийг шаарддаг. Мэдээжийн хэрэг, энэ бол асар их хэмжээний тооцоолох нөөц шаарддаг ажил юм. Бид уур амьсгалын өөрчлөлтийг загварчилж, урт хугацаанд юу болохыг урьдчилан таамаглах тусам илүү хурдан бөгөөд хүчирхэг суперкомпьютер хэрэгтэй болно.
Сандиа үндэсний лабораторийн Марк Тэйлор дэлхийн хамгийн анхны урт хугацааны цаг уурын таамаглал дээр ажиллаж буй судлаачдын нэг бөгөөд "Frontier суперкомпьютерийн өвөрмөц тооцооллын архитектур нь бидний өмнө нь хийж чадахгүй байсан зүйлсийг хийх боломжийг олгодог" гэж нэгэнтээ хэлсэн байдаг. Өөрөөр хэлбэл, энэ машины тооцоолох хүчин чадал нь олон жил зарцуулдаг тооцоог хэдхэн хоног болгон багасгадаг. Үүний зэрэгцээ энэ нь судлаачдад цаг уурын өөрчлөлт, цаг агаарын эрс тэс нөхцөл байдлын урт хугацааны үр нөлөөний нарийвчилсан тооцоог олж авах боломжийг олгодог. "Энэ бол цаг уурын загварчлалын шинэ алтан стандарт" гэж Тейлор нэмж хэлэв.
Ямар ашиг тустай вэ? Тэд зүгээр л асар том юм. Цаг агаарын гамшигт өөрчлөлтийг урьдчилан таамаглах чадвар нь хэдэн арван мянга, магадгүй сая сая хүний амийг аварч чадна. Уур амьсгалын дулаарлын дэлхийн болон бүс нутгийн усны мөчлөгт үзүүлэх нөлөөллийн дүн шинжилгээ нь ирээдүйн өөрчлөлтөд урьдчилан бэлтгэх боломжийг бидэнд олгодог. Орчин үеийн орон зайн загварууд байдаг ч тэдгээр нь тооцоолоход маш их шаарддаг. Саяхныг хүртэл хэтэрхий их шаардлага тавьдаг. Тийм ээ, тэдгээр нь бидний цаг агаар, цаг уур гэж нэрлэгддэг янз бүрийн элементүүдийн хоорондын нарийн төвөгтэй харилцан үйлчлэлийг онолын хувьд урьдчилан таамаглах боломжийг олгодог, жишээлбэл, үүл үүсэхийг дагалддаг конвектив хөдөлгөөн, гэхдээ тэнд мэдээллийн асар их урсгалыг боловсруулах шаардлагатай байна. мөн гайхалтай нарийн төвөгтэй тооцоог хийх.
Frontier суперкомпьютер байгаа нь үүнийг аль хэдийн өөрчилсөн. Energy Exascale Earth System Model (E3SM) төсөл нь програм хангамжийн шинэ хандлагыг асар том гүйцэтгэлтэй хослуулснаар эдгээр саад бэрхшээлийг даван туулж байна. Судалгааны хамтран зохиогч, E3SM төслийн зохицуулагч, SCREAM нэртэй E3SM уур амьсгалын загварыг хамтран зохиогч Сарат Срипати тайлбарлав: "Уур амьсгалын загварчлалын нийгэмлэг олон арван жилийн таамаглалыг хөнгөвчлөхийн тулд километрийн масштабтай загваруудыг хурдан ажиллуулахыг удаан хугацаанд мөрөөдөж байсан бөгөөд одоо энэ нь бодит байдал юм.".
Өөрөөр хэлбэл, Хил хязгааргүй ийм төсөл нь өгөгдөл боловсруулах хэмжээ байхгүйгээс болж бүтэлгүйтэх болно. Гэсэн хэдий ч зөвхөн үндсэн тооцоолох хүчин чадал төдийгүй загваруудыг өөрсдөө оновчтой болгох нь чухал гэдгийг тэмдэглэх нь зүйтэй. Лоуренс Ливерморын үндэсний лабораторийн цаг уур судлаач Питер Колдуэлл болон түүний баг сүүлийн таван жилийг эхнээс нь шинэ үүлэн загвар бүтээхэд зарцуулжээ. Энэ нь орчин үеийн супер компьютеруудын тооцоолох хүчин чадлын маш чухал бүрэлдэхүүн хэсэг болох график процессорууд (GPU) дээр үр дүнтэй ажиллах болно. Ангидаа сонирхолтой шилдэг машиныг энд оруулж болно.
Төсөөлөөд үз дээ. График процессорууд дээр ажиллахын тулд кодыг тохируулах нь гүйцэтгэлийг мэдэгдэхүйц нэмэгдүүлэхэд хүргэсэн. SCREAM нь 8192 Frontier зангилаа дээр ажиллаж, 1,25 цагийн нэг тооцоололд ихэвчлэн нэг жилээс илүү хугацаа зарцуулдаг (яг 24 жил) дэлхийн үүл формацуудыг дуурайж чаддаг. 30-40 жилийн урт хугацааны симуляцийг Хилийн бүсэд хэдхэн долоо хоногийн дотор хийж болно. Өмнө нь ийм тооцоо хийх бараг боломжгүй байсныг судлаачид тэмдэглэж байна. Эдгээр судалгааны талаар илүү ихийг мэдэхийг сонирхож буй хүмүүс боломжтой шинжлэх ухааны шинэ бүтээлтэй танилцах Марк Тейлор ба түүний баг.
Мөн сонирхолтой:
- АНУ-ын арми Санта Клаусыг хэрхэн дагаж мөрддөг вэ
- Борлуулалтыг хориглох Apple АНУ-д үзэх: Хэргийн бүх нарийн ширийн зүйлс
- Шүүмж Lenovo Yoga Book 9i: хоёр дэлгэцтэй хөрвөх боломжтой зөөврийн компьютер
Хилийн ба материаллаг технологи
Frontier суперкомпьютерийн чадавхийг ашигладаг нэг сонирхолтой төсөл бол материалын технологийн чиглэлээр хийх ажил юм. Энэ бол хайлшийн хамгийн том тооцооллын загварчлалуудын нэг бөгөөд тооцооллын үр ашгийн ачаар бараг квант түвшний нарийвчлалд хүрэх боломжтой болсон. Мичиганы их сургуулийн Викрам Гавинигийн хийсэн энэхүү судалгаа нь Шредингерийн тэгшитгэлийг ашиглан янз бүрийн материалын зан төлөвийг загварчлахдаа шинэлэг юм. Frontier-ийн асар их тооцоолох хүчин чадал нь 75 атомаас бүрдэх магнийн хайлшийн системийг дуурайх боломжийг олгосон.
Магнийн хайлш нь маш сонирхолтой материал юм. Энэ нь маш хөнгөн бөгөөд нэгэн зэрэг хүчтэй байдаг. Гэсэн хэдий ч магнийн хайлш нь зарим согогуудад мэдрэмтгий байдаг, голчлон мултрах (өөрөөр хэлбэл материалын болор бүтцийн томоохон согогууд), тэдгээрийн механик шинж чанарыг эрс өөрчилдөг. Энэ нь ирээдүйтэй материалыг ашиглах боломжгүй металл болгон хувиргадаг, учир нь энэ нь амархан хагардаг, хэврэг, тогтворгүй байдаг. Эрдэмтэд Frontier-ийн тооцоолох хүчин чадлын тусламжтайгаар магнийн хайлшийн эдгээр согогуудын заримыг засч чадсан. Гэхдээ энэ бол шаргуу ажлын зөвхөн эхлэл юм.
Мөн сонирхолтой:
Супер компьютерын ирээдүй?
Ердийн компьютерууд нь шинжлэх ухаан, техникийн зарим асуудлын бидэнд тулгарч буй бэрхшээлийг шийдэж чадахгүй. Суперкомпьютерууд илүү их тооцоолох хүчин чадалтай тул энгийн компьютер дээр боломжгүй эсвэл хэт их цаг зарцуулдаг тооцоолол хийх боломжийг олгодог. Эрдэмтэд суперкомпьютер бүтээснээр бидний мэдлэг, чадварын хил хязгаарыг өргөжүүлэхийн зэрэгцээ бидний ирээдүйд асар их бодит нөлөө үзүүлэх асуудлыг шийдвэрлэхийг эрмэлздэг.
Мурын хуулинд компьютерийн хүч асар хурдацтай нэмэгддэг гэж заасан байдаг. Хоёр жил тутамд тооцооллын хурд хоёр дахин нэмэгдэж, инженер, эрдэмтэд урьд өмнө боломжгүй гэж үздэг байсан асуудлуудын шийдлийг олж чаддаг.
Хэзээ нэгэн цагт суперкомпьютер ердийн зүйл болно. Эцсийн эцэст, аравхан жилийн өмнө виртуал бодит байдал, үүлэн тоглоом, мета ертөнц гэх мэт ойлголтууд хэдхэн техно мэргэжилтнүүд, индикаторуудын төсөөлөлд байсан бөгөөд өнөөдөр энэ нь бидний бодит байдал юм. Ирээдүй хойч үеийнхэн суперкомпьютерийн давуу талыг ашиглахын тулд мэдээллийн технологийн боловсрол эзэмшиж, Google-д ажилд орох шаардлагагүй болно: тэд ухаалаг гар утас, зөөврийн компьютер болон бусад зүйлсийн нэгэн адил чимээгүйхэн, үл үзэгдэх байдлаар өдөр тутмын амьдралын нэг хэсэг болох болно.
Мөн уншина уу: