A dark field of thousands of faint dots with a few glowing gold and connected — most skills are interchangeable, a few stand out
وبلاگ /

۱۰٬۰۰۰ مهارت Claude را با هوش مصنوعی بازبینی کردیم — چه چیزی خوب‌ها را جدا می‌کند

از مرز ۱۰٬۰۰۰ بازبینی خودکار در کاتالوگی ۷۲٬۶۹۹‌تایی گذشتیم. شگفتی این نبود که چند مهارت بد است — این بود که چه تعداد کمی متمایزند، و چطور سه نشانهٔ کوچک، مهارت‌های ارزشمند را از آن‌هایی که فقط یک قابلیت را…

خلاصه. خط لولهٔ بازبینی خودکار ما تا همین حالا کمی بیش از ۱۰٬۰۰۰ مهارت Claude را امتیاز داده — از کاتالوگی با ۷۲٬۶۹۹ مهارتِ نمایه‌شده در پنج پلتفرم اِیجنت. یافتهٔ اصلی این نیست که بیشتر مهارت‌ها بدند؛ این است که بیشترشان قابل‌جایگزینیاند. سه نشانه، مهارت‌هایی را که امتیاز ۸۵ به بالا می‌گیرند از میانهٔ طولانی جدا می‌کند: یک قضاوتِ متمایز و صریح که در دستورالعمل کدگذاری شده؛ یک سطحِ ابزارِ کوچک که روی نصب استاندارد اجرا می‌شود؛ و یک حلقهٔ تأییدِ خودت-امتحان-کن که قابل بازتولید است.

در این صفحه

  1. واقعاً چه چیزی ساختیم
  2. ۱۰٬۰۰۰ بازبینی چه شکلی است
  3. چه چیزی یک مهارت پرامتیاز را متمایز می‌کند
  4. بازبینی خودکار چه چیزی را نمی‌بیند
  5. اگر مهارت می‌نویسید
  6. خواندنی‌های مرتبط
  7. پرسش‌های پرتکرار

واقعاً چه چیزی ساختیم

SkillHub مهارت‌های Claude Code را نمایه می‌کند — همان بسته‌های SKILL.md که یک قابلیتِ تکرارپذیر را به اِیجنت یاد می‌دهند — از سراسر گیت‌هاب، به‌علاوهٔ معادل‌هایشان برای Cursor، Windsurf، Copilot و Codex. نمایه‌کردن ارزان است؛ قضاوت نه. برای همین یک خط لولهٔ بازبینی خودکار ساختیم: منبع هر مهارت را می‌گیرد، آن را با یک روبریکِ امتیازدهی روی مقیاس ۰ تا ۱۰۰ می‌سنجد، یک حکم ثبت می‌کند، و هر بار که منبعِ بالادست تغییر کند مهارت را برای بازبینیِ دوباره در صف می‌گذارد.

این روبریک یک لینتر نیست. همان پرسش‌هایی را می‌پرسد که یک بازبینِ دقیق می‌پرسد: آیا این مهارت کاری می‌کند که یک پرامپتِ ساده نمی‌توانست؟ آیا سطحِ ابزارش توجیه دارد، یا فقط یک پوششِ نازک دور یک فراخوانِ API است؟ آیا دنبال‌کردنش واقعاً همان نتیجه‌ای را می‌دهد که وعده داده؟ مهارت‌ها فقط بالاتر از یک آستانهٔ اکتشافیِ پایه وارد صف بازبینی می‌شوند، و بازبین در پایان همان aiScore‌ای را تعیین می‌کند که در صفحهٔ هر مهارت می‌بینید.

چرا اصلاً خودکارش کنیم؟ یک انسان شاید در یک روز بتواند چهل مهارت را با دقت بازبینی کند، پیش از آنکه قضاوتش افت کند. کاتالوگ سریع‌تر از این رشد می‌کند. خودکارسازی جای ذوق را نمی‌گیرد — فقط یک استانداردِ یکدست را در مقیاسی به‌کار می‌بندد که هیچ بازبینِ انسانی به آن نمی‌رسد، و همان معدود مواردی را که ارزشِ توجهِ کاملِ یک انسان را دارند علامت می‌زند.

۱۰٬۰۰۰ بازبینی چه شکلی است

این وضعیتِ صادقانهٔ خط لوله تا لحظهٔ نوشتنِ این مطلب است — این ارقام به‌صورت زنده استخراج می‌شوند و شمارشِ جاری به‌طور عمومی در صفحهٔ آمار بازبینی در دسترس است.

سنجه مقدار یعنی چه
مهارت‌های نمایه‌شده (آمادهٔ مرور) ۷۲٬۶۹۹ کاتالوگی که واقعاً می‌توانید جستجو و نصبش کنید
مهارت‌های بازبینی‌شده با هوش مصنوعی ۱۰٬۰۲۳ حدود ۱۴٪ کاتالوگ یک حکمِ امتیازدار دارد
کل اجراهای بازبینی ۱۳٬۹۷۹ بیشتر از تعداد بازبینی‌شده‌ها — مهارت‌ها دوباره امتیاز می‌گیرند
علامت‌خورده برای بازبینیِ مجدد ۸۳۸ منبع از آخرین حکم تغییر کرده؛ امتیاز کهنه است
پلتفرم‌های پوشش‌داده‌شده ۵ Claude Code، Cursor، Windsurf، Copilot، Codex

دو عدد در این جدول بیش از بقیه کار می‌کنند. فاصلهٔ میان ۱۳٬۹۷۹ اجرا و ۱۰٬۰۲۳ مهارت هزینهٔ روندگی است: مهارتی که ماه پیش امتیاز گرفته شاید امروز همان مهارت نباشد، پس حدود یک‌چهارمِ تلاشِ بازبینیِ ما صرفِ امتیازدهیِ دوباره به چیزهایی می‌شود که قبلاً دیده‌ایم. و آن ۸۳۸ موردِ اکنون علامت‌خورده یادآوریِ همیشگی‌اند که بازبینی یک عکسِ لحظه‌ای است، نه یک گواهی.

چه چیزی یک مهارت پرامتیاز را متمایز می‌کند

مهارت‌ها به‌طور یکنواخت در بازهٔ ۰ تا ۱۰۰ پخش نمی‌شوند؛ کپه می‌شوند. میانهٔ پهناور، کارآمد اما فراموش‌شدنی است — مهارتی که فقط همان کاری را بازگو می‌کند که یک مدلِ توانمند به‌هر‌حال انجام می‌داد. سرِ کاتالوگ باریک است، و مهارت‌هایی که به آن می‌رسند در سه ویژگی مشترک‌اند.

نشانه یک مهارتِ پرامتیاز میانهٔ فراموش‌شدنی
قضاوتِ کدگذاری‌شده عقیده‌ای را حمل می‌کند که مدل خودش پیش نمی‌کشید بهترین‌روال‌های کلی را بازگو می‌کند
سطحِ ابزار روی نصب استاندارد اجرا می‌شود؛ ابزارِ کم و موجه برای کاری کوچک یک سرورِ MCP اختصاصی می‌طلبد
تأیید به اِیجنت می‌گوید چطور ثابت کند کار شده به «کار را بکن» ختم می‌شود، بی هیچ بررسی

۱. قضاوتِ کدگذاری‌شده. پرامتیازترین مهارتِ طراحی در کاتالوگ، garrytan/gstack/design-review (۸۶)، جایگاهش را نه با دانستن CSS که با حملِ عقیدهٔ یک طراح به‌دست می‌آورد — عقیده‌ای که مدل هرگز خودش پیش نمی‌کشد — یک آشکارسازِ صریح برای الگوهای «شُل و آبکیِ» هوش مصنوعی مثلِ ترکیب‌بندی‌های وسط‌چینِ مرده و گرادیان‌های پیش‌فرض. مهارتِ خودِ Anthropic، یعنی hook-development (۸۹، بالاترین امتیازِ کاتالوگ)، همین کار را برای اتوماسیونِ رویدادمحور می‌کند: کدگذاری می‌کند که کدام هوک کِی فعال می‌شود، تمایزی که بیشتر اِیجنت‌ها به‌طور پیش‌فرض اشتباه می‌گیرند.

۲. سطحِ ابزارِ کوچک. مهارت‌هایی که خوب امتیاز می‌گیرند معمولاً روی یک نصبِ سادهٔ Claude Code کار می‌کنند — Bash، ویرایش فایل، جستجو، وب — و ماشین‌آلاتِ سنگین‌تر را برای وقتی نگه می‌دارند که واقعاً ارزشش را داشته باشد. trailofbits/skills/codeql (۸۷) یک موتورِ تحلیلِ واقعی و سنگین را می‌پوشاند، و دقیقاً به این دلیل خوب امتیاز می‌گیرد که پوشش نازک است و دستاورد بزرگ. سروری که یک پرامپت را برایتان صرفه‌جویی می‌کند یک بدهی است؛ سروری که CodeQL را باز می‌کند نه.

۳. تأییدِ بازتولیدپذیر. NousResearch/hermes-agent/research-paper-writing (۸۸) و mem0ai/mem0/mem0-integrate (۸۶) هر دو به یک دلیلِ بی‌زرق‌و‌برق امتیاز بالا می‌گیرند: به اِیجنت می‌گویند چطور خروجی خودش را بررسی کند، به‌جای اعلامِ پیروزی پس از آخرین قدم. مهارتی که به «حالا آن بخش را بنویس» ختم می‌شود امتیازی پایین‌تر از مهارتی می‌گیرد که به «حالا آن بخش را بنویس، بعد بررسی کن که هر ارجاع به مقصد می‌رسد» ختم می‌شود.

ستاره، امتیاز نیست. پرستاره‌ترین مهارت‌های کاتالوگ روی مخزن‌هایی با شمارِ ستارهٔ شش‌رقمی نشسته‌اند، و بسیاری‌شان در میانهٔ فراموش‌شدنی فرود می‌آیند. محبوبیت ردِ مخزن را می‌گیرد، نه مهارت را. خط لولهٔ بازبینی برای شکستنِ همین هم‌بستگی وجود دارد — یک مهارتِ امنیتیِ ۲٬۶۰۰‌ستاره‌ای از چند مهارتِ ۱۰۰٬۰۰۰‌ستاره‌ای امتیاز بالاتری گرفت.

بازبینی خودکار چه چیزی را نمی‌بیند

یک حساب‌و‌کتابِ صادقانه از محدودیت‌ها مهم‌تر از خودِ تیتر است.

  • سوگیریِ بازماندگی. مهارت‌هایی که بد شکست می‌خورند — یا مخرب از آب درمی‌آیند — از کاتالوگِ قابل‌مرور حذف می‌شوند. پس امتیازهایی که می‌بینید نه به این دلیل بالا متمایل‌اند که بیشتر مهارت‌ها خوب‌اند، بلکه چون بدترین‌ها دیگر در اتاق نیستند. (این درس را به‌سختی آموختیم؛ هشدارِ پیشینِ ما دربارهٔ بدافزار در مخزن openclaw/skills را ببینید.)
  • روندگی. یک امتیاز، مهارت را در یک لحظه توصیف می‌کند. نویسندگانِ بالادست ویرایش و بازآرایی می‌کنند و گاهی مهارتشان را از درون خالی می‌کنند. آن ۸۳۸ مهارتِ علامت‌خورده برای بازبینیِ مجدد، لبهٔ پیدای حقیقتی بزرگ‌ترند: هر حکم از همان لحظه‌ای که نوشته می‌شود در حالِ پوسیدن است.
  • ذوق. روبریک می‌تواند یک قدمِ تأییدِ گم‌شده یا یک سرورِ ناموجه را تشخیص دهد. اما نمی‌تواند بگوید که آیا یک مهارت باسلیقه است — یعنی آیا قضاوتش همان است که واقعاً می‌خواهیدش. برای این، هنوز یک انسان باید بخواندش. کارِ واقعیِ خط لوله این است که تصمیم بگیرد کدام ده مهارت از ده‌هزار، ارزشِ آن خواندنِ انسانی را دارند.

اگر مهارت می‌نویسید

سه چیز، مستقیم از آنچه خوب امتیاز می‌گیرد:

  1. یک عقیده را کدگذاری کن، نه یک خلاصه. اگر یک مدلِ توانمند به‌هر‌حال آن کار را بدونِ مهارتِ تو انجام می‌داد، مهارتت ارزشِ نصب‌شدن را درنمی‌آورد. همان قضاوتی را بنویس که مدل به‌طور پیش‌فرض اشتباه می‌گیرد.
  2. هر ابزار را توجیه کن. پیش‌فرض را روی نصبِ استاندارد بگذار. هر وابستگی یا سرورِ اختصاصیِ اضافه باید هزینه‌اش را با قابلیت بپردازد، نه با راحتی.
  3. به اِیجنت بگو چطور خودش را بررسی کند. روی یک قدمِ تأیید تمام کن، نه یک کنش. قابل‌اتکاترین پیش‌بینی‌کنندهٔ امتیازِ بالا در پیکرهٔ ما، یک راهِ درون‌ساخت برای اثباتِ انجامِ کار است.

کاتالوگِ زنده و امتیازدار را در skills.palebluedot.live مرور کنید، فهرستِ کاملِ مهارت‌های بازبینی‌شده با هوش مصنوعی را ببینید، یا دربارهٔ روشِ کار در صفحهٔ درباره بیشتر بخوانید.

پرسش‌های پرتکرار

aiScore چیست؟
یک حکمِ ۰ تا ۱۰۰ که خط لولهٔ بازبینی خودکار ما پس از خواندنِ منبعِ یک مهارت در برابرِ یک روبریکِ ثابت تعیین می‌کند. قضاوتِ کدگذاری‌شده، انضباطِ سطحِ ابزار و تأییدپذیری را می‌سنجد — نه محبوبیت را.
چرا فقط حدودِ ۱۰٬۰۰۰ از ۷۲٬۶۹۹ مهارت بازبینی شده‌اند؟
بازبینی بسیار گران‌تر از نمایه‌کردن است، و حدودِ یک‌چهارمِ بودجهٔ بازبینیِ ما صرفِ امتیازدهیِ دوباره به مهارت‌هایی می‌شود که منبعشان تغییر کرده. خط لوله مهارت‌هایی را در اولویت می‌گذارد که محتمل‌ترند ارزشِ وقتِ خواننده را داشته باشند.
آیا امتیازِ بالا یعنی مهارت امن است؟
نه. امتیازدهی کیفیتِ طراحی را می‌سنجد، نه امنیت را. غربالگریِ امنیتی یک دروازهٔ جداست، و مهارت‌هایی که مخرب تشخیص داده شوند به‌جای امتیازگرفتن، یکسره از کاتالوگ حذف می‌شوند.
مهارت‌ها هر چند وقت یک‌بار دوباره بازبینی می‌شوند؟
هر وقت منبعِ بالادست تغییر کند. تا لحظهٔ نوشتنِ این مطلب، ۸۳۸ مهارت با امتیازِ کهنه برای اجرای دوباره علامت خورده‌اند.
همین حالا کدام مهارت‌ها بالاترین امتیاز را دارند؟
هنگامِ انتشار، سرِ کاتالوگ شاملِ hook-development (۸۹)، research-paper-writing (۸۸)، codeql (۸۷) و design-review (۸۶) است. امتیازها با بازبینیِ دوبارهٔ مهارت‌ها جابه‌جا می‌شوند.
دربارهٔ این گزارش. اعدادِ این‌جا به‌صورتِ زنده از خط لولهٔ بازبینی SkillHub استخراج شده و تا لحظهٔ انتشار بیان شده‌اند. بازبینی‌ها عکس‌های لحظه‌ای‌اند و با تغییرِ مهارت‌ها در بالادست می‌پوسند — ما محدودیت‌ها را عمداً کنارِ یافته‌ها منتشر می‌کنیم. در صفحهٔ درباره بیشتر بخوانید.
نوشتهٔ بعدی

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *