پردازش سند
بین بارگذاری فایل تا لحظهای که میشود از آن پرسید، چه اتفاقی میافتد.
بارگذاری فایل بیدرنگ پاسخ میدهد. هر چیزی که آن را قابل پرسش میکند بعد از آن و روی یک صف اتفاق میافتد.
چهار وضعیت
هر سند همیشه دقیقاً در یکی از چهار وضعیت است:
- در صفپذیرفته شده و در نوبت پردازش. هنوز چیزی خوانده نشده.
- در حال پردازشدر حال استخراج، تکهتکه شدن و بردارسازی. زمان اینجا صرف میشود.
- آمادهپردازششده و قابل پرسش. تنها وضعیتی که بازیابی از آن استفاده میکند.
- متوقفسرویس هوش مصنوعی وسط کار محدودمان کرده است. مشکلی در خود فایل نیست و چیزی از دست نرفته، اما خودبهخود ادامه پیدا نمیکند — مسیر پردازش دوباره را صدا بزنید.
- ناموفقچیزی اشتباه پیش رفته. error_message میگوید چه، و سند خودبهخود ready نخواهد شد.
خط پردازش چه میکند
بین queued و ready سه اتفاق میافتد:
- استخراج. PDF صفحهبهصفحه خوانده میشود و تصویرها و جدولهای داخلش بهجای نادیده گرفته شدن، توصیف میشوند. صوت و ویدیو با زمانبندی رونویسی میشوند. تصویر را مدل توصیف میکند.
- بخشبندی. متن در بخشهای خواندنی حدوداً ۵۰۰ تا ۱۵۰۰ کاراکتری ادغام میشود و در پایان جمله میشکند تا یک بخش وسط فکر قطع نشود.
- بردارسازی. هر بخش به یک بردار تبدیل و در نمایه ثبت میشود، و همین است که بازیابی بر اساس معنا — نه کلیدواژه — را ممکن میکند.
منتظر ready ماندن
Webhook در کار نیست. مسیر سند را بخوانید تا وضعیت از جفت queued و vectorizing بیرون بیاید. یک PDF کوتاه معمولاً در چند ثانیه ready میشود؛ یک فایل صوتی بلند ممکن است چند دقیقه طول بکشد.
هر چند ثانیه یکبار و با سقف مشخص بخوانید، و failed را پایان کار در نظر بگیرید — خواندن دوباره هرگز تغییرش نمیدهد. اگر انبوه بارگذاری میکنید، بهجای خواندن تکتک سندها یکبار مسیر فهرست را بخوانید.
curl "https://api.daneshyar.info/api/v1/workspaces/8f14e45f-ceea-467a-9f4c-1a2b3c4d5e6f/resources/3c9a1b77-0d24-4e8b-b0f1-7a5e9c2d4b81/" \
-H "X-API-Key: dk_live_9f3aC2xQ7mB1vT8sE4nK6pR0jY5wZ2hL" \
| grep -o '"status": *"[^"]*"'وقتی پردازش شکست میخورد
پردازش به دلایل معمولی شکست میخورد: PDF اسکنشدهای که متن قابل بازیابی ندارد، فایل خراب، یا صوتی بدون گفتار. دلیلش در error_message میآید.
شکستها در سطح سند اتفاق میافتند، نه فضای کاری — یک فایل خراب جلوی ready شدن بقیه را نمیگیرد. سند شکستخورده را حذف و نسخهٔ بهتری بارگذاری کنید؛ مسیر تلاش دوباره وجود ندارد.