Linux內核softlockup機制介紹

與hardlockup機制類似, softlockup也是在watchdog框架下關注于某個task一直處于內核態而不給其它task運行機會的一種debug機制.具體的超時判斷時間一般為20S,也可以通過sysctrl 來進行修改.

當觸發softlockup機制時內核會打印當前堆棧信息,如果有配置panic,則會觸發panic. 同樣可以通過sysctrl來動態配置,也可以通過CONFIG_BOOTPARAM_SOFTLOCKUP_PANIC進行編譯時配置打開.

softlockup機制實現基礎

a) watchdog的內核框架

b) 高精度timer框架

softlockup實現原理以及框架

softlockup實現機制

softlockup實現源代碼解析

在Linux內核HardLockUp機制解析中我們已經介紹過了watchdog_hrtimer的啟動過程, 我們這里再主要解析一下hrtimer的成員function函數watchdog_timer_fn, 當watchdog_timer_fn的返回為HRTIMER_RESTART時,該hrtimer 會以hrtimer_start 的第二個參數的間隔再次觸發.下來我們直接分析watchdog_timer_fn源代碼是如何檢測softlockup的

//kernel/watchdog.c
static DEFINE_PER_CPU(unsigned long, watchdog_touch_ts);
static DEFINE_PER_CPU(bool, soft_watchdog_warn);
static DEFINE_PER_CPU(struct task_struct *, softlockup_task_ptr_saved);
//hrtimer的callback函數.如果返回HRTIMER_RESTART,則會固定周期重復觸發執行
static enum hrtimer_restart watchdog_timer_fn(struct hrtimer *hrtimer)
{
   //每個核都有一份獨一無二的watchdog_touch_ts
   unsigned long touch_ts = __this_cpu_read(watchdog_touch_ts);
   ...
   //duration如果不為0,則表示觸發了,druation為超時時間,我們稍后分析is_softlockup源碼
   duration = is_softlockup(touch_ts);
   if (unlikely(duration)) {
        ...//我們在這拋開kvm等其它虛擬機case
        /* only warn once 多個processes 引起額softlockup只處處一次 */
        if (__this_cpu_read(soft_watchdog_warn) == true) 
        {
           // 判斷改core上本次觸發的task(即current)與上次在該核上觸發的是否為同一個task
           // 如果不是同一個,則重置soft_watchdog_warn 然后更新 watchdog_touch_ts 
           if (__this_cpu_read(softlockup_task_ptr_saved) !=current)
           {
              __this_cpu_write(soft_watchdog_warn, false);
              __touch_watchdog();//更新watchdog_touch_ts
            }
            return HRTIMER_RESTART;
        }
      ...//如果一個cpu核已經在dump backtrace了,防止多個softlockup報告生成,需要通過sysctrl打開
      //印我們需要的各種異常信息.
      pr_emerg("BUG: soft lockup - CPU#%d stuck for %us! [%s:%d]\\n",
      smp_processor_id(), duration,
      current- >comm, task_pid_nr(current));
      __this_cpu_write(softlockup_task_ptr_saved, current);
      print_modules();
      print_irqtrace_events(current);
      if (regs)
        show_regs(regs);
      else
        dump_stack();
      ...
      if (softlockup_panic) //如果打開kernel panic, 則觸發kernel panic
        panic("softlockup: hung tasks");
      ...
   }else{
       //如果沒有連續觸發警告標志置為false
      __this_cpu_write(soft_watchdog_warn, false);
   }
   return HRTIMER_RESTART;
}

上述我們看到判斷是否超時的關鍵函數is_softlockup, 下面我們來詳解一下

//kernel/watchdog.c
static int is_softlockup(unsigned long touch_ts)
{
  unsigned long now = get_timestamp();


  if ((watchdog_enabled & SOFT_WATCHDOG_ENABLED) && watchdog_thresh){
    /* Warn about unreasonable delays. */
    //判斷當前時間是否在上次watchdog_touch_ts更新之后的時間+watchdog_thresh * 2之后默認20s
    if (time_after(now, touch_ts + get_softlockup_thresh()))
      return now - touch_ts; //返回超時時間.
  }
  return 0;
}

所以重點就是watchdog_touch_ts的時間,這個就是在調度器切換時會call touch_softlockup_watchdog_sched進行更新的, 關于調度器更新的時機我們在后面分析task_struct的調度切換時再做介紹. 上述就是softlockup機制的檢測過程.

總結

通過源碼分析我們知道了, softlockup是關注于某個task_struct是否有hung的問題而hardlockup關注的是某個中斷是否正常的問題.

兩者都有用到相同的hrtimer, softlockup在這個timer中斷中檢測是否有發過task的切換, 而hardlockup 則在該hrtimer中更新中斷次數, PerfEvent中使用的不可中斷(NMI)中斷定時觸發來進行檢測hrtimer是否有更新來檢測中斷是否有異常占用.