Ignore:
Timestamp:
26 May 2013, 15:41:34 (11 years ago)
Author:
tech
Message:
  • Reintegrated branch 6.2-dev0 rev. 442.
  • Changed version number.
  • Added coding results.
File:
1 edited

Legend:

Unmodified
Added
Removed
  • trunk/source/Lib/TLibEncoder/TEncSampleAdaptiveOffset.cpp

    r296 r443  
    4343//! \ingroup TLibEncoder
    4444//! \{
    45 
     45#if LGE_SAO_MIGRATION_D0091
    4646TEncSampleAdaptiveOffset::TEncSampleAdaptiveOffset()
    4747{
    48   m_pcEntropyCoder = NULL;
    49   m_pppcRDSbacCoder = NULL;
    50   m_pcRDGoOnSbacCoder = NULL;
    51   m_pppcBinCoderCABAC = NULL;           
    52   m_iCount = NULL;     
    53   m_iOffset = NULL;     
    54   m_iOffsetOrg = NULL; 
    55   m_iRate = NULL;       
    56   m_iDist = NULL;       
    57   m_dCost = NULL;       
    58   m_dCostPartBest = NULL;
    59   m_iDistOrg = NULL;     
    60   m_iTypePartBest = NULL;
    61 }
     48    m_pcEntropyCoder= NULL;
     49    m_pppcRDSbacCoder = NULL;
     50    m_pcRDGoOnSbacCoder = NULL;
     51    m_pppcBinCoderCABAC = NULL;
     52    m_iCount = NULL;
     53    m_iOffset = NULL;
     54    m_iOffsetOrg = NULL;
     55    m_iRate = NULL;
     56    m_iDist = NULL;
     57    m_dCost = NULL;
     58    m_dCostPartBest = NULL;
     59    m_iDistOrg = NULL;
     60    m_iTypePartBest = NULL;
     61#if SAO_ENCODING_CHOICE_CHROMA
     62    m_depthSaoRate[0][0] = 0;
     63    m_depthSaoRate[0][1] = 0;
     64    m_depthSaoRate[0][2] = 0;
     65    m_depthSaoRate[0][3] = 0;
     66    m_depthSaoRate[1][0] = 0;
     67    m_depthSaoRate[1][1] = 0;
     68    m_depthSaoRate[1][2] = 0;
     69    m_depthSaoRate[1][3] = 0;
     70#endif
     71}
     72
    6273TEncSampleAdaptiveOffset::~TEncSampleAdaptiveOffset()
    6374{
     
    7687{
    7788#if FULL_NBIT
    78   Int bitDepthMinus8 = g_uiBitDepth - 8;
    79   return ((x)>0) ? (Int)(((Int)(x)+(1<<(bitDepthMinus8-1)))/(1<<bitDepthMinus8)) : ((Int)(((Int)(x)-(1<<(bitDepthMinus8-1)))/(1<<bitDepthMinus8)));
     89    Int bitDepthMinus8 = g_uiBitDepth - 8;
     90    return ((x)>0) ? (Int)(((Int)(x)+(1<<(bitDepthMinus8-1)))/(1<<bitDepthMinus8)) : ((Int)(((Int)(x)-(1<<(bitDepthMinus8-1)))/(1<<bitDepthMinus8)));
    8091#else
    81   return ((x)>0) ? (Int)(((Int)(x)+(1<<(g_uiBitIncrement-1)))/(1<<g_uiBitIncrement)) : ((Int)(((Int)(x)-(1<<(g_uiBitIncrement-1)))/(1<<g_uiBitIncrement)));
     92    return ((x)>0) ? (Int)(((Int)(x)+(1<<(g_uiBitIncrement-1)))/(1<<g_uiBitIncrement)) : ((Int)(((Int)(x)-(1<<(g_uiBitIncrement-1)))/(1<<g_uiBitIncrement)));
    8293#endif
    8394}
     
    89100{
    90101#if FULL_NBIT
    91   return (g_uiBitDepth > 8 ? xRoundIbdi2((x)) : ((x)>=0 ? ((Int)((x)+0.5)) : ((Int)((x)-0.5)))) ;
     102    return (g_uiBitDepth > 8 ? xRoundIbdi2((x)) : ((x)>=0 ? ((Int)((x)+0.5)) : ((Int)((x)-0.5)))) ;
    92103#else
    93   return (g_uiBitIncrement >0 ? xRoundIbdi2((x)) : ((x)>=0 ? ((Int)((x)+0.5)) : ((Int)((x)-0.5)))) ;
    94 #endif
    95 }
    96 
    97 
     104    return (g_uiBitIncrement >0 ? xRoundIbdi2((x)) : ((x)>=0 ? ((Int)((x)+0.5)) : ((Int)((x)-0.5)))) ;
     105#endif
     106}
    98107
    99108/** process SAO for one partition
    100109 * \param  *psQTPart, iPartIdx, dLambda
    101110 */
    102 Void TEncSampleAdaptiveOffset::rdoSaoOnePart(SAOQTPart *psQTPart, Int iPartIdx, Double dLambda)
    103 {
    104   Int iTypeIdx;
    105   Int iNumTotalType = MAX_NUM_SAO_TYPE;
    106   SAOQTPart*  pOnePart = &(psQTPart[iPartIdx]);
    107 
    108   Int64 iEstDist;
    109   Int64 iOffsetOrg;
    110   Int64 iOffset;
    111   Int64 iCount;
    112   Int iClassIdx;
    113   Int uiShift = g_uiBitIncrement << 1;
    114   UInt uiDepth = pOnePart->PartLevel;
    115 
    116   m_iDistOrg [iPartIdx] =  0;
    117 
    118   Double  bestRDCostTableBo = MAX_DOUBLE;
    119   Int     bestClassTableBo    = 0;
    120   Int     currentDistortionTableBo[MAX_NUM_SAO_CLASS];
    121   Double  currentRdCostTableBo[MAX_NUM_SAO_CLASS];
    122 
    123 #if HHI_INTERVIEW_SKIP
    124   Int iFrameWidthInCU = m_pcPic->getFrameWidthInCU();
    125   Int LcuIdxX = psQTPart->StartCUX;
    126   Int LcuIdxY = psQTPart->StartCUY;
    127   Int iAddr = LcuIdxY*iFrameWidthInCU + LcuIdxX;
    128   TComDataCU *pcCU = m_pcPic->getCU(iAddr);
    129   Bool bRenderable = pcCU->getRenderable(0) ;
    130 
    131 #endif
    132   for (iTypeIdx=-1; iTypeIdx<iNumTotalType; iTypeIdx++)
    133   {
    134     if( m_bUseSBACRD )
    135     {
    136       m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[uiDepth][CI_CURR_BEST]);
    137       m_pcRDGoOnSbacCoder->resetBits();
     111Void TEncSampleAdaptiveOffset::rdoSaoOnePart(SAOQTPart *psQTPart, Int iPartIdx, Double dLambda, Int yCbCr)
     112{
     113    Int iTypeIdx;
     114    Int iNumTotalType = MAX_NUM_SAO_TYPE;
     115    SAOQTPart*  pOnePart = &(psQTPart[iPartIdx]);
     116
     117    Int64 iEstDist;
     118    Int iClassIdx;
     119    Int uiShift = g_uiBitIncrement << 1;
     120    UInt uiDepth = pOnePart->PartLevel;
     121
     122    m_iDistOrg [iPartIdx] =  0;
     123
     124    Double  bestRDCostTableBo = MAX_DOUBLE;
     125    Int     bestClassTableBo    = 0;
     126    Int     currentDistortionTableBo[MAX_NUM_SAO_CLASS];
     127    Double  currentRdCostTableBo[MAX_NUM_SAO_CLASS];
     128
     129    Int addr;
     130    Int allowMergeLeft;
     131    Int allowMergeUp;
     132    Int frameWidthInCU = m_pcPic->getFrameWidthInCU();
     133    SaoLcuParam  saoLcuParamRdo;
     134
     135    for (iTypeIdx=-1; iTypeIdx<iNumTotalType; iTypeIdx++)
     136    {
     137        if( m_bUseSBACRD )
     138        {
     139            m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[uiDepth][CI_CURR_BEST]);
     140            m_pcRDGoOnSbacCoder->resetBits();
     141        }
     142        else
     143        {
     144            m_pcEntropyCoder->resetEntropy();
     145            m_pcEntropyCoder->resetBits();
     146        }
     147
     148        iEstDist = 0;
     149
     150        if (iTypeIdx == -1)
     151        {     
     152            for (Int ry = pOnePart->StartCUY; ry<= pOnePart->EndCUY; ry++)
     153            {
     154                for (Int rx = pOnePart->StartCUX; rx <= pOnePart->EndCUX; rx++)
     155                {
     156                    addr = ry * frameWidthInCU + rx;
     157                    // get bits for iTypeIdx = -1
     158                    allowMergeLeft = 1;
     159                    allowMergeUp   = 1;
     160                    if (rx != 0)
     161                    {
     162                        // check tile id and slice id
     163                        if ( (m_pcPic->getPicSym()->getTileIdxMap(addr-1) != m_pcPic->getPicSym()->getTileIdxMap(addr)) || (m_pcPic->getCU(addr-1)->getSlice()->getSliceIdx() != m_pcPic->getCU(addr)->getSlice()->getSliceIdx()))
     164                        {
     165                            allowMergeLeft = 0;
     166                        }
     167                    }
     168                    if (ry!=0)
     169                    {
     170                        if ( (m_pcPic->getPicSym()->getTileIdxMap(addr-m_iNumCuInWidth) != m_pcPic->getPicSym()->getTileIdxMap(addr)) || (m_pcPic->getCU(addr-m_iNumCuInWidth)->getSlice()->getSliceIdx() != m_pcPic->getCU(addr)->getSlice()->getSliceIdx()))
     171                        {
     172                            allowMergeUp = 0;
     173                        }
     174                    }
     175
     176                    // reset
     177                    resetSaoUnit(&saoLcuParamRdo);
     178       
     179                    // set merge flag
     180                    saoLcuParamRdo.mergeUpFlag   = 1;
     181                    saoLcuParamRdo.mergeLeftFlag = 1;
     182       
     183                    if (ry == pOnePart->StartCUY)
     184                    {
     185                        saoLcuParamRdo.mergeUpFlag = 0;
     186                    }
     187
     188                    if (rx == pOnePart->StartCUX)
     189                    {
     190                        saoLcuParamRdo.mergeLeftFlag = 0;
     191                    }
     192
     193                    m_pcEntropyCoder->encodeSaoUnitInterleaving(yCbCr, 1, rx, ry,  &saoLcuParamRdo, 1,  1,  allowMergeLeft, allowMergeUp);
     194
     195                }
     196            }
     197        }
     198
     199        if (iTypeIdx>=0)
     200        {
     201            iEstDist = estSaoTypeDist(iPartIdx, iTypeIdx, uiShift, dLambda, currentDistortionTableBo, currentRdCostTableBo);
     202            if( iTypeIdx == SAO_BO )
     203            {
     204                // Estimate Best Position
     205                Double currentRDCost = 0.0;
     206   
     207                for(Int i=0; i< SAO_MAX_BO_CLASSES -SAO_BO_LEN +1; i++)
     208                {
     209                    currentRDCost = 0.0;
     210                    for(UInt uj = i; uj < i+SAO_BO_LEN; uj++)
     211                    {
     212                        currentRDCost += currentRdCostTableBo[uj];
     213                    }
     214
     215                    if( currentRDCost < bestRDCostTableBo)
     216                    {
     217                        bestRDCostTableBo = currentRDCost;
     218                        bestClassTableBo  = i;
     219                    }
     220                }
     221
     222                // Re code all Offsets
     223                // Code Center
     224                for(iClassIdx = bestClassTableBo; iClassIdx < bestClassTableBo+SAO_BO_LEN; iClassIdx++)
     225                {
     226                    iEstDist += currentDistortionTableBo[iClassIdx];
     227                }
     228            }
     229
     230            for (Int ry = pOnePart->StartCUY; ry<= pOnePart->EndCUY; ry++)
     231            {
     232                for (Int rx = pOnePart->StartCUX; rx <= pOnePart->EndCUX; rx++)
     233                {
     234                    addr = ry * frameWidthInCU + rx;         
     235       
     236                    // get bits for iTypeIdx = -1
     237                    allowMergeLeft = 1;
     238                    allowMergeUp   = 1;
     239                    if (rx != 0)
     240                    {
     241                        // check tile id and slice id
     242                        if ( (m_pcPic->getPicSym()->getTileIdxMap(addr-1) != m_pcPic->getPicSym()->getTileIdxMap(addr)) || (m_pcPic->getCU(addr-1)->getSlice()->getSliceIdx() != m_pcPic->getCU(addr)->getSlice()->getSliceIdx()))
     243                        {
     244                            allowMergeLeft = 0;
     245                        }
     246                    }
     247                    if (ry!=0)
     248                    {
     249                        if ( (m_pcPic->getPicSym()->getTileIdxMap(addr-m_iNumCuInWidth) != m_pcPic->getPicSym()->getTileIdxMap(addr)) || (m_pcPic->getCU(addr-m_iNumCuInWidth)->getSlice()->getSliceIdx() != m_pcPic->getCU(addr)->getSlice()->getSliceIdx()))
     250                        {
     251                            allowMergeUp = 0;
     252                        }
     253                    }
     254   
     255                    // reset
     256                    resetSaoUnit(&saoLcuParamRdo);
     257
     258                    // set merge flag
     259                    saoLcuParamRdo.mergeUpFlag   = 1;
     260                    saoLcuParamRdo.mergeLeftFlag = 1;
     261   
     262                    if (ry == pOnePart->StartCUY)
     263                    {
     264                        saoLcuParamRdo.mergeUpFlag = 0;
     265                    }
     266   
     267                    if (rx == pOnePart->StartCUX)
     268                    {
     269                        saoLcuParamRdo.mergeLeftFlag = 0;
     270                    }
     271
     272                    // set type and offsets
     273                    saoLcuParamRdo.typeIdx = iTypeIdx;
     274                    saoLcuParamRdo.subTypeIdx = (iTypeIdx==SAO_BO)?bestClassTableBo:0;
     275                    saoLcuParamRdo.length = m_iNumClass[iTypeIdx];
     276                    for (iClassIdx = 0; iClassIdx < saoLcuParamRdo.length; iClassIdx++)
     277                    {
     278                        saoLcuParamRdo.offset[iClassIdx] = (Int)m_iOffset[iPartIdx][iTypeIdx][iClassIdx+saoLcuParamRdo.subTypeIdx+1];
     279                    }
     280
     281                    m_pcEntropyCoder->encodeSaoUnitInterleaving(yCbCr, 1, rx, ry,  &saoLcuParamRdo, 1,  1,  allowMergeLeft, allowMergeUp);
     282
     283                }
     284            }
     285
     286            m_iDist[iPartIdx][iTypeIdx] = iEstDist;
     287            m_iRate[iPartIdx][iTypeIdx] = m_pcEntropyCoder->getNumberOfWrittenBits();
     288
     289            m_dCost[iPartIdx][iTypeIdx] = (Double)((Double)m_iDist[iPartIdx][iTypeIdx] + dLambda * (Double) m_iRate[iPartIdx][iTypeIdx]);
     290
     291            if(m_dCost[iPartIdx][iTypeIdx] < m_dCostPartBest[iPartIdx])
     292            {
     293                m_iDistOrg [iPartIdx] = 0;
     294                m_dCostPartBest[iPartIdx] = m_dCost[iPartIdx][iTypeIdx];
     295                m_iTypePartBest[iPartIdx] = iTypeIdx;
     296                if( m_bUseSBACRD )
     297                    m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[pOnePart->PartLevel][CI_TEMP_BEST] );
     298            }
     299        }
     300        else
     301        {
     302            if(m_iDistOrg[iPartIdx] < m_dCostPartBest[iPartIdx] )
     303            {
     304                m_dCostPartBest[iPartIdx] = (Double) m_iDistOrg[iPartIdx] + m_pcEntropyCoder->getNumberOfWrittenBits()*dLambda ;
     305                m_iTypePartBest[iPartIdx] = -1;
     306                if( m_bUseSBACRD )
     307                    m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[pOnePart->PartLevel][CI_TEMP_BEST] );
     308            }
     309        }
     310    }
     311
     312    pOnePart->bProcessed = true;
     313    pOnePart->bSplit     = false;
     314    pOnePart->iMinDist   =        m_iTypePartBest[iPartIdx] >= 0 ? m_iDist[iPartIdx][m_iTypePartBest[iPartIdx]] : m_iDistOrg[iPartIdx];
     315    pOnePart->iMinRate   = (Int) (m_iTypePartBest[iPartIdx] >= 0 ? m_iRate[iPartIdx][m_iTypePartBest[iPartIdx]] : 0);
     316    pOnePart->dMinCost   = pOnePart->iMinDist + dLambda * pOnePart->iMinRate;
     317    pOnePart->iBestType  = m_iTypePartBest[iPartIdx];
     318    if (pOnePart->iBestType != -1)
     319    {
     320        //     pOnePart->bEnableFlag =  1;
     321        pOnePart->iLength = m_iNumClass[pOnePart->iBestType];
     322        Int minIndex = 0;
     323        if( pOnePart->iBestType == SAO_BO )
     324        {
     325            pOnePart->subTypeIdx = bestClassTableBo;
     326            minIndex = pOnePart->subTypeIdx;
     327        }
     328        for (Int i=0; i< pOnePart->iLength ; i++)
     329        {
     330            pOnePart->iOffset[i] = (Int) m_iOffset[iPartIdx][pOnePart->iBestType][minIndex+i+1];
     331        }
     332
    138333    }
    139334    else
    140335    {
    141       m_pcEntropyCoder->resetEntropy();
    142       m_pcEntropyCoder->resetBits();
    143     }
    144 
    145     iEstDist = 0;
    146 
    147     m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoTypeIdx(iTypeIdx+1);
    148 
    149     if (iTypeIdx>=0)
    150     {
    151 
    152       for(iClassIdx=1; iClassIdx < ( (iTypeIdx < SAO_BO) ?  m_iNumClass[iTypeIdx]+1 : SAO_MAX_BO_CLASSES+1); iClassIdx++)
    153       {
    154         if( iTypeIdx == SAO_BO)
    155         {
    156           currentDistortionTableBo[iClassIdx-1] = 0;
    157           currentRdCostTableBo[iClassIdx-1] = dLambda;
    158         }
    159 #if HHI_INTERVIEW_SKIP
    160         if(m_iCount [iPartIdx][iTypeIdx][iClassIdx] && !bRenderable)
    161 #else
    162         if(m_iCount [iPartIdx][iTypeIdx][iClassIdx])
    163 #endif
    164         {
    165 #if FULL_NBIT
    166           m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = (Int64) xRoundIbdi((Double)(m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx]<<g_uiBitDepth-8) / (Double)(m_iCount [iPartIdx][iTypeIdx][iClassIdx]<<m_uiSaoBitIncrease));
    167 #else
    168           m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = (Int64) xRoundIbdi((Double)(m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx]<<g_uiBitIncrement) / (Double)(m_iCount [iPartIdx][iTypeIdx][iClassIdx]<<m_uiSaoBitIncrease));
    169 #endif
    170           m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = Clip3(-m_iOffsetTh, m_iOffsetTh-1, (Int)m_iOffset[iPartIdx][iTypeIdx][iClassIdx]);
    171 
    172           if (iTypeIdx < 4)
    173           {
    174             if ( m_iOffset[iPartIdx][iTypeIdx][iClassIdx]<0 && iClassIdx<3 )
    175             {
    176               m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = 0;
    177             }
    178             if ( m_iOffset[iPartIdx][iTypeIdx][iClassIdx]>0 && iClassIdx>=3)
    179             {
    180               m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = 0;
    181             }
    182           }
    183           {
    184             //Clean up, best_q_offset.
    185             Int64 iIterOffset, iTempOffset;
    186             Int64 iTempDist, iTempRate;
    187             Double dTempCost, dTempMinCost;
    188             UInt uiLength, uiTemp;
    189 
    190             iIterOffset = m_iOffset[iPartIdx][iTypeIdx][iClassIdx];
    191             m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = 0;
    192             dTempMinCost = dLambda; // Assuming sending quantized value 0 results in zero offset and sending the value zero needs 1 bit. entropy coder can be used to measure the exact rate here.
    193 
    194             while (iIterOffset != 0)
    195             {
    196               // Calculate the bits required for signalling the offset
    197               uiLength = 1;
    198               uiTemp = (UInt)((iIterOffset <= 0) ? ( (-iIterOffset<<1) + 1 ) : (iIterOffset<<1));
    199               while( 1 != uiTemp )
    200               {
    201                 uiTemp >>= 1;
    202                 uiLength += 2;
    203               }
    204               iTempRate = (uiLength >> 1) + ((uiLength+1) >> 1);
    205 
    206               // Do the dequntization before distorion calculation
    207               iTempOffset    =  iIterOffset << m_uiSaoBitIncrease;
    208               iTempDist  = (( m_iCount [iPartIdx][iTypeIdx][iClassIdx]*iTempOffset*iTempOffset-m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx]*iTempOffset*2 ) >> uiShift);
    209 
    210               dTempCost = ((Double)iTempDist + dLambda * (Double) iTempRate);
    211               if(dTempCost < dTempMinCost)
    212               {
    213                 dTempMinCost = dTempCost;
    214                 m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = iIterOffset;
    215                 if(iTypeIdx == SAO_BO)
    216                 {
    217                   currentDistortionTableBo[iClassIdx-1] = (Int) iTempDist;
    218                   currentRdCostTableBo[iClassIdx-1] = dTempCost;
    219                 }
    220               }
    221               iIterOffset = (iIterOffset > 0) ? (iIterOffset-1):(iIterOffset+1);
    222             }
    223 
    224           }
    225         }
    226         else
    227         {
    228           m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx] = 0;
    229           m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = 0;
    230         }
    231         if( iTypeIdx != SAO_BO )
    232         {
    233           iCount     =  m_iCount [iPartIdx][iTypeIdx][iClassIdx];
    234           iOffset    =  m_iOffset[iPartIdx][iTypeIdx][iClassIdx] << m_uiSaoBitIncrease;
    235           iOffsetOrg =  m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx];
    236           iEstDist   += (( iCount*iOffset*iOffset-iOffsetOrg*iOffset*2 ) >> uiShift);
    237           if (iTypeIdx < 4)
    238           {
    239             if (iClassIdx<3)
    240             {
    241               m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoUvlc((Int)m_iOffset[iPartIdx][iTypeIdx][iClassIdx]);
    242             }
    243             else
    244             {
    245               m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoUvlc((Int)-m_iOffset[iPartIdx][iTypeIdx][iClassIdx]);
    246             }
    247           }
    248           else
    249           {
    250             m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoSvlc((Int)m_iOffset[iPartIdx][iTypeIdx][iClassIdx]);
    251           }
    252         }
    253       }
    254 
    255       if( iTypeIdx == SAO_BO )
    256       {
    257         // Estimate Best Position
    258         Double currentRDCost = 0.0;
    259 
    260         for(Int i=0; i< SAO_MAX_BO_CLASSES -SAO_BO_LEN +1; i++)
    261         {
    262           currentRDCost = 0.0;
    263           for(UInt uj = i; uj < i+SAO_BO_LEN; uj++)
    264           {
    265             currentRDCost += currentRdCostTableBo[uj];
    266           }
    267 
    268           if( currentRDCost < bestRDCostTableBo)
    269           {
    270             bestRDCostTableBo = currentRDCost;
    271             bestClassTableBo  = i;
    272           }
    273         }
    274 
    275         // Re code all Offsets
    276         // Code Center
    277         m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoUflc( (UInt) (bestClassTableBo) );
    278 
    279         for(iClassIdx = bestClassTableBo; iClassIdx < bestClassTableBo+SAO_BO_LEN; iClassIdx++)
    280         {
    281           m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoSvlc((Int)m_iOffset[iPartIdx][iTypeIdx][iClassIdx+1]);
    282           iEstDist += currentDistortionTableBo[iClassIdx];
    283         }
    284       }
    285 
    286       m_iDist[iPartIdx][iTypeIdx] = iEstDist;
    287       m_iRate[iPartIdx][iTypeIdx] = m_pcEntropyCoder->getNumberOfWrittenBits();
    288 
    289       m_dCost[iPartIdx][iTypeIdx] = (Double)((Double)m_iDist[iPartIdx][iTypeIdx] + dLambda * (Double) m_iRate[iPartIdx][iTypeIdx]);
    290 
    291       if(m_dCost[iPartIdx][iTypeIdx] < m_dCostPartBest[iPartIdx])
    292       {
    293         m_iDistOrg [iPartIdx] = 0;
    294         m_dCostPartBest[iPartIdx] = m_dCost[iPartIdx][iTypeIdx];
    295         m_iTypePartBest[iPartIdx] = iTypeIdx;
    296         if( m_bUseSBACRD )
    297           m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[pOnePart->PartLevel][CI_TEMP_BEST] );
    298       }
    299     }
    300     else
    301     {
    302       if(m_iDistOrg[iPartIdx] < m_dCostPartBest[iPartIdx] )
    303       {
    304         m_dCostPartBest[iPartIdx] = (Double) m_iDistOrg[iPartIdx] + m_pcEntropyCoder->getNumberOfWrittenBits()*dLambda ;
    305         m_iTypePartBest[iPartIdx] = -1;
    306         if( m_bUseSBACRD )
    307           m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[pOnePart->PartLevel][CI_TEMP_BEST] );
    308       }
    309     }
    310   }
    311 
    312   pOnePart->bProcessed = true;
    313   pOnePart->bSplit     = false;
    314   pOnePart->iMinDist   =        m_iTypePartBest[iPartIdx] >= 0 ? m_iDist[iPartIdx][m_iTypePartBest[iPartIdx]] : m_iDistOrg[iPartIdx];
    315   pOnePart->iMinRate   = (Int) (m_iTypePartBest[iPartIdx] >= 0 ? m_iRate[iPartIdx][m_iTypePartBest[iPartIdx]] : 0);
    316   pOnePart->dMinCost   = pOnePart->iMinDist + dLambda * pOnePart->iMinRate;
    317   pOnePart->iBestType  = m_iTypePartBest[iPartIdx];
    318   if (pOnePart->iBestType != -1)
    319   {
    320     //     pOnePart->bEnableFlag =  1;
    321     pOnePart->iLength = m_iNumClass[pOnePart->iBestType];
    322     Int minIndex = 0;
    323     if( pOnePart->iBestType == SAO_BO )
    324     {
    325       pOnePart->bandPosition = bestClassTableBo;
    326       minIndex = pOnePart->bandPosition;
    327     }
    328     for (Int i=0; i< pOnePart->iLength ; i++)
    329     {
    330       pOnePart->iOffset[i] = (Int) m_iOffset[iPartIdx][pOnePart->iBestType][minIndex+i+1];
    331     }
    332 
    333   }
    334   else
    335   {
    336     //     pOnePart->bEnableFlag = 0;
    337     pOnePart->iLength     = 0;
    338   }
     336        //     pOnePart->bEnableFlag = 0;
     337        pOnePart->iLength     = 0;
     338    }
    339339}
    340340
     
    343343Void TEncSampleAdaptiveOffset::disablePartTree(SAOQTPart *psQTPart, Int iPartIdx)
    344344{
    345   SAOQTPart*  pOnePart= &(psQTPart[iPartIdx]);
    346   pOnePart->bSplit      = false;
    347   pOnePart->iLength     =  0;
    348   pOnePart->iBestType   = -1;
    349 
    350   if (pOnePart->PartLevel < m_uiMaxSplitLevel)
    351   {
    352     for (Int i=0; i<NUM_DOWN_PART; i++)
    353     {
    354       disablePartTree(psQTPart, pOnePart->DownPartsIdx[i]);
    355     }
    356   }
     345    SAOQTPart*  pOnePart= &(psQTPart[iPartIdx]);
     346    pOnePart->bSplit      = false;
     347    pOnePart->iLength     =  0;
     348    pOnePart->iBestType   = -1;
     349
     350    if (pOnePart->PartLevel < m_uiMaxSplitLevel)
     351    {
     352        for (Int i=0; i<NUM_DOWN_PART; i++)
     353        {
     354            disablePartTree(psQTPart, pOnePart->DownPartsIdx[i]);
     355        }
     356    }
    357357}
    358358
     
    360360 * \param  iPartIdx, pcPicOrg, pcPicDec, pcPicRest, &dCostFinal
    361361 */
    362 Void TEncSampleAdaptiveOffset::runQuadTreeDecision(SAOQTPart *psQTPart, Int iPartIdx, Double &dCostFinal, Int iMaxLevel, Double dLambda)
    363 {
    364   SAOQTPart*  pOnePart = &(psQTPart[iPartIdx]);
    365 
    366   UInt uiDepth = pOnePart->PartLevel;
    367   UInt uhNextDepth = uiDepth+1;
    368 
    369   if (iPartIdx == 0)
    370   {
    371     dCostFinal = 0;
    372   }
    373 
    374   //SAO for this part
    375   if(!pOnePart->bProcessed)
    376   {
    377     rdoSaoOnePart (psQTPart, iPartIdx, dLambda);
    378   }
    379 
    380   //SAO for sub 4 parts
    381   if (pOnePart->PartLevel < iMaxLevel)
    382   {
    383     Double      dCostNotSplit = dLambda + pOnePart->dMinCost;
    384     Double      dCostSplit    = dLambda;
    385 
    386     for (Int i=0; i< NUM_DOWN_PART ;i++)
    387     {
    388       if( m_bUseSBACRD ) 
    389       {
    390         if ( 0 == i) //initialize RD with previous depth buffer
    391         {
    392           m_pppcRDSbacCoder[uhNextDepth][CI_CURR_BEST]->load(m_pppcRDSbacCoder[uiDepth][CI_CURR_BEST]);
     362Void TEncSampleAdaptiveOffset::runQuadTreeDecision(SAOQTPart *psQTPart, Int iPartIdx, Double &dCostFinal, Int iMaxLevel, Double dLambda, Int yCbCr)
     363{
     364    SAOQTPart*  pOnePart = &(psQTPart[iPartIdx]);
     365
     366    UInt uiDepth = pOnePart->PartLevel;
     367    UInt uhNextDepth = uiDepth+1;
     368
     369    if (iPartIdx == 0)
     370    {
     371        dCostFinal = 0;
     372    }
     373
     374    //SAO for this part
     375    if(!pOnePart->bProcessed)
     376    {
     377        rdoSaoOnePart (psQTPart, iPartIdx, dLambda, yCbCr);
     378    }
     379
     380    //SAO for sub 4 parts
     381    if (pOnePart->PartLevel < iMaxLevel)
     382    {
     383        Double      dCostNotSplit = dLambda + pOnePart->dMinCost;
     384        Double      dCostSplit    = dLambda;
     385
     386        for (Int i=0; i< NUM_DOWN_PART ;i++)
     387        {
     388            if( m_bUseSBACRD )
     389            {
     390                if ( 0 == i) //initialize RD with previous depth buffer
     391                {
     392                    m_pppcRDSbacCoder[uhNextDepth][CI_CURR_BEST]->load(m_pppcRDSbacCoder[uiDepth][CI_CURR_BEST]);
     393                }
     394                else
     395                {
     396                    m_pppcRDSbacCoder[uhNextDepth][CI_CURR_BEST]->load(m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]);
     397                }
     398            }
     399            runQuadTreeDecision(psQTPart, pOnePart->DownPartsIdx[i], dCostFinal, iMaxLevel, dLambda, yCbCr);
     400            dCostSplit += dCostFinal;
     401            if( m_bUseSBACRD )
     402            {
     403                m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]->load(m_pppcRDSbacCoder[uhNextDepth][CI_TEMP_BEST]);
     404            }
     405        }
     406
     407        if(dCostSplit < dCostNotSplit)
     408        {
     409            dCostFinal = dCostSplit;
     410            pOnePart->bSplit      = true;
     411            pOnePart->iLength     =  0;
     412            pOnePart->iBestType   = -1;
     413            if( m_bUseSBACRD )
     414            {
     415                m_pppcRDSbacCoder[uiDepth][CI_NEXT_BEST]->load(m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]);
     416            }
    393417        }
    394418        else
    395419        {
    396           m_pppcRDSbacCoder[uhNextDepth][CI_CURR_BEST]->load(m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]);
    397         }
    398       } 
    399       runQuadTreeDecision(psQTPart, pOnePart->DownPartsIdx[i], dCostFinal, iMaxLevel, dLambda);
    400       dCostSplit += dCostFinal;
    401       if( m_bUseSBACRD )
    402       {
    403         m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]->load(m_pppcRDSbacCoder[uhNextDepth][CI_TEMP_BEST]);
    404       }
    405     }
    406 
    407     if(dCostSplit < dCostNotSplit)
    408     {
    409       dCostFinal = dCostSplit;
    410       pOnePart->bSplit      = true;
    411       pOnePart->iLength     =  0;
    412       pOnePart->iBestType   = -1;
    413       if( m_bUseSBACRD )
    414       {
    415         m_pppcRDSbacCoder[uiDepth][CI_NEXT_BEST]->load(m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]);
    416       }
     420            dCostFinal = dCostNotSplit;
     421            pOnePart->bSplit = false;
     422            for (Int i=0; i<NUM_DOWN_PART; i++)
     423            {
     424                disablePartTree(psQTPart, pOnePart->DownPartsIdx[i]);
     425            }
     426            if( m_bUseSBACRD )
     427            {
     428                m_pppcRDSbacCoder[uiDepth][CI_NEXT_BEST]->load(m_pppcRDSbacCoder[uiDepth][CI_TEMP_BEST]);
     429            }
     430        }
    417431    }
    418432    else
    419433    {
    420       dCostFinal = dCostNotSplit;
    421       pOnePart->bSplit = false;
    422       for (Int i=0; i<NUM_DOWN_PART; i++)
    423       {
    424         disablePartTree(psQTPart, pOnePart->DownPartsIdx[i]);
    425       }
    426       if( m_bUseSBACRD )
    427       {
    428         m_pppcRDSbacCoder[uiDepth][CI_NEXT_BEST]->load(m_pppcRDSbacCoder[uiDepth][CI_TEMP_BEST]);
    429       }
    430     }
    431   }
    432   else
    433   {
    434     dCostFinal = pOnePart->dMinCost;
    435   }
     434        dCostFinal = pOnePart->dMinCost;
     435    }
    436436}
    437437
     
    446446      if (m_iCount [i][j])
    447447      {
    448         delete [] m_iCount [i][j]; 
     448        delete [] m_iCount [i][j];
    449449      }
    450450      if (m_iOffset[i][j])
     
    454454      if (m_iOffsetOrg[i][j])
    455455      {
    456         delete [] m_iOffsetOrg[i][j]; 
     456        delete [] m_iOffsetOrg[i][j];
    457457      }
    458458    }
     
    463463    if (m_iDist[i])
    464464    {
    465       delete [] m_iDist[i]; 
     465      delete [] m_iDist[i];
    466466    }
    467467    if (m_dCost[i])
     
    471471    if (m_iCount [i])
    472472    {
    473       delete [] m_iCount [i]; 
     473      delete [] m_iCount [i];
    474474    }
    475475    if (m_iOffset[i])
     
    479479    if (m_iOffsetOrg[i])
    480480    {
    481       delete [] m_iOffsetOrg[i];
    482     }
    483 
     481      delete [] m_iOffsetOrg[i];
     482    }
    484483  }
    485484  if (m_iDistOrg)
     
    518517  {
    519518    delete [] m_iOffsetOrg ; m_iOffsetOrg = NULL;
     519  }
     520  Int numLcu = m_iNumCuInWidth * m_iNumCuInHeight;
     521
     522  for (Int i=0;i<numLcu;i++)
     523  {
     524    for (Int j=0;j<3;j++)
     525    {
     526      for (Int k=0;k<MAX_NUM_SAO_TYPE;k++)
     527      {
     528        if (m_count_PreDblk [i][j][k])
     529        {
     530          delete [] m_count_PreDblk [i][j][k];
     531        }
     532        if (m_offsetOrg_PreDblk[i][j][k])
     533        {
     534          delete [] m_offsetOrg_PreDblk[i][j][k];
     535        }
     536      }
     537      if (m_count_PreDblk [i][j])
     538      {
     539        delete [] m_count_PreDblk [i][j];
     540      }
     541      if (m_offsetOrg_PreDblk[i][j])
     542      {
     543        delete [] m_offsetOrg_PreDblk[i][j];
     544      }
     545    }
     546    if (m_count_PreDblk [i])
     547    {
     548      delete [] m_count_PreDblk [i];
     549    }
     550    if (m_offsetOrg_PreDblk[i])
     551    {
     552      delete [] m_offsetOrg_PreDblk[i];
     553    }
     554  }
     555  if (m_count_PreDblk)
     556  {
     557    delete [] m_count_PreDblk  ; m_count_PreDblk = NULL;
     558  }
     559  if (m_offsetOrg_PreDblk)
     560  {
     561    delete [] m_offsetOrg_PreDblk ; m_offsetOrg_PreDblk = NULL;
    520562  }
    521563
     
    546588Void TEncSampleAdaptiveOffset::createEncBuffer()
    547589{
    548   m_iDistOrg = new Int64 [m_iNumTotalParts]; 
    549   m_dCostPartBest = new Double [m_iNumTotalParts]; 
    550   m_iTypePartBest = new Int [m_iNumTotalParts]; 
     590  m_iDistOrg = new Int64 [m_iNumTotalParts];
     591  m_dCostPartBest = new Double [m_iNumTotalParts];
     592  m_iTypePartBest = new Int [m_iNumTotalParts];
    551593
    552594  m_iRate = new Int64* [m_iNumTotalParts];
     
    561603  {
    562604    m_iRate[i] = new Int64  [MAX_NUM_SAO_TYPE];
    563     m_iDist[i] = new Int64  [MAX_NUM_SAO_TYPE]; 
    564     m_dCost[i] = new Double [MAX_NUM_SAO_TYPE]; 
    565 
    566     m_iCount [i] = new Int64 *[MAX_NUM_SAO_TYPE]; 
    567     m_iOffset[i] = new Int64 *[MAX_NUM_SAO_TYPE]; 
    568     m_iOffsetOrg[i] = new Int64 *[MAX_NUM_SAO_TYPE]; 
     605    m_iDist[i] = new Int64  [MAX_NUM_SAO_TYPE];
     606    m_dCost[i] = new Double [MAX_NUM_SAO_TYPE];
     607
     608    m_iCount [i] = new Int64 *[MAX_NUM_SAO_TYPE];
     609    m_iOffset[i] = new Int64 *[MAX_NUM_SAO_TYPE];
     610    m_iOffsetOrg[i] = new Int64 *[MAX_NUM_SAO_TYPE];
    569611
    570612    for (Int j=0;j<MAX_NUM_SAO_TYPE;j++)
    571613    {
    572       m_iCount [i][j]   = new Int64 [MAX_NUM_SAO_CLASS];
    573       m_iOffset[i][j]   = new Int64 [MAX_NUM_SAO_CLASS];
    574       m_iOffsetOrg[i][j]= new Int64 [MAX_NUM_SAO_CLASS];
     614      m_iCount [i][j]   = new Int64 [MAX_NUM_SAO_CLASS];
     615      m_iOffset[i][j]   = new Int64 [MAX_NUM_SAO_CLASS];
     616      m_iOffsetOrg[i][j]= new Int64 [MAX_NUM_SAO_CLASS];
     617    }
     618  }
     619  Int numLcu = m_iNumCuInWidth * m_iNumCuInHeight;
     620  m_count_PreDblk  = new Int64 ***[numLcu];
     621  m_offsetOrg_PreDblk = new Int64 ***[numLcu];
     622  for (Int i=0; i<numLcu; i++)
     623  {
     624    m_count_PreDblk[i]  = new Int64 **[3];
     625    m_offsetOrg_PreDblk[i] = new Int64 **[3];
     626
     627    for (Int j=0;j<3;j++)
     628    {
     629      m_count_PreDblk [i][j] = new Int64 *[MAX_NUM_SAO_TYPE];
     630      m_offsetOrg_PreDblk[i][j] = new Int64 *[MAX_NUM_SAO_TYPE];
     631
     632      for (Int k=0;k<MAX_NUM_SAO_TYPE;k++)
     633      {
     634        m_count_PreDblk [i][j][k]   = new Int64 [MAX_NUM_SAO_CLASS];
     635        m_offsetOrg_PreDblk[i][j][k]= new Int64 [MAX_NUM_SAO_CLASS];
     636      }
    575637    }
    576638  }
     
    606668
    607669/** Start SAO encoder
    608  * \param pcPic, pcEntropyCoder, pppcRDSbacCoder, pcRDGoOnSbacCoder 
     670 * \param pcPic, pcEntropyCoder, pppcRDSbacCoder, pcRDGoOnSbacCoder
    609671 */
    610672Void TEncSampleAdaptiveOffset::startSaoEnc( TComPic* pcPic, TEncEntropy* pcEntropyCoder, TEncSbac*** pppcRDSbacCoder, TEncSbac* pcRDGoOnSbacCoder)
    611673{
    612   if( pcRDGoOnSbacCoder )
    613     m_bUseSBACRD = true;
    614   else
    615     m_bUseSBACRD = false;
    616 
     674  m_bUseSBACRD = true;
    617675  m_pcPic = pcPic;
    618676  m_pcEntropyCoder = pcEntropyCoder;
    619677
    620678  m_pcRDGoOnSbacCoder = pcRDGoOnSbacCoder;
     679  m_pcEntropyCoder->setEntropyCoder(m_pcRDGoOnSbacCoder, pcPic->getSlice(0));
    621680  m_pcEntropyCoder->resetEntropy();
    622681  m_pcEntropyCoder->resetBits();
     
    672731      if (classIdx)
    673732      {
    674         stats[classIdx] += (pOrg[x] - pRec[x]); 
     733        stats[classIdx] += (pOrg[x] - pRec[x]);
    675734        count[classIdx] ++;
    676735      }
     
    685744  pRec   = pRecStart;
    686745
    687 
    688746  startX = (pbBorderAvail[SGU_L]) ? 0 : 1;
    689747  endX   = (pbBorderAvail[SGU_R]) ? width : (width -1);
     
    693751    for (x=startX; x< endX; x++)
    694752    {
    695       signRight =  xSign(pRec[x] - pRec[x+1]); 
     753      signRight =  xSign(pRec[x] - pRec[x+1]);
    696754      edgeType =  signRight + signLeft + 2;
    697755      signLeft  = -signRight;
     
    726784    for (x=0; x< width; x++)
    727785    {
    728       signDown     =  xSign(pRec[x] - pRec[x+stride]); 
     786      signDown     =  xSign(pRec[x] - pRec[x+stride]);
    729787      edgeType    =  signDown + m_iUpBuff1[x] + 2;
    730788      m_iUpBuff1[x] = -signDown;
     
    785843      count[m_auiEoTable[edgeType]] ++;
    786844
    787       m_iUpBufft[x+1] = -signDown1; 
     845      m_iUpBufft[x+1] = -signDown1;
    788846    }
    789847    m_iUpBufft[startX] = xSign(pRec[stride+startX] - pRec[startX-1]);
     
    931989      posOffset = (yPos* stride) + xPos;
    932990
    933 #if HHI_INTERVIEW_SKIP
    934       if( !m_pcPic->getCU(iAddr)->getRenderable(0 ))
    935       {
    936991      calcSaoStatsBlock(pPicRec+ posOffset, pPicOrg+ posOffset, stride, ppStats, ppCount,width, height, pbBorderAvail);
    937       }
    938 #else
    939       calcSaoStatsBlock(pPicRec+ posOffset, pPicOrg+ posOffset, stride, ppStats, ppCount,width, height, pbBorderAvail);
    940 #endif
    941     }
    942   }
    943 
     992    }
     993  }
    944994}
    945995
     
    9741024  Int iIsChroma = (iYCbCr!=0)? 1:0;
    9751025  Int numSkipLine = iIsChroma? 2:4;
     1026  if (m_saoLcuBasedOptimization == 0)
     1027  {
     1028    numSkipLine = 0;
     1029  }
     1030
     1031#if SAO_SKIP_RIGHT
     1032  Int numSkipLineRight = iIsChroma? 3:5;
     1033  if (m_saoLcuBasedOptimization == 0)
     1034  {
     1035    numSkipLineRight = 0;
     1036  }
     1037#endif
     1038
     1039  iPicWidthTmp  = m_iPicWidth  >> iIsChroma;
     1040  iPicHeightTmp = m_iPicHeight >> iIsChroma;
     1041  iLcuWidth     = iLcuWidth    >> iIsChroma;
     1042  iLcuHeight    = iLcuHeight   >> iIsChroma;
     1043  uiLPelX       = uiLPelX      >> iIsChroma;
     1044  uiTPelY       = uiTPelY      >> iIsChroma;
     1045  uiRPelX       = uiLPelX + iLcuWidth  ;
     1046  uiBPelY       = uiTPelY + iLcuHeight ;
     1047  uiRPelX       = uiRPelX > iPicWidthTmp  ? iPicWidthTmp  : uiRPelX;
     1048  uiBPelY       = uiBPelY > iPicHeightTmp ? iPicHeightTmp : uiBPelY;
     1049  iLcuWidth     = uiRPelX - uiLPelX;
     1050  iLcuHeight    = uiBPelY - uiTPelY;
     1051
     1052  iStride    =  (iYCbCr == 0)? m_pcPic->getStride(): m_pcPic->getCStride();
     1053
     1054//if(iSaoType == BO_0 || iSaoType == BO_1)
     1055  {
     1056    if( m_saoLcuBasedOptimization && m_saoLcuBoundary )
     1057    {
     1058      numSkipLine = iIsChroma? 1:3;
     1059      numSkipLineRight = iIsChroma? 2:4;
     1060    }
     1061    iStats = m_iOffsetOrg[iPartIdx][SAO_BO];
     1062    iCount = m_iCount    [iPartIdx][SAO_BO];
     1063
     1064    pOrg = getPicYuvAddr(m_pcPic->getPicYuvOrg(), iYCbCr, iAddr);
     1065    pRec = getPicYuvAddr(m_pcPic->getPicYuvRec(), iYCbCr, iAddr);
     1066
     1067#if SAO_SKIP_RIGHT
     1068    iEndX   = (uiRPelX == iPicWidthTmp) ? iLcuWidth : iLcuWidth-numSkipLineRight;
     1069#endif
     1070
     1071    iEndY   = (uiBPelY == iPicHeightTmp) ? iLcuHeight : iLcuHeight-numSkipLine;
     1072    for (y=0; y<iEndY; y++)
     1073    {
     1074#if SAO_SKIP_RIGHT
     1075      for (x=0; x<iEndX; x++)
     1076#else
     1077      for (x=0; x<iLcuWidth; x++)
     1078#endif
     1079      {
     1080        iClassIdx = m_lumaTableBo[pRec[x]];
     1081        if (iClassIdx)
     1082        {
     1083          iStats[iClassIdx] += (pOrg[x] - pRec[x]);
     1084          iCount[iClassIdx] ++;
     1085        }
     1086      }
     1087      pOrg += iStride;
     1088      pRec += iStride;
     1089    }
     1090
     1091  }
     1092  Int iSignLeft;
     1093  Int iSignRight;
     1094  Int iSignDown;
     1095  Int iSignDown1;
     1096  Int iSignDown2;
     1097
     1098  UInt uiEdgeType;
     1099
     1100//if (iSaoType == EO_0  || iSaoType == EO_1 || iSaoType == EO_2 || iSaoType == EO_3)
     1101  {
     1102  //if (iSaoType == EO_0)
     1103    {
     1104      if( m_saoLcuBasedOptimization && m_saoLcuBoundary )
     1105      {
     1106        numSkipLine = iIsChroma? 1:3;
     1107        numSkipLineRight = iIsChroma? 3:5;
     1108      }
     1109      iStats = m_iOffsetOrg[iPartIdx][SAO_EO_0];
     1110      iCount = m_iCount    [iPartIdx][SAO_EO_0];
     1111
     1112      pOrg = getPicYuvAddr(m_pcPic->getPicYuvOrg(), iYCbCr, iAddr);
     1113      pRec = getPicYuvAddr(m_pcPic->getPicYuvRec(), iYCbCr, iAddr);
     1114
     1115      iStartX = (uiLPelX == 0) ? 1 : 0;
     1116#if SAO_SKIP_RIGHT
     1117      iEndX   = (uiRPelX == iPicWidthTmp) ? iLcuWidth-1 : iLcuWidth-numSkipLineRight;
     1118#else
     1119      iEndX   = (uiRPelX == iPicWidthTmp) ? iLcuWidth-1 : iLcuWidth;
     1120#endif
     1121      for (y=0; y<iLcuHeight-numSkipLine; y++)
     1122      {
     1123        iSignLeft = xSign(pRec[iStartX] - pRec[iStartX-1]);
     1124        for (x=iStartX; x< iEndX; x++)
     1125        {
     1126          iSignRight =  xSign(pRec[x] - pRec[x+1]);
     1127          uiEdgeType =  iSignRight + iSignLeft + 2;
     1128          iSignLeft  = -iSignRight;
     1129
     1130          iStats[m_auiEoTable[uiEdgeType]] += (pOrg[x] - pRec[x]);
     1131          iCount[m_auiEoTable[uiEdgeType]] ++;
     1132        }
     1133        pOrg += iStride;
     1134        pRec += iStride;
     1135      }
     1136    }
     1137
     1138  //if (iSaoType == EO_1)
     1139    {
     1140      if( m_saoLcuBasedOptimization && m_saoLcuBoundary )
     1141      {
     1142        numSkipLine = iIsChroma? 2:4;
     1143        numSkipLineRight = iIsChroma? 2:4;
     1144      }
     1145      iStats = m_iOffsetOrg[iPartIdx][SAO_EO_1];
     1146      iCount = m_iCount    [iPartIdx][SAO_EO_1];
     1147
     1148      pOrg = getPicYuvAddr(m_pcPic->getPicYuvOrg(), iYCbCr, iAddr);
     1149      pRec = getPicYuvAddr(m_pcPic->getPicYuvRec(), iYCbCr, iAddr);
     1150
     1151      iStartY = (uiTPelY == 0) ? 1 : 0;
     1152#if SAO_SKIP_RIGHT
     1153      iEndX   = (uiRPelX == iPicWidthTmp) ? iLcuWidth : iLcuWidth-numSkipLineRight;
     1154#endif
     1155      iEndY   = (uiBPelY == iPicHeightTmp) ? iLcuHeight-1 : iLcuHeight-numSkipLine;
     1156      if (uiTPelY == 0)
     1157      {
     1158        pOrg += iStride;
     1159        pRec += iStride;
     1160      }
     1161
     1162      for (x=0; x< iLcuWidth; x++)
     1163      {
     1164        m_iUpBuff1[x] = xSign(pRec[x] - pRec[x-iStride]);
     1165      }
     1166      for (y=iStartY; y<iEndY; y++)
     1167      {
     1168#if SAO_SKIP_RIGHT
     1169        for (x=0; x<iEndX; x++)
     1170#else
     1171        for (x=0; x<iLcuWidth; x++)
     1172#endif
     1173        {
     1174          iSignDown     =  xSign(pRec[x] - pRec[x+iStride]);
     1175          uiEdgeType    =  iSignDown + m_iUpBuff1[x] + 2;
     1176          m_iUpBuff1[x] = -iSignDown;
     1177
     1178          iStats[m_auiEoTable[uiEdgeType]] += (pOrg[x] - pRec[x]);
     1179          iCount[m_auiEoTable[uiEdgeType]] ++;
     1180        }
     1181        pOrg += iStride;
     1182        pRec += iStride;
     1183      }
     1184    }
     1185  //if (iSaoType == EO_2)
     1186    {
     1187      if( m_saoLcuBasedOptimization && m_saoLcuBoundary )
     1188      {
     1189        numSkipLine = iIsChroma? 2:4;
     1190        numSkipLineRight = iIsChroma? 3:5;
     1191      }
     1192      iStats = m_iOffsetOrg[iPartIdx][SAO_EO_2];
     1193      iCount = m_iCount    [iPartIdx][SAO_EO_2];
     1194
     1195      pOrg = getPicYuvAddr(m_pcPic->getPicYuvOrg(), iYCbCr, iAddr);
     1196      pRec = getPicYuvAddr(m_pcPic->getPicYuvRec(), iYCbCr, iAddr);
     1197
     1198      iStartX = (uiLPelX == 0) ? 1 : 0;
     1199#if SAO_SKIP_RIGHT
     1200      iEndX   = (uiRPelX == iPicWidthTmp) ? iLcuWidth-1 : iLcuWidth-numSkipLineRight;
     1201#else
     1202      iEndX   = (uiRPelX == iPicWidthTmp) ? iLcuWidth-1 : iLcuWidth;
     1203#endif
     1204
     1205      iStartY = (uiTPelY == 0) ? 1 : 0;
     1206      iEndY   = (uiBPelY == iPicHeightTmp) ? iLcuHeight-1 : iLcuHeight-numSkipLine;
     1207      if (uiTPelY == 0)
     1208      {
     1209        pOrg += iStride;
     1210        pRec += iStride;
     1211      }
     1212
     1213      for (x=iStartX; x<iEndX; x++)
     1214      {
     1215        m_iUpBuff1[x] = xSign(pRec[x] - pRec[x-iStride-1]);
     1216      }
     1217      for (y=iStartY; y<iEndY; y++)
     1218      {
     1219        iSignDown2 = xSign(pRec[iStride+iStartX] - pRec[iStartX-1]);
     1220        for (x=iStartX; x<iEndX; x++)
     1221        {
     1222          iSignDown1      =  xSign(pRec[x] - pRec[x+iStride+1]) ;
     1223          uiEdgeType      =  iSignDown1 + m_iUpBuff1[x] + 2;
     1224          m_iUpBufft[x+1] = -iSignDown1;
     1225          iStats[m_auiEoTable[uiEdgeType]] += (pOrg[x] - pRec[x]);
     1226          iCount[m_auiEoTable[uiEdgeType]] ++;
     1227        }
     1228        m_iUpBufft[iStartX] = iSignDown2;
     1229        ipSwap     = m_iUpBuff1;
     1230        m_iUpBuff1 = m_iUpBufft;
     1231        m_iUpBufft = ipSwap;
     1232
     1233        pRec += iStride;
     1234        pOrg += iStride;
     1235      }
     1236    }
     1237  //if (iSaoType == EO_3  )
     1238    {
     1239      if( m_saoLcuBasedOptimization && m_saoLcuBoundary )
     1240      {
     1241        numSkipLine = iIsChroma? 2:4;
     1242        numSkipLineRight = iIsChroma? 3:5;
     1243      }
     1244      iStats = m_iOffsetOrg[iPartIdx][SAO_EO_3];
     1245      iCount = m_iCount    [iPartIdx][SAO_EO_3];
     1246
     1247      pOrg = getPicYuvAddr(m_pcPic->getPicYuvOrg(), iYCbCr, iAddr);
     1248      pRec = getPicYuvAddr(m_pcPic->getPicYuvRec(), iYCbCr, iAddr);
     1249
     1250      iStartX = (uiLPelX == 0) ? 1 : 0;
     1251#if SAO_SKIP_RIGHT
     1252      iEndX   = (uiRPelX == iPicWidthTmp) ? iLcuWidth-1 : iLcuWidth-numSkipLineRight;
     1253#else
     1254      iEndX   = (uiRPelX == iPicWidthTmp) ? iLcuWidth-1 : iLcuWidth;
     1255#endif
     1256
     1257      iStartY = (uiTPelY == 0) ? 1 : 0;
     1258      iEndY   = (uiBPelY == iPicHeightTmp) ? iLcuHeight-1 : iLcuHeight-numSkipLine;
     1259      if (iStartY == 1)
     1260      {
     1261        pOrg += iStride;
     1262        pRec += iStride;
     1263      }
     1264
     1265      for (x=iStartX-1; x<iEndX; x++)
     1266      {
     1267        m_iUpBuff1[x] = xSign(pRec[x] - pRec[x-iStride+1]);
     1268      }
     1269
     1270      for (y=iStartY; y<iEndY; y++)
     1271      {
     1272        for (x=iStartX; x<iEndX; x++)
     1273        {
     1274          iSignDown1      =  xSign(pRec[x] - pRec[x+iStride-1]) ;
     1275          uiEdgeType      =  iSignDown1 + m_iUpBuff1[x] + 2;
     1276          m_iUpBuff1[x-1] = -iSignDown1;
     1277          iStats[m_auiEoTable[uiEdgeType]] += (pOrg[x] - pRec[x]);
     1278          iCount[m_auiEoTable[uiEdgeType]] ++;
     1279        }
     1280        m_iUpBuff1[iEndX-1] = xSign(pRec[iEndX-1 + iStride] - pRec[iEndX]);
     1281
     1282        pRec += iStride;
     1283        pOrg += iStride;
     1284      }
     1285    }
     1286  }
     1287}
     1288
     1289
     1290Void TEncSampleAdaptiveOffset::calcSaoStatsCu_BeforeDblk( TComPic* pcPic )
     1291{
     1292  Int addr, yCbCr;
     1293  Int x,y;
     1294  TComSPS *pTmpSPS =  pcPic->getSlice(0)->getSPS();
     1295
     1296  Pel* pOrg;
     1297  Pel* pRec;
     1298  Int stride;
     1299  Int lcuWidth  = pTmpSPS->getMaxCUHeight();
     1300  Int lcuHeight = pTmpSPS->getMaxCUWidth();
     1301  UInt rPelX;
     1302  UInt bPelY;
     1303  Int64* stats;
     1304  Int64* count;
     1305  Int classIdx;
     1306  Int picWidthTmp = 0;
     1307  Int picHeightTmp = 0;
     1308  Int startX;
     1309  Int startY;
     1310  Int endX;
     1311  Int endY;
     1312  Int firstX, firstY;
     1313
     1314  Int idxY;
     1315  Int idxX;
     1316  Int frameHeightInCU = m_iNumCuInHeight;
     1317  Int frameWidthInCU  = m_iNumCuInWidth;
     1318  Int j, k;
     1319
     1320  Int isChroma;
     1321  Int numSkipLine, numSkipLineRight;
     1322
     1323  UInt lPelX, tPelY;
     1324  TComDataCU *pTmpCu;
     1325
     1326  for (idxY = 0; idxY< frameHeightInCU; idxY++)
     1327  {
     1328    for (idxX = 0; idxX< frameWidthInCU; idxX++)
     1329    {
     1330      lcuWidth  = pTmpSPS->getMaxCUHeight();
     1331      lcuHeight = pTmpSPS->getMaxCUWidth();
     1332      addr     = idxX  + frameWidthInCU*idxY;
     1333      pTmpCu = pcPic->getCU(addr);
     1334      lPelX   = pTmpCu->getCUPelX();
     1335      tPelY   = pTmpCu->getCUPelY();
     1336      for( yCbCr = 0; yCbCr < 3; yCbCr++ )
     1337      {
     1338        isChroma = (yCbCr!=0)? 1:0;
     1339
     1340        for ( j=0;j<MAX_NUM_SAO_TYPE;j++)
     1341        {
     1342          for ( k=0;k< MAX_NUM_SAO_CLASS;k++)
     1343          {
     1344            m_count_PreDblk    [addr][yCbCr][j][k] = 0;
     1345            m_offsetOrg_PreDblk[addr][yCbCr][j][k] = 0;
     1346          } 
     1347        }
     1348        if( yCbCr == 0 )
     1349        {
     1350          picWidthTmp  = m_iPicWidth;
     1351          picHeightTmp = m_iPicHeight;
     1352        }
     1353        else if( yCbCr == 1 )
     1354        {
     1355          picWidthTmp  = m_iPicWidth  >> isChroma;
     1356          picHeightTmp = m_iPicHeight >> isChroma;
     1357          lcuWidth     = lcuWidth    >> isChroma;
     1358          lcuHeight    = lcuHeight   >> isChroma;
     1359          lPelX       = lPelX      >> isChroma;
     1360          tPelY       = tPelY      >> isChroma;
     1361        }
     1362        rPelX       = lPelX + lcuWidth  ;
     1363        bPelY       = tPelY + lcuHeight ;
     1364        rPelX       = rPelX > picWidthTmp  ? picWidthTmp  : rPelX;
     1365        bPelY       = bPelY > picHeightTmp ? picHeightTmp : bPelY;
     1366        lcuWidth     = rPelX - lPelX;
     1367        lcuHeight    = bPelY - tPelY;
     1368
     1369        stride    =  (yCbCr == 0)? pcPic->getStride(): pcPic->getCStride();
     1370
     1371        //if(iSaoType == BO)
     1372
     1373        numSkipLine = isChroma? 1:3;
     1374        numSkipLineRight = isChroma? 2:4;
     1375
     1376        stats = m_offsetOrg_PreDblk[addr][yCbCr][SAO_BO];
     1377        count = m_count_PreDblk[addr][yCbCr][SAO_BO];
     1378
     1379        pOrg = getPicYuvAddr(pcPic->getPicYuvOrg(), yCbCr, addr);
     1380        pRec = getPicYuvAddr(pcPic->getPicYuvRec(), yCbCr, addr);
     1381
     1382        startX   = (rPelX == picWidthTmp) ? lcuWidth : lcuWidth-numSkipLineRight;
     1383        startY   = (bPelY == picHeightTmp) ? lcuHeight : lcuHeight-numSkipLine;
     1384
     1385        for (y=0; y<lcuHeight; y++)
     1386        {
     1387          for (x=0; x<lcuWidth; x++)
     1388          {
     1389            if( x < startX && y < startY )
     1390              continue;
     1391
     1392            classIdx = m_lumaTableBo[pRec[x]];
     1393            if (classIdx)
     1394            {
     1395              stats[classIdx] += (pOrg[x] - pRec[x]);
     1396              count[classIdx] ++;
     1397            }
     1398          }
     1399          pOrg += stride;
     1400          pRec += stride;
     1401        }
     1402
     1403        Int signLeft;
     1404        Int signRight;
     1405        Int signDown;
     1406        Int signDown1;
     1407        Int signDown2;
     1408
     1409        UInt uiEdgeType;
     1410
     1411        //if (iSaoType == EO_0)
     1412
     1413        numSkipLine = isChroma? 1:3;
     1414        numSkipLineRight = isChroma? 3:5;
     1415
     1416        stats = m_offsetOrg_PreDblk[addr][yCbCr][SAO_EO_0];
     1417        count = m_count_PreDblk[addr][yCbCr][SAO_EO_0];
     1418
     1419        pOrg = getPicYuvAddr(pcPic->getPicYuvOrg(), yCbCr, addr);
     1420        pRec = getPicYuvAddr(pcPic->getPicYuvRec(), yCbCr, addr);
     1421
     1422        startX   = (rPelX == picWidthTmp) ? lcuWidth-1 : lcuWidth-numSkipLineRight;
     1423        startY   = (bPelY == picHeightTmp) ? lcuHeight : lcuHeight-numSkipLine;
     1424        firstX   = (lPelX == 0) ? 1 : 0;
     1425        endX   = (rPelX == picWidthTmp) ? lcuWidth-1 : lcuWidth;
     1426
     1427        for (y=0; y<lcuHeight; y++)
     1428        {
     1429          signLeft = xSign(pRec[firstX] - pRec[firstX-1]);
     1430          for (x=firstX; x< endX; x++)
     1431          {
     1432            signRight =  xSign(pRec[x] - pRec[x+1]);
     1433            uiEdgeType =  signRight + signLeft + 2;
     1434            signLeft  = -signRight;
     1435
     1436            if( x < startX && y < startY )
     1437              continue;
     1438
     1439            stats[m_auiEoTable[uiEdgeType]] += (pOrg[x] - pRec[x]);
     1440            count[m_auiEoTable[uiEdgeType]] ++;
     1441          }
     1442          pOrg += stride;
     1443          pRec += stride;
     1444        }
     1445
     1446        //if (iSaoType == EO_1)
     1447
     1448        numSkipLine = isChroma? 2:4;
     1449        numSkipLineRight = isChroma? 2:4;
     1450
     1451        stats = m_offsetOrg_PreDblk[addr][yCbCr][SAO_EO_1];
     1452        count = m_count_PreDblk[addr][yCbCr][SAO_EO_1];
     1453
     1454        pOrg = getPicYuvAddr(pcPic->getPicYuvOrg(), yCbCr, addr);
     1455        pRec = getPicYuvAddr(pcPic->getPicYuvRec(), yCbCr, addr);
     1456
     1457        startX   = (rPelX == picWidthTmp) ? lcuWidth : lcuWidth-numSkipLineRight;
     1458        startY   = (bPelY == picHeightTmp) ? lcuHeight-1 : lcuHeight-numSkipLine;
     1459        firstY = (tPelY == 0) ? 1 : 0;
     1460        endY   = (bPelY == picHeightTmp) ? lcuHeight-1 : lcuHeight;
     1461        if (firstY == 1)
     1462        {
     1463          pOrg += stride;
     1464          pRec += stride;
     1465        }
     1466
     1467        for (x=0; x< lcuWidth; x++)
     1468        {
     1469          m_iUpBuff1[x] = xSign(pRec[x] - pRec[x-stride]);
     1470        }
     1471        for (y=firstY; y<endY; y++)
     1472        {
     1473          for (x=0; x<lcuWidth; x++)
     1474          {
     1475            signDown     =  xSign(pRec[x] - pRec[x+stride]);
     1476            uiEdgeType    =  signDown + m_iUpBuff1[x] + 2;
     1477            m_iUpBuff1[x] = -signDown;
     1478
     1479            if( x < startX && y < startY )
     1480              continue;
     1481
     1482            stats[m_auiEoTable[uiEdgeType]] += (pOrg[x] - pRec[x]);
     1483            count[m_auiEoTable[uiEdgeType]] ++;
     1484          }
     1485          pOrg += stride;
     1486          pRec += stride;
     1487        }
     1488
     1489        //if (iSaoType == EO_2)
     1490
     1491        numSkipLine = isChroma? 2:4;
     1492        numSkipLineRight = isChroma? 3:5;
     1493
     1494        stats = m_offsetOrg_PreDblk[addr][yCbCr][SAO_EO_2];
     1495        count = m_count_PreDblk[addr][yCbCr][SAO_EO_2];
     1496
     1497        pOrg = getPicYuvAddr(pcPic->getPicYuvOrg(), yCbCr, addr);
     1498        pRec = getPicYuvAddr(pcPic->getPicYuvRec(), yCbCr, addr);
     1499
     1500        startX   = (rPelX == picWidthTmp) ? lcuWidth-1 : lcuWidth-numSkipLineRight;
     1501        startY   = (bPelY == picHeightTmp) ? lcuHeight-1 : lcuHeight-numSkipLine;
     1502        firstX   = (lPelX == 0) ? 1 : 0;
     1503        firstY = (tPelY == 0) ? 1 : 0;
     1504        endX   = (rPelX == picWidthTmp) ? lcuWidth-1 : lcuWidth;
     1505        endY   = (bPelY == picHeightTmp) ? lcuHeight-1 : lcuHeight;
     1506        if (firstY == 1)
     1507        {
     1508          pOrg += stride;
     1509          pRec += stride;
     1510        }
     1511
     1512        for (x=firstX; x<endX; x++)
     1513        {
     1514          m_iUpBuff1[x] = xSign(pRec[x] - pRec[x-stride-1]);
     1515        }
     1516        for (y=firstY; y<endY; y++)
     1517        {
     1518          signDown2 = xSign(pRec[stride+startX] - pRec[startX-1]);
     1519          for (x=firstX; x<endX; x++)
     1520          {
     1521            signDown1      =  xSign(pRec[x] - pRec[x+stride+1]) ;
     1522            uiEdgeType      =  signDown1 + m_iUpBuff1[x] + 2;
     1523            m_iUpBufft[x+1] = -signDown1;
     1524
     1525            if( x < startX && y < startY )
     1526              continue;
     1527
     1528            stats[m_auiEoTable[uiEdgeType]] += (pOrg[x] - pRec[x]);
     1529            count[m_auiEoTable[uiEdgeType]] ++;
     1530          }
     1531          m_iUpBufft[firstX] = signDown2;
     1532          ipSwap     = m_iUpBuff1;
     1533          m_iUpBuff1 = m_iUpBufft;
     1534          m_iUpBufft = ipSwap;
     1535
     1536          pRec += stride;
     1537          pOrg += stride;
     1538        }
     1539
     1540        //if (iSaoType == EO_3)
     1541
     1542        numSkipLine = isChroma? 2:4;
     1543        numSkipLineRight = isChroma? 3:5;
     1544
     1545        stats = m_offsetOrg_PreDblk[addr][yCbCr][SAO_EO_3];
     1546        count = m_count_PreDblk[addr][yCbCr][SAO_EO_3];
     1547
     1548        pOrg = getPicYuvAddr(pcPic->getPicYuvOrg(), yCbCr, addr);
     1549        pRec = getPicYuvAddr(pcPic->getPicYuvRec(), yCbCr, addr);
     1550
     1551        startX   = (rPelX == picWidthTmp) ? lcuWidth-1 : lcuWidth-numSkipLineRight;
     1552        startY   = (bPelY == picHeightTmp) ? lcuHeight-1 : lcuHeight-numSkipLine;
     1553        firstX   = (lPelX == 0) ? 1 : 0;
     1554        firstY = (tPelY == 0) ? 1 : 0;
     1555        endX   = (rPelX == picWidthTmp) ? lcuWidth-1 : lcuWidth;
     1556        endY   = (bPelY == picHeightTmp) ? lcuHeight-1 : lcuHeight;
     1557        if (firstY == 1)
     1558        {
     1559          pOrg += stride;
     1560          pRec += stride;
     1561        }
     1562
     1563        for (x=firstX-1; x<endX; x++)
     1564        {
     1565          m_iUpBuff1[x] = xSign(pRec[x] - pRec[x-stride+1]);
     1566        }
     1567
     1568        for (y=firstY; y<endY; y++)
     1569        {
     1570          for (x=firstX; x<endX; x++)
     1571          {
     1572            signDown1      =  xSign(pRec[x] - pRec[x+stride-1]) ;
     1573            uiEdgeType      =  signDown1 + m_iUpBuff1[x] + 2;
     1574            m_iUpBuff1[x-1] = -signDown1;
     1575
     1576            if( x < startX && y < startY )
     1577              continue;
     1578
     1579            stats[m_auiEoTable[uiEdgeType]] += (pOrg[x] - pRec[x]);
     1580            count[m_auiEoTable[uiEdgeType]] ++;
     1581          }
     1582          m_iUpBuff1[endX-1] = xSign(pRec[endX-1 + stride] - pRec[endX]);
     1583
     1584          pRec += stride;
     1585          pOrg += stride;
     1586        }
     1587      }
     1588    }
     1589  }
     1590}
     1591
     1592
     1593/** get SAO statistics
     1594 * \param  *psQTPart,  iYCbCr
     1595 */
     1596Void TEncSampleAdaptiveOffset::getSaoStats(SAOQTPart *psQTPart, Int iYCbCr)
     1597{
     1598  Int iLevelIdx, iPartIdx, iTypeIdx, iClassIdx;
     1599  Int i;
     1600  Int iNumTotalType = MAX_NUM_SAO_TYPE;
     1601  Int LcuIdxX;
     1602  Int LcuIdxY;
     1603  Int iAddr;
     1604  Int iFrameWidthInCU = m_pcPic->getFrameWidthInCU();
     1605  Int iDownPartIdx;
     1606  Int iPartStart;
     1607  Int iPartEnd;
     1608  SAOQTPart*  pOnePart;
     1609
     1610  if (m_uiMaxSplitLevel == 0)
     1611  {
     1612    iPartIdx = 0;
     1613    pOnePart = &(psQTPart[iPartIdx]);
     1614    for (LcuIdxY = pOnePart->StartCUY; LcuIdxY<= pOnePart->EndCUY; LcuIdxY++)
     1615    {
     1616      for (LcuIdxX = pOnePart->StartCUX; LcuIdxX<= pOnePart->EndCUX; LcuIdxX++)
     1617      {
     1618        iAddr = LcuIdxY*iFrameWidthInCU + LcuIdxX;
     1619        calcSaoStatsCu(iAddr, iPartIdx, iYCbCr);
     1620      }
     1621    }
     1622  }
     1623  else
     1624  {
     1625    for(iPartIdx=m_aiNumCulPartsLevel[m_uiMaxSplitLevel-1]; iPartIdx<m_aiNumCulPartsLevel[m_uiMaxSplitLevel]; iPartIdx++)
     1626    {
     1627      pOnePart = &(psQTPart[iPartIdx]);
     1628      for (LcuIdxY = pOnePart->StartCUY; LcuIdxY<= pOnePart->EndCUY; LcuIdxY++)
     1629      {
     1630        for (LcuIdxX = pOnePart->StartCUX; LcuIdxX<= pOnePart->EndCUX; LcuIdxX++)
     1631        {
     1632          iAddr = LcuIdxY*iFrameWidthInCU + LcuIdxX;
     1633          calcSaoStatsCu(iAddr, iPartIdx, iYCbCr);
     1634        }
     1635      }
     1636    }
     1637    for (iLevelIdx = m_uiMaxSplitLevel-1; iLevelIdx>=0; iLevelIdx-- )
     1638    {
     1639      iPartStart = (iLevelIdx > 0) ? m_aiNumCulPartsLevel[iLevelIdx-1] : 0;
     1640      iPartEnd   = m_aiNumCulPartsLevel[iLevelIdx];
     1641
     1642      for(iPartIdx = iPartStart; iPartIdx < iPartEnd; iPartIdx++)
     1643      {
     1644        pOnePart = &(psQTPart[iPartIdx]);
     1645        for (i=0; i< NUM_DOWN_PART; i++)
     1646        {
     1647          iDownPartIdx = pOnePart->DownPartsIdx[i];
     1648          for (iTypeIdx=0; iTypeIdx<iNumTotalType; iTypeIdx++)
     1649          {
     1650            for (iClassIdx=0; iClassIdx< (iTypeIdx < SAO_BO ? m_iNumClass[iTypeIdx] : SAO_MAX_BO_CLASSES) +1; iClassIdx++)
     1651            {
     1652              m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx] += m_iOffsetOrg[iDownPartIdx][iTypeIdx][iClassIdx];
     1653              m_iCount [iPartIdx][iTypeIdx][iClassIdx]    += m_iCount [iDownPartIdx][iTypeIdx][iClassIdx];
     1654            }
     1655          }
     1656        }
     1657      }
     1658    }
     1659  }
     1660}
     1661
     1662/** reset offset statistics
     1663 * \param
     1664 */
     1665Void TEncSampleAdaptiveOffset::resetStats()
     1666{
     1667  for (Int i=0;i<m_iNumTotalParts;i++)
     1668  {
     1669    m_dCostPartBest[i] = MAX_DOUBLE;
     1670    m_iTypePartBest[i] = -1;
     1671    m_iDistOrg[i] = 0;
     1672    for (Int j=0;j<MAX_NUM_SAO_TYPE;j++)
     1673    {
     1674      m_iDist[i][j] = 0;
     1675      m_iRate[i][j] = 0;
     1676      m_dCost[i][j] = 0;
     1677      for (Int k=0;k<MAX_NUM_SAO_CLASS;k++)
     1678      {
     1679        m_iCount [i][j][k] = 0;
     1680        m_iOffset[i][j][k] = 0;
     1681        m_iOffsetOrg[i][j][k] = 0;
     1682      } 
     1683    }
     1684  }
     1685}
     1686
     1687#if SAO_CHROMA_LAMBDA
     1688/** Sample adaptive offset process
     1689 * \param pcSaoParam
     1690 * \param dLambdaLuma
     1691 * \param dLambdaChroma
     1692 */
     1693#if SAO_ENCODING_CHOICE
     1694Void TEncSampleAdaptiveOffset::SAOProcess(SAOParam *pcSaoParam, Double dLambdaLuma, Double dLambdaChroma, Int depth)
     1695#else
     1696Void TEncSampleAdaptiveOffset::SAOProcess(SAOParam *pcSaoParam, Double dLambdaLuma, Double dLambdaChroma)
     1697#endif
     1698#else
     1699/** Sample adaptive offset process
     1700 * \param dLambda
     1701 */
     1702Void TEncSampleAdaptiveOffset::SAOProcess(SAOParam *pcSaoParam, Double dLambda)
     1703#endif
     1704{
     1705    m_eSliceType          =  m_pcPic->getSlice(0)->getSliceType();
     1706    m_iPicNalReferenceIdc = (m_pcPic->getSlice(0)->isReferenced() ? 1 :0);
     1707
     1708#if SAO_CHROMA_LAMBDA
     1709    m_dLambdaLuma    = dLambdaLuma;
     1710    m_dLambdaChroma  = dLambdaChroma;
     1711#else
     1712    m_dLambdaLuma    = dLambda;
     1713    m_dLambdaChroma  = dLambda;
     1714#endif
     1715
     1716    if(m_bUseNIF)
     1717    {
     1718        m_pcPic->getPicYuvRec()->copyToPic(m_pcYuvTmp);
     1719    }
     1720
     1721#if FULL_NBIT
     1722    m_uiSaoBitIncrease = g_uiBitDepth + (g_uiBitDepth-8) - min((Int)(g_uiBitDepth + (g_uiBitDepth-8)), 10);
     1723#else
     1724    m_uiSaoBitIncrease = g_uiBitDepth + g_uiBitIncrement - min((Int)(g_uiBitDepth + g_uiBitIncrement), 10);
     1725#endif
     1726
     1727#if FULL_NBIT
     1728    m_iOffsetTh = 1 << ( min((Int)(g_uiBitDepth + (g_uiBitDepth-8)-5),5) );
     1729#else
     1730    m_iOffsetTh = 1 << ( min((Int)(g_uiBitDepth + g_uiBitIncrement-5),5) );
     1731#endif
     1732
     1733    resetSAOParam(pcSaoParam);
     1734    if( !m_saoLcuBasedOptimization || !m_saoLcuBoundary )
     1735    {
     1736        resetStats();
     1737    }
     1738    Double dCostFinal = 0;
     1739    if ( m_saoLcuBasedOptimization)
     1740    {
     1741#if SAO_ENCODING_CHOICE
     1742        rdoSaoUnitAll(pcSaoParam, dLambdaLuma, dLambdaChroma, depth);
     1743#else
     1744        rdoSaoUnitAll(pcSaoParam, dLambdaLuma, dLambdaChroma);
     1745#endif
     1746    }
     1747    else
     1748    {
     1749        pcSaoParam->bSaoFlag[0] = 1;
     1750        pcSaoParam->bSaoFlag[1] = 0;
     1751        dCostFinal = 0;
     1752        Double lambdaRdo =  dLambdaLuma;
     1753        resetStats();
     1754        getSaoStats(pcSaoParam->psSaoPart[0], 0);
     1755        runQuadTreeDecision(pcSaoParam->psSaoPart[0], 0, dCostFinal, m_uiMaxSplitLevel, lambdaRdo, 0);
     1756        pcSaoParam->bSaoFlag[0] = dCostFinal < 0 ? 1:0;
     1757        if(pcSaoParam->bSaoFlag[0])
     1758        {
     1759            convertQT2SaoUnit(pcSaoParam, 0, 0);
     1760            assignSaoUnitSyntax(pcSaoParam->saoLcuParam[0],  pcSaoParam->psSaoPart[0], pcSaoParam->oneUnitFlag[0], 0);
     1761        }
     1762    }
     1763
     1764    if (pcSaoParam->bSaoFlag[0])
     1765    {
     1766        processSaoUnitAll( pcSaoParam->saoLcuParam[0], pcSaoParam->oneUnitFlag[0], 0);
     1767    }
     1768    if (pcSaoParam->bSaoFlag[1])
     1769    {
     1770        processSaoUnitAll( pcSaoParam->saoLcuParam[1], pcSaoParam->oneUnitFlag[1], 1);
     1771        processSaoUnitAll( pcSaoParam->saoLcuParam[2], pcSaoParam->oneUnitFlag[2], 2);
     1772    }
     1773}
     1774/** Check merge SAO unit
     1775* \param saoUnitCurr current SAO unit
     1776* \param saoUnitCheck SAO unit tobe check
     1777* \param dir direction
     1778*/
     1779Void TEncSampleAdaptiveOffset::checkMerge(SaoLcuParam * saoUnitCurr, SaoLcuParam * saoUnitCheck, Int dir)
     1780{
     1781    Int i ;
     1782    Int countDiff = 0;
     1783    if (saoUnitCurr->partIdx != saoUnitCheck->partIdx)
     1784    {
     1785        if (saoUnitCurr->typeIdx !=-1)
     1786        {
     1787            if (saoUnitCurr->typeIdx == saoUnitCheck->typeIdx)
     1788            {
     1789                for (i=0;i<saoUnitCurr->length;i++)
     1790                {
     1791                    countDiff += (saoUnitCurr->offset[i] != saoUnitCheck->offset[i]);
     1792                }
     1793                countDiff += (saoUnitCurr->subTypeIdx != saoUnitCheck->subTypeIdx);
     1794                if (countDiff ==0)
     1795                {
     1796                    saoUnitCurr->partIdx = saoUnitCheck->partIdx;
     1797                    if (dir == 1)
     1798                    {
     1799                        saoUnitCurr->mergeUpFlag = 1;
     1800                        saoUnitCurr->mergeLeftFlag = 0;
     1801                    }
     1802                    else
     1803                    {
     1804                        saoUnitCurr->mergeUpFlag = 0;
     1805                        saoUnitCurr->mergeLeftFlag = 1;
     1806                    }
     1807                }
     1808            }
     1809        }
     1810        else
     1811        {
     1812            if (saoUnitCurr->typeIdx == saoUnitCheck->typeIdx)
     1813            {
     1814                saoUnitCurr->partIdx = saoUnitCheck->partIdx;
     1815                if (dir == 1)
     1816                {
     1817                    saoUnitCurr->mergeUpFlag = 1;
     1818                    saoUnitCurr->mergeLeftFlag = 0;
     1819                }
     1820                else
     1821                {
     1822                    saoUnitCurr->mergeUpFlag = 0;
     1823                    saoUnitCurr->mergeLeftFlag = 1;
     1824                }
     1825            }
     1826        }
     1827    }
     1828}
     1829/** Assign SAO unit syntax from picture-based algorithm
     1830* \param saoLcuParam SAO LCU parameters
     1831* \param saoPart SAO part
     1832* \param oneUnitFlag SAO one unit flag
     1833* \param iYCbCr color component Index
     1834*/
     1835Void TEncSampleAdaptiveOffset::assignSaoUnitSyntax(SaoLcuParam* saoLcuParam,  SAOQTPart* saoPart, Bool &oneUnitFlag, Int yCbCr)
     1836{
     1837    if (saoPart->bSplit == 0)
     1838    {
     1839        oneUnitFlag = 1;
     1840    }
     1841    else
     1842    {
     1843        Int i,j, addr, addrUp, addrLeft,  idx, idxUp, idxLeft,  idxCount;
     1844   
     1845        oneUnitFlag = 0;
     1846       
     1847        idxCount = -1;
     1848        saoLcuParam[0].mergeUpFlag = 0;
     1849        saoLcuParam[0].mergeLeftFlag = 0;
     1850       
     1851        for (j=0;j<m_iNumCuInHeight;j++)
     1852        {
     1853            for (i=0;i<m_iNumCuInWidth;i++)
     1854            {
     1855                addr     = i + j*m_iNumCuInWidth;
     1856                addrLeft = (addr%m_iNumCuInWidth == 0) ? -1 : addr - 1;
     1857                addrUp   = (addr<m_iNumCuInWidth)      ? -1 : addr - m_iNumCuInWidth;
     1858                idx      = saoLcuParam[addr].partIdxTmp;
     1859                idxLeft  = (addrLeft == -1) ? -1 : saoLcuParam[addrLeft].partIdxTmp;
     1860                idxUp    = (addrUp == -1)   ? -1 : saoLcuParam[addrUp].partIdxTmp;
     1861
     1862                if(idx!=idxLeft && idx!=idxUp)
     1863                {
     1864                    saoLcuParam[addr].mergeUpFlag   = 0; idxCount++;
     1865                    saoLcuParam[addr].mergeLeftFlag = 0;
     1866                    saoLcuParam[addr].partIdx = idxCount;
     1867                }
     1868                else if (idx==idxLeft)
     1869                {       
     1870                    saoLcuParam[addr].mergeUpFlag   = 1;
     1871                    saoLcuParam[addr].mergeLeftFlag = 1;
     1872                    saoLcuParam[addr].partIdx = saoLcuParam[addrLeft].partIdx;
     1873                }
     1874                else if (idx==idxUp)
     1875                {
     1876                    saoLcuParam[addr].mergeUpFlag   = 1;
     1877                    saoLcuParam[addr].mergeLeftFlag = 0;
     1878                    saoLcuParam[addr].partIdx = saoLcuParam[addrUp].partIdx;
     1879                }
     1880                if (addrUp != -1)
     1881                {
     1882                    checkMerge(&saoLcuParam[addr], &saoLcuParam[addrUp], 1);
     1883                }
     1884                if (addrLeft != -1)
     1885                {
     1886                    checkMerge(&saoLcuParam[addr], &saoLcuParam[addrLeft], 0);
     1887                }
     1888            }
     1889        }
     1890    }
     1891}
     1892/** rate distortion optimization of all SAO units
     1893* \param saoParam SAO parameters
     1894* \param lambda
     1895* \param lambdaChroma
     1896*/
     1897#if SAO_ENCODING_CHOICE
     1898Void TEncSampleAdaptiveOffset::rdoSaoUnitAll(SAOParam *saoParam, Double lambda, Double lambdaChroma, Int depth)
     1899#else
     1900Void TEncSampleAdaptiveOffset::rdoSaoUnitAll(SAOParam *saoParam, Double lambda, Double lambdaChroma)
     1901#endif
     1902{
     1903    Int idxY;
     1904    Int idxX;
     1905    Int frameHeightInCU = saoParam->numCuInHeight;
     1906    Int frameWidthInCU  = saoParam->numCuInWidth;
     1907    Int j, k;
     1908    Int addr = 0;
     1909    Int addrUp = -1;
     1910    Int addrLeft = -1;
     1911    Int compIdx = 0;
     1912    SaoLcuParam mergeSaoParam[3][2];
     1913    Double compDistortion[3];
     1914
     1915    saoParam->bSaoFlag[0] = true;
     1916    saoParam->bSaoFlag[1] = true;
     1917    saoParam->oneUnitFlag[0] = false;
     1918    saoParam->oneUnitFlag[1] = false;
     1919    saoParam->oneUnitFlag[2] = false;
     1920
     1921#if SAO_ENCODING_CHOICE
     1922#if SAO_ENCODING_CHOICE_CHROMA
     1923    Int numNoSao[2];
     1924    numNoSao[0] = 0;// Luma
     1925    numNoSao[1] = 0;// Chroma
     1926    if( depth > 0 && m_depthSaoRate[0][depth-1] > SAO_ENCODING_RATE )
     1927    {
     1928        saoParam->bSaoFlag[0] = false;
     1929    }
     1930
     1931    if( depth > 0 && m_depthSaoRate[1][depth-1] > SAO_ENCODING_RATE_CHROMA )
     1932    {
     1933        saoParam->bSaoFlag[1] = false;
     1934    }
     1935#else
     1936    Int numNoSao = 0;
     1937
     1938    if( depth > 0 && m_depth0SaoRate > SAO_ENCODING_RATE )
     1939    {
     1940        saoParam->bSaoFlag[0] = false;
     1941        saoParam->bSaoFlag[1] = false;
     1942    }
     1943#endif
     1944#endif
     1945
     1946    for (idxY = 0; idxY< frameHeightInCU; idxY++)
     1947    {
     1948        for (idxX = 0; idxX< frameWidthInCU; idxX++)
     1949        {
     1950            addr     = idxX  + frameWidthInCU*idxY;
     1951            addrUp   = addr < frameWidthInCU ? -1:idxX   + frameWidthInCU*(idxY-1);
     1952            addrLeft = idxX == 0               ? -1:idxX-1 + frameWidthInCU*idxY;
     1953            Int allowMergeLeft = 1;
     1954            Int allowMergeUp   = 1;
     1955            UInt rate;
     1956            Double bestCost, mergeCost;
     1957
     1958            if (idxX!=0)
     1959            {
     1960                // check tile id and slice id
     1961                if ( (m_pcPic->getPicSym()->getTileIdxMap(addr-1) != m_pcPic->getPicSym()->getTileIdxMap(addr)) || (m_pcPic->getCU(addr-1)->getSlice()->getSliceIdx() != m_pcPic->getCU(addr)->getSlice()->getSliceIdx()))
     1962                {
     1963                    allowMergeLeft = 0;
     1964                }
     1965            }
     1966            else
     1967            {
     1968                allowMergeLeft = 0;
     1969            }
     1970            if (idxY!=0)
     1971            {
     1972                if ( (m_pcPic->getPicSym()->getTileIdxMap(addr-m_iNumCuInWidth) != m_pcPic->getPicSym()->getTileIdxMap(addr)) || (m_pcPic->getCU(addr-m_iNumCuInWidth)->getSlice()->getSliceIdx() != m_pcPic->getCU(addr)->getSlice()->getSliceIdx()))
     1973                {
     1974                    allowMergeUp = 0;
     1975                }
     1976            }
     1977            else
     1978            {
     1979                allowMergeUp = 0;
     1980            }
     1981
     1982            compDistortion[0] = 0;
     1983            compDistortion[1] = 0;
     1984            compDistortion[2] = 0;
     1985            m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_CURR_BEST]);
     1986
     1987            if (allowMergeLeft)
     1988            {
     1989                m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoMerge(0);
     1990            }
     1991            if (allowMergeUp)
     1992            {
     1993                m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoMerge(0);
     1994            }
     1995
     1996            m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[0][CI_TEMP_BEST] );
     1997
     1998            // reset stats Y, Cb, Cr
     1999            for ( compIdx=0;compIdx<3;compIdx++)
     2000            {
     2001                for ( j=0;j<MAX_NUM_SAO_TYPE;j++)
     2002                {
     2003                    for ( k=0;k< MAX_NUM_SAO_CLASS;k++)
     2004                    {
     2005                        m_iOffset   [compIdx][j][k] = 0;
     2006                        if( m_saoLcuBasedOptimization && m_saoLcuBoundary )
     2007                        {
     2008                            m_iCount    [compIdx][j][k] = m_count_PreDblk    [addr][compIdx][j][k];
     2009                            m_iOffsetOrg[compIdx][j][k] = m_offsetOrg_PreDblk[addr][compIdx][j][k];
     2010                        }
     2011                        else
     2012                        {
     2013                            m_iCount    [compIdx][j][k] = 0;
     2014                            m_iOffsetOrg[compIdx][j][k] = 0;
     2015                        }
     2016                    } 
     2017                }
     2018                saoParam->saoLcuParam[compIdx][addr].typeIdx       =  -1;
     2019                saoParam->saoLcuParam[compIdx][addr].mergeUpFlag   = 0;
     2020                saoParam->saoLcuParam[compIdx][addr].mergeLeftFlag = 0;
     2021                saoParam->saoLcuParam[compIdx][addr].subTypeIdx    = 0;
     2022#if SAO_ENCODING_CHOICE
     2023                if( (compIdx ==0 && saoParam->bSaoFlag[0])|| (compIdx >0 && saoParam->bSaoFlag[1]) )
     2024#endif
     2025                {
     2026                    calcSaoStatsCu(addr, compIdx,  compIdx);
     2027                }
     2028            }
     2029            saoComponentParamDist(allowMergeLeft, allowMergeUp, saoParam, addr, addrUp, addrLeft, 0,  lambda, &mergeSaoParam[0][0], &compDistortion[0]);
     2030            sao2ChromaParamDist(allowMergeLeft, allowMergeUp, saoParam, addr, addrUp, addrLeft, lambdaChroma, &mergeSaoParam[1][0], &mergeSaoParam[2][0], &compDistortion[0]);
     2031            if( saoParam->bSaoFlag[0] || saoParam->bSaoFlag[1] )
     2032            {
     2033                // Cost of new SAO_params
     2034                m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_CURR_BEST]);
     2035                m_pcRDGoOnSbacCoder->resetBits();
     2036                if (allowMergeLeft)
     2037                {
     2038                    m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoMerge(0);
     2039                }
     2040                if (allowMergeUp)
     2041                {
     2042                    m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoMerge(0);
     2043                }
     2044                for ( compIdx=0;compIdx<3;compIdx++)
     2045                {
     2046                    if( (compIdx ==0 && saoParam->bSaoFlag[0]) || (compIdx >0 && saoParam->bSaoFlag[1]))
     2047                    {
     2048                        m_pcEntropyCoder->encodeSaoOffset(&saoParam->saoLcuParam[compIdx][addr], compIdx);
     2049                    }
     2050                }
     2051   
     2052                rate = m_pcEntropyCoder->getNumberOfWrittenBits();
     2053                bestCost = compDistortion[0] + (Double)rate;
     2054                m_pcRDGoOnSbacCoder->store(m_pppcRDSbacCoder[0][CI_TEMP_BEST]);
     2055   
     2056                // Cost of Merge
     2057                for(Int mergeUp=0; mergeUp<2; ++mergeUp)
     2058                {
     2059                    if ( (allowMergeLeft && (mergeUp==0)) || (allowMergeUp && (mergeUp==1)) )
     2060                    {
     2061                        m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_CURR_BEST]);
     2062                        m_pcRDGoOnSbacCoder->resetBits();
     2063                        if (allowMergeLeft)
     2064                        {
     2065                            m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoMerge(1-mergeUp);
     2066                        }
     2067                        if ( allowMergeUp && (mergeUp==1) )
     2068                        {
     2069                            m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoMerge(1);
     2070                        }
     2071   
     2072                        rate = m_pcEntropyCoder->getNumberOfWrittenBits();
     2073                        mergeCost = compDistortion[mergeUp+1] + (Double)rate;
     2074                        if (mergeCost < bestCost)
     2075                        {
     2076                            bestCost = mergeCost;
     2077                            m_pcRDGoOnSbacCoder->store(m_pppcRDSbacCoder[0][CI_TEMP_BEST]);             
     2078                            for ( compIdx=0;compIdx<3;compIdx++)
     2079                            {
     2080                                mergeSaoParam[compIdx][mergeUp].mergeLeftFlag = 1-mergeUp;
     2081                                mergeSaoParam[compIdx][mergeUp].mergeUpFlag = mergeUp;
     2082                                if( (compIdx==0 && saoParam->bSaoFlag[0]) || (compIdx>0 && saoParam->bSaoFlag[1]))
     2083                                {
     2084                                    copySaoUnit(&saoParam->saoLcuParam[compIdx][addr], &mergeSaoParam[compIdx][mergeUp] );             
     2085                                }
     2086                            }
     2087                        }
     2088                    }
     2089                }
     2090#if SAO_ENCODING_CHOICE
     2091#if SAO_ENCODING_CHOICE_CHROMA
     2092                if( saoParam->saoLcuParam[0][addr].typeIdx == -1)
     2093                {
     2094                    numNoSao[0]++;
     2095                }
     2096                if( saoParam->saoLcuParam[1][addr].typeIdx == -1)
     2097                {
     2098                    numNoSao[1]+=2;
     2099                }
     2100#else
     2101                for ( compIdx=0;compIdx<3;compIdx++)
     2102                {
     2103                    if( depth == 0 && saoParam->saoLcuParam[compIdx][addr].typeIdx == -1)
     2104                    {
     2105                        numNoSao++;
     2106                    }
     2107                }
     2108#endif
     2109#endif
     2110                m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_TEMP_BEST]);
     2111                m_pcRDGoOnSbacCoder->store(m_pppcRDSbacCoder[0][CI_CURR_BEST]);
     2112            }
     2113        }
     2114    }
     2115#if SAO_ENCODING_CHOICE
     2116#if SAO_ENCODING_CHOICE_CHROMA
     2117#if SAO_ENCODING_CHOICE_CHROMA_BF
     2118    if( !saoParam->bSaoFlag[0])
     2119    {
     2120        m_depthSaoRate[0][depth] = 1.0;
     2121    }
     2122    else
     2123    {
     2124        m_depthSaoRate[0][depth] = numNoSao[0]/((Double) frameHeightInCU*frameWidthInCU);
     2125    }
     2126    if( !saoParam->bSaoFlag[1])
     2127    {
     2128        m_depthSaoRate[1][depth] = 1.0;
     2129    }
     2130    else
     2131    {
     2132        m_depthSaoRate[1][depth] = numNoSao[1]/((Double) frameHeightInCU*frameWidthInCU*2);
     2133    }
     2134#else
     2135    m_depthSaoRate[0][depth] = numNoSao[0]/((Double) frameHeightInCU*frameWidthInCU);
     2136    m_depthSaoRate[1][depth] = numNoSao[1]/((Double) frameHeightInCU*frameWidthInCU*2);
     2137#endif
     2138#else
     2139    if( depth == 0)
     2140    {
     2141        // update SAO Rate
     2142        m_depth0SaoRate = numNoSao/((Double) frameHeightInCU*frameWidthInCU*3);
     2143    }
     2144#endif
     2145#endif
     2146}
     2147/** rate distortion optimization of SAO unit
     2148* \param saoParam SAO parameters
     2149* \param addr address
     2150* \param addrUp above address
     2151* \param addrLeft left address
     2152* \param yCbCr color component index
     2153* \param lambda
     2154*/
     2155inline Int64 TEncSampleAdaptiveOffset::estSaoTypeDist(Int compIdx, Int typeIdx, Int shift, Double lambda, Int *currentDistortionTableBo, Double *currentRdCostTableBo)
     2156{
     2157    Int64 estDist = 0;
     2158    Int classIdx;
     2159    for(classIdx=1; classIdx < ( (typeIdx < SAO_BO) ?  m_iNumClass[typeIdx]+1 : SAO_MAX_BO_CLASSES+1); classIdx++)
     2160    {
     2161        if( typeIdx == SAO_BO)
     2162        {
     2163            currentDistortionTableBo[classIdx-1] = 0;
     2164            currentRdCostTableBo[classIdx-1] = lambda;
     2165        }
     2166        if(m_iCount [compIdx][typeIdx][classIdx])
     2167        {
     2168#if FULL_NBIT
     2169            m_iOffset[compIdx][typeIdx][classIdx] = (Int64) xRoundIbdi((Double)(m_iOffsetOrg[compIdx][typeIdx][classIdx]<<g_uiBitDepth-8)   / (Double)(m_iCount [compIdx][typeIdx][classIdx]<<m_uiSaoBitIncrease));
     2170#else
     2171            m_iOffset[compIdx][typeIdx][classIdx] = (Int64) xRoundIbdi((Double)(m_iOffsetOrg[compIdx][typeIdx][classIdx]<<g_uiBitIncrement) / (Double)(m_iCount [compIdx][typeIdx][classIdx]<<m_uiSaoBitIncrease));
     2172#endif
     2173            m_iOffset[compIdx][typeIdx][classIdx] = Clip3(-m_iOffsetTh+1, m_iOffsetTh-1, (Int)m_iOffset[compIdx][typeIdx][classIdx]);
     2174            if (typeIdx < 4)
     2175            {
     2176                if ( m_iOffset[compIdx][typeIdx][classIdx]<0 && classIdx<3 )
     2177                {
     2178                    m_iOffset[compIdx][typeIdx][classIdx] = 0;
     2179                }
     2180                if ( m_iOffset[compIdx][typeIdx][classIdx]>0 && classIdx>=3)
     2181                {
     2182                    m_iOffset[compIdx][typeIdx][classIdx] = 0;
     2183                }
     2184            }
     2185            m_iOffset[compIdx][typeIdx][classIdx] = estIterOffset( typeIdx, classIdx, lambda, m_iOffset[compIdx][typeIdx][classIdx], m_iCount [compIdx][typeIdx][classIdx], m_iOffsetOrg[compIdx][typeIdx][classIdx], shift, m_uiSaoBitIncrease, currentDistortionTableBo, currentRdCostTableBo );
     2186        }
     2187        else
     2188        {
     2189            m_iOffsetOrg[compIdx][typeIdx][classIdx] = 0;
     2190            m_iOffset[compIdx][typeIdx][classIdx] = 0;
     2191        }
     2192        if( typeIdx != SAO_BO )
     2193        {
     2194            estDist   += estSaoDist( m_iCount [compIdx][typeIdx][classIdx], m_iOffset[compIdx][typeIdx][classIdx] << m_uiSaoBitIncrease, m_iOffsetOrg[compIdx][typeIdx][classIdx], shift);
     2195        }
     2196    }
     2197    return estDist;
     2198}
     2199
     2200inline Int64 TEncSampleAdaptiveOffset::estSaoDist(Int64 count, Int64 offset, Int64 offsetOrg, Int shift)
     2201{
     2202    return (( count*offset*offset-offsetOrg*offset*2 ) >> shift);
     2203}
     2204inline Int64 TEncSampleAdaptiveOffset::estIterOffset(Int typeIdx, Int classIdx, double lambda, Int64 offsetInput, Int64 count, Int64 offsetOrg, Int shift, Int bitIncrease, Int *currentDistortionTableBo, Double *currentRdCostTableBo )
     2205{
     2206    //Clean up, best_q_offset.
     2207    Int64 iterOffset, tempOffset;
     2208    Int64 tempDist, tempRate;
     2209    Double tempCost, tempMinCost;
     2210    Int64 offsetOutput = 0;
     2211    iterOffset = offsetInput;
     2212    // Assuming sending quantized value 0 results in zero offset and sending the value zero needs 1 bit. entropy coder can be used to measure the exact rate here.
     2213    tempMinCost = lambda;
     2214    while (iterOffset != 0)
     2215    {
     2216        // Calculate the bits required for signalling the offset
     2217        tempRate = (typeIdx == SAO_BO) ? (abs((Int)iterOffset)+2) : (abs((Int)iterOffset)+1);
     2218        if (abs((Int)iterOffset)==m_iOffsetTh-1)
     2219        { 
     2220            tempRate --;
     2221        }
     2222        // Do the dequntization before distorion calculation
     2223        tempOffset  = iterOffset << bitIncrease;
     2224        tempDist    = estSaoDist( count, tempOffset, offsetOrg, shift);
     2225        tempCost    = ((Double)tempDist + lambda * (Double) tempRate);
     2226        if(tempCost < tempMinCost)
     2227        {
     2228            tempMinCost = tempCost;
     2229            offsetOutput = iterOffset;
     2230            if(typeIdx == SAO_BO)
     2231            {
     2232                currentDistortionTableBo[classIdx-1] = (Int) tempDist;
     2233                currentRdCostTableBo[classIdx-1] = tempCost;
     2234            }
     2235        }
     2236        iterOffset = (iterOffset > 0) ? (iterOffset-1):(iterOffset+1);
     2237    }
     2238    return offsetOutput;
     2239}
     2240
     2241Void TEncSampleAdaptiveOffset::saoComponentParamDist(Int allowMergeLeft, Int allowMergeUp, SAOParam *saoParam, Int addr, Int addrUp, Int addrLeft, Int yCbCr, Double lambda, SaoLcuParam *compSaoParam, Double *compDistortion)
     2242{
     2243    Int typeIdx;
     2244    Int64 estDist;
     2245    Int classIdx;
     2246
     2247    Int shift = g_uiBitIncrement << 1;
     2248
     2249    Int64 bestDist;
     2250
     2251    SaoLcuParam*  saoLcuParam = &(saoParam->saoLcuParam[yCbCr][addr]);
     2252    SaoLcuParam*  saoLcuParamNeighbor = NULL;
     2253
     2254    resetSaoUnit(saoLcuParam);
     2255    resetSaoUnit(&compSaoParam[0]);
     2256    resetSaoUnit(&compSaoParam[1]);
     2257
     2258    Double dCostPartBest = MAX_DOUBLE;
     2259
     2260    Double  bestRDCostTableBo = MAX_DOUBLE;
     2261    Int     bestClassTableBo    = 0;
     2262    Int     currentDistortionTableBo[MAX_NUM_SAO_CLASS];
     2263    Double  currentRdCostTableBo[MAX_NUM_SAO_CLASS];
     2264
     2265    SaoLcuParam   saoLcuParamRdo;   
     2266    Double   estRate = 0;
     2267
     2268    resetSaoUnit(&saoLcuParamRdo);
     2269
     2270    m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_TEMP_BEST]);
     2271    m_pcRDGoOnSbacCoder->resetBits();
     2272    m_pcEntropyCoder->encodeSaoOffset(&saoLcuParamRdo, yCbCr);
     2273    dCostPartBest = m_pcEntropyCoder->getNumberOfWrittenBits()*lambda ;
     2274
     2275    copySaoUnit(saoLcuParam, &saoLcuParamRdo );
     2276
     2277    bestDist = 0;
     2278
     2279    for (typeIdx=0; typeIdx<MAX_NUM_SAO_TYPE; typeIdx++)
     2280    {
     2281        estDist = estSaoTypeDist(yCbCr, typeIdx, shift, lambda, currentDistortionTableBo, currentRdCostTableBo);
     2282        if( typeIdx == SAO_BO )
     2283        {
     2284            // Estimate Best Position
     2285            Double currentRDCost = 0.0;
     2286
     2287            for(Int i=0; i< SAO_MAX_BO_CLASSES -SAO_BO_LEN +1; i++)
     2288            {
     2289                currentRDCost = 0.0;
     2290                for(UInt uj = i; uj < i+SAO_BO_LEN; uj++)
     2291                {
     2292                    currentRDCost += currentRdCostTableBo[uj];
     2293                }
     2294
     2295                if( currentRDCost < bestRDCostTableBo)
     2296                {
     2297                    bestRDCostTableBo = currentRDCost;
     2298                    bestClassTableBo  = i;
     2299                }
     2300            }
     2301
     2302            // Re code all Offsets
     2303            // Code Center
     2304            estDist = 0;
     2305            for(classIdx = bestClassTableBo; classIdx < bestClassTableBo+SAO_BO_LEN; classIdx++)
     2306            {
     2307                estDist += currentDistortionTableBo[classIdx];
     2308            }
     2309        }
     2310        resetSaoUnit(&saoLcuParamRdo);
     2311        saoLcuParamRdo.length = m_iNumClass[typeIdx];
     2312        saoLcuParamRdo.typeIdx = typeIdx;
     2313        saoLcuParamRdo.mergeLeftFlag = 0;
     2314        saoLcuParamRdo.mergeUpFlag   = 0;
     2315        saoLcuParamRdo.subTypeIdx = (typeIdx == SAO_BO) ? bestClassTableBo : 0;
     2316        for (classIdx = 0; classIdx < saoLcuParamRdo.length; classIdx++)
     2317        {
     2318            saoLcuParamRdo.offset[classIdx] = (Int)m_iOffset[yCbCr][typeIdx][classIdx+saoLcuParamRdo.subTypeIdx+1];
     2319        }
     2320        m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_TEMP_BEST]);
     2321        m_pcRDGoOnSbacCoder->resetBits();
     2322        m_pcEntropyCoder->encodeSaoOffset(&saoLcuParamRdo, yCbCr);
     2323
     2324        estRate = m_pcEntropyCoder->getNumberOfWrittenBits();
     2325        m_dCost[yCbCr][typeIdx] = (Double)((Double)estDist + lambda * (Double) estRate);
     2326
     2327        if(m_dCost[yCbCr][typeIdx] < dCostPartBest)
     2328        {
     2329            dCostPartBest = m_dCost[yCbCr][typeIdx];
     2330            copySaoUnit(saoLcuParam, &saoLcuParamRdo );
     2331            bestDist = estDist;       
     2332        }
     2333    }
     2334
     2335    compDistortion[0] += ((Double)bestDist/lambda);
     2336    m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_TEMP_BEST]);
     2337    m_pcEntropyCoder->encodeSaoOffset(saoLcuParam, yCbCr);
     2338    m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[0][CI_TEMP_BEST] );
     2339
     2340    // merge left or merge up
     2341    for (Int idxNeighbor=0;idxNeighbor<2;idxNeighbor++)
     2342    {
     2343        saoLcuParamNeighbor = NULL;
     2344        if (allowMergeLeft && addrLeft>=0 && idxNeighbor ==0)
     2345        {
     2346            saoLcuParamNeighbor = &(saoParam->saoLcuParam[yCbCr][addrLeft]);
     2347        }
     2348        else if (allowMergeUp && addrUp>=0 && idxNeighbor ==1)
     2349        {
     2350            saoLcuParamNeighbor = &(saoParam->saoLcuParam[yCbCr][addrUp]);
     2351        }
     2352        if (saoLcuParamNeighbor!=NULL)
     2353        {
     2354            estDist = 0;
     2355            typeIdx = saoLcuParamNeighbor->typeIdx;
     2356            if (typeIdx>=0)
     2357            {
     2358                Int mergeBandPosition = (typeIdx == SAO_BO)?saoLcuParamNeighbor->subTypeIdx:0;
     2359                Int   merge_iOffset;
     2360                for(classIdx = 0; classIdx < m_iNumClass[typeIdx]; classIdx++)
     2361                {
     2362                    merge_iOffset = saoLcuParamNeighbor->offset[classIdx];
     2363                    estDist   += estSaoDist(m_iCount [yCbCr][typeIdx][classIdx+mergeBandPosition+1], merge_iOffset, m_iOffsetOrg[yCbCr][typeIdx][classIdx+mergeBandPosition+1],  shift);
     2364                }
     2365            }
     2366            else
     2367            {
     2368                estDist = 0;
     2369            }
     2370
     2371            copySaoUnit(&compSaoParam[idxNeighbor], saoLcuParamNeighbor );
     2372            compSaoParam[idxNeighbor].mergeUpFlag   = idxNeighbor;
     2373            compSaoParam[idxNeighbor].mergeLeftFlag = !idxNeighbor;
     2374
     2375            compDistortion[idxNeighbor+1] += ((Double)estDist/lambda);
     2376        }
     2377    }
     2378}
     2379
     2380Void TEncSampleAdaptiveOffset::sao2ChromaParamDist(Int allowMergeLeft, Int allowMergeUp, SAOParam *saoParam, Int addr, Int addrUp, Int addrLeft, Double lambda, SaoLcuParam *crSaoParam, SaoLcuParam *cbSaoParam, Double *distortion)
     2381{
     2382    Int typeIdx;
     2383
     2384    Int64 estDist[2];
     2385    Int classIdx;
     2386    Int shift = g_uiBitIncrement << 1;
     2387    Int64 bestDist = 0;
     2388
     2389    SaoLcuParam*  saoLcuParam[2] = {&(saoParam->saoLcuParam[1][addr]), &(saoParam->saoLcuParam[2][addr])};
     2390    SaoLcuParam*  saoLcuParamNeighbor[2] = {NULL, NULL};
     2391    SaoLcuParam*  saoMergeParam[2][2];
     2392    saoMergeParam[0][0] = &crSaoParam[0];
     2393    saoMergeParam[0][1] = &crSaoParam[1];
     2394    saoMergeParam[1][0] = &cbSaoParam[0];
     2395    saoMergeParam[1][1] = &cbSaoParam[1];
     2396
     2397    resetSaoUnit(saoLcuParam[0]);
     2398    resetSaoUnit(saoLcuParam[1]);
     2399    resetSaoUnit(saoMergeParam[0][0]);
     2400    resetSaoUnit(saoMergeParam[0][1]);
     2401    resetSaoUnit(saoMergeParam[1][0]);
     2402    resetSaoUnit(saoMergeParam[1][1]);
     2403
     2404    Double costPartBest = MAX_DOUBLE;
     2405
     2406    Double  bestRDCostTableBo;
     2407    Int     bestClassTableBo[2]    = {0, 0};
     2408    Int     currentDistortionTableBo[MAX_NUM_SAO_CLASS];
     2409    Double  currentRdCostTableBo[MAX_NUM_SAO_CLASS];
     2410
     2411    SaoLcuParam   saoLcuParamRdo[2];   
     2412    Double   estRate = 0;
     2413
     2414    resetSaoUnit(&saoLcuParamRdo[0]);
     2415    resetSaoUnit(&saoLcuParamRdo[1]);
     2416
     2417    m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_TEMP_BEST]);
     2418    m_pcRDGoOnSbacCoder->resetBits();
     2419    m_pcEntropyCoder->encodeSaoOffset(&saoLcuParamRdo[0], 1);
     2420    m_pcEntropyCoder->encodeSaoOffset(&saoLcuParamRdo[1], 2);
     2421
     2422    costPartBest = m_pcEntropyCoder->getNumberOfWrittenBits()*lambda ;
     2423    copySaoUnit(saoLcuParam[0], &saoLcuParamRdo[0] );
     2424    copySaoUnit(saoLcuParam[1], &saoLcuParamRdo[1] );
     2425
     2426    for (typeIdx=0; typeIdx<MAX_NUM_SAO_TYPE; typeIdx++)
     2427    {
     2428        if( typeIdx == SAO_BO )
     2429        {
     2430            // Estimate Best Position
     2431            for(Int compIdx = 0; compIdx < 2; compIdx++)
     2432            {
     2433                Double currentRDCost = 0.0;
     2434                bestRDCostTableBo = MAX_DOUBLE;
     2435                estDist[compIdx] = estSaoTypeDist(compIdx+1, typeIdx, shift, lambda, currentDistortionTableBo, currentRdCostTableBo);
     2436
     2437                for(Int i=0; i< SAO_MAX_BO_CLASSES -SAO_BO_LEN +1; i++)
     2438                {
     2439                    currentRDCost = 0.0;
     2440                    for(UInt uj = i; uj < i+SAO_BO_LEN; uj++)
     2441                    {
     2442                        currentRDCost += currentRdCostTableBo[uj];
     2443                    }
     2444
     2445                    if( currentRDCost < bestRDCostTableBo)
     2446                    {
     2447                        bestRDCostTableBo = currentRDCost;
     2448                        bestClassTableBo[compIdx]  = i;
     2449                    }
     2450                }
     2451
     2452                // Re code all Offsets
     2453                // Code Center
     2454                estDist[compIdx] = 0;
     2455                for(classIdx = bestClassTableBo[compIdx]; classIdx < bestClassTableBo[compIdx]+SAO_BO_LEN; classIdx++)
     2456                {
     2457                    estDist[compIdx] += currentDistortionTableBo[classIdx];
     2458                }
     2459            }
     2460        }
     2461        else
     2462        {
     2463            estDist[0] = estSaoTypeDist(1, typeIdx, shift, lambda, currentDistortionTableBo, currentRdCostTableBo);
     2464            estDist[1] = estSaoTypeDist(2, typeIdx, shift, lambda, currentDistortionTableBo, currentRdCostTableBo);
     2465        }
     2466
     2467        m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_TEMP_BEST]);
     2468        m_pcRDGoOnSbacCoder->resetBits();
     2469
     2470        for(Int compIdx = 0; compIdx < 2; compIdx++)
     2471        {
     2472            resetSaoUnit(&saoLcuParamRdo[compIdx]);
     2473            saoLcuParamRdo[compIdx].length = m_iNumClass[typeIdx];
     2474            saoLcuParamRdo[compIdx].typeIdx = typeIdx;
     2475            saoLcuParamRdo[compIdx].mergeLeftFlag = 0;
     2476            saoLcuParamRdo[compIdx].mergeUpFlag   = 0;
     2477            saoLcuParamRdo[compIdx].subTypeIdx = (typeIdx == SAO_BO) ? bestClassTableBo[compIdx] : 0;
     2478            for (classIdx = 0; classIdx < saoLcuParamRdo[compIdx].length; classIdx++)
     2479            {
     2480                saoLcuParamRdo[compIdx].offset[classIdx] = (Int)m_iOffset[compIdx+1][typeIdx][classIdx+saoLcuParamRdo[compIdx].subTypeIdx+1];
     2481            }
     2482            m_pcEntropyCoder->encodeSaoOffset(&saoLcuParamRdo[compIdx], compIdx+1);
     2483        }
     2484        estRate = m_pcEntropyCoder->getNumberOfWrittenBits();
     2485        m_dCost[1][typeIdx] = (Double)((Double)(estDist[0] + estDist[1])  + lambda * (Double) estRate);
     2486
     2487        if(m_dCost[1][typeIdx] < costPartBest)
     2488        {
     2489            costPartBest = m_dCost[1][typeIdx];
     2490            copySaoUnit(saoLcuParam[0], &saoLcuParamRdo[0] );
     2491            copySaoUnit(saoLcuParam[1], &saoLcuParamRdo[1] );
     2492            bestDist = (estDist[0]+estDist[1]);       
     2493        }
     2494    }
     2495
     2496    distortion[0] += ((Double)bestDist/lambda);
     2497    m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[0][CI_TEMP_BEST]);
     2498    m_pcEntropyCoder->encodeSaoOffset(saoLcuParam[0], 1);
     2499    m_pcEntropyCoder->encodeSaoOffset(saoLcuParam[1], 2);
     2500    m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[0][CI_TEMP_BEST] );
     2501
     2502    // merge left or merge up
     2503
     2504    for (Int idxNeighbor=0;idxNeighbor<2;idxNeighbor++)
     2505    {
     2506        for(Int compIdx = 0; compIdx < 2; compIdx++)
     2507        {
     2508            saoLcuParamNeighbor[compIdx] = NULL;
     2509            if (allowMergeLeft && addrLeft>=0 && idxNeighbor ==0)
     2510            {
     2511                saoLcuParamNeighbor[compIdx] = &(saoParam->saoLcuParam[compIdx+1][addrLeft]);
     2512            }
     2513            else if (allowMergeUp && addrUp>=0 && idxNeighbor ==1)
     2514            {
     2515                saoLcuParamNeighbor[compIdx] = &(saoParam->saoLcuParam[compIdx+1][addrUp]);
     2516            }
     2517            if (saoLcuParamNeighbor[compIdx]!=NULL)
     2518            {
     2519                estDist[compIdx] = 0;
     2520                typeIdx = saoLcuParamNeighbor[compIdx]->typeIdx;
     2521                if (typeIdx>=0)
     2522                {
     2523                    Int mergeBandPosition = (typeIdx == SAO_BO)?saoLcuParamNeighbor[compIdx]->subTypeIdx:0;
     2524                    Int   merge_iOffset;
     2525                    for(classIdx = 0; classIdx < m_iNumClass[typeIdx]; classIdx++)
     2526                    {
     2527                        merge_iOffset = saoLcuParamNeighbor[compIdx]->offset[classIdx];
     2528                        estDist[compIdx]   += estSaoDist(m_iCount [compIdx+1][typeIdx][classIdx+mergeBandPosition+1], merge_iOffset, m_iOffsetOrg[compIdx+1][typeIdx][classIdx+mergeBandPosition+1],  shift);
     2529                    }
     2530                }
     2531                else
     2532                {
     2533                    estDist[compIdx] = 0;
     2534                }
     2535
     2536                copySaoUnit(saoMergeParam[compIdx][idxNeighbor], saoLcuParamNeighbor[compIdx] );
     2537                saoMergeParam[compIdx][idxNeighbor]->mergeUpFlag   = idxNeighbor;
     2538                saoMergeParam[compIdx][idxNeighbor]->mergeLeftFlag = !idxNeighbor;
     2539                distortion[idxNeighbor+1] += ((Double)estDist[compIdx]/lambda);
     2540            }
     2541        }
     2542    }
     2543}
     2544#else
     2545TEncSampleAdaptiveOffset::TEncSampleAdaptiveOffset()
     2546{
     2547  m_pcEntropyCoder = NULL;
     2548  m_pppcRDSbacCoder = NULL;
     2549  m_pcRDGoOnSbacCoder = NULL;
     2550  m_pppcBinCoderCABAC = NULL;           
     2551  m_iCount = NULL;     
     2552  m_iOffset = NULL;     
     2553  m_iOffsetOrg = NULL; 
     2554  m_iRate = NULL;       
     2555  m_iDist = NULL;       
     2556  m_dCost = NULL;       
     2557  m_dCostPartBest = NULL;
     2558  m_iDistOrg = NULL;     
     2559  m_iTypePartBest = NULL;
     2560}
     2561TEncSampleAdaptiveOffset::~TEncSampleAdaptiveOffset()
     2562{
     2563
     2564}
     2565// ====================================================================================================================
     2566// Constants
     2567// ====================================================================================================================
     2568
     2569
     2570// ====================================================================================================================
     2571// Tables
     2572// ====================================================================================================================
     2573
     2574inline Double xRoundIbdi2(Double x)
     2575{
     2576#if FULL_NBIT
     2577  Int bitDepthMinus8 = g_uiBitDepth - 8;
     2578  return ((x)>0) ? (Int)(((Int)(x)+(1<<(bitDepthMinus8-1)))/(1<<bitDepthMinus8)) : ((Int)(((Int)(x)-(1<<(bitDepthMinus8-1)))/(1<<bitDepthMinus8)));
     2579#else
     2580  return ((x)>0) ? (Int)(((Int)(x)+(1<<(g_uiBitIncrement-1)))/(1<<g_uiBitIncrement)) : ((Int)(((Int)(x)-(1<<(g_uiBitIncrement-1)))/(1<<g_uiBitIncrement)));
     2581#endif
     2582}
     2583
     2584/** rounding with IBDI
     2585 * \param  x
     2586 */
     2587inline Double xRoundIbdi(Double x)
     2588{
     2589#if FULL_NBIT
     2590  return (g_uiBitDepth > 8 ? xRoundIbdi2((x)) : ((x)>=0 ? ((Int)((x)+0.5)) : ((Int)((x)-0.5)))) ;
     2591#else
     2592  return (g_uiBitIncrement >0 ? xRoundIbdi2((x)) : ((x)>=0 ? ((Int)((x)+0.5)) : ((Int)((x)-0.5)))) ;
     2593#endif
     2594}
     2595
     2596
     2597
     2598/** process SAO for one partition
     2599 * \param  *psQTPart, iPartIdx, dLambda
     2600 */
     2601Void TEncSampleAdaptiveOffset::rdoSaoOnePart(SAOQTPart *psQTPart, Int iPartIdx, Double dLambda)
     2602{
     2603  Int iTypeIdx;
     2604  Int iNumTotalType = MAX_NUM_SAO_TYPE;
     2605  SAOQTPart*  pOnePart = &(psQTPart[iPartIdx]);
     2606
     2607  Int64 iEstDist;
     2608  Int64 iOffsetOrg;
     2609  Int64 iOffset;
     2610  Int64 iCount;
     2611  Int iClassIdx;
     2612  Int uiShift = g_uiBitIncrement << 1;
     2613  UInt uiDepth = pOnePart->PartLevel;
     2614
     2615  m_iDistOrg [iPartIdx] =  0;
     2616
     2617  Double  bestRDCostTableBo = MAX_DOUBLE;
     2618  Int     bestClassTableBo    = 0;
     2619  Int     currentDistortionTableBo[MAX_NUM_SAO_CLASS];
     2620  Double  currentRdCostTableBo[MAX_NUM_SAO_CLASS];
     2621
     2622#if HHI_INTERVIEW_SKIP
     2623  Int iFrameWidthInCU = m_pcPic->getFrameWidthInCU();
     2624  Int LcuIdxX = psQTPart->StartCUX;
     2625  Int LcuIdxY = psQTPart->StartCUY;
     2626  Int iAddr = LcuIdxY*iFrameWidthInCU + LcuIdxX;
     2627  TComDataCU *pcCU = m_pcPic->getCU(iAddr);
     2628  Bool bRenderable = pcCU->getRenderable(0) ;
     2629
     2630#endif
     2631  for (iTypeIdx=-1; iTypeIdx<iNumTotalType; iTypeIdx++)
     2632  {
     2633    if( m_bUseSBACRD )
     2634    {
     2635      m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[uiDepth][CI_CURR_BEST]);
     2636      m_pcRDGoOnSbacCoder->resetBits();
     2637    }
     2638    else
     2639    {
     2640      m_pcEntropyCoder->resetEntropy();
     2641      m_pcEntropyCoder->resetBits();
     2642    }
     2643
     2644    iEstDist = 0;
     2645
     2646    m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoTypeIdx(iTypeIdx+1);
     2647
     2648    if (iTypeIdx>=0)
     2649    {
     2650
     2651      for(iClassIdx=1; iClassIdx < ( (iTypeIdx < SAO_BO) ?  m_iNumClass[iTypeIdx]+1 : SAO_MAX_BO_CLASSES+1); iClassIdx++)
     2652      {
     2653        if( iTypeIdx == SAO_BO)
     2654        {
     2655          currentDistortionTableBo[iClassIdx-1] = 0;
     2656          currentRdCostTableBo[iClassIdx-1] = dLambda;
     2657        }
     2658#if HHI_INTERVIEW_SKIP
     2659        if(m_iCount [iPartIdx][iTypeIdx][iClassIdx] && !bRenderable)
     2660#else
     2661        if(m_iCount [iPartIdx][iTypeIdx][iClassIdx])
     2662#endif
     2663        {
     2664#if FULL_NBIT
     2665          m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = (Int64) xRoundIbdi((Double)(m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx]<<g_uiBitDepth-8) / (Double)(m_iCount [iPartIdx][iTypeIdx][iClassIdx]<<m_uiSaoBitIncrease));
     2666#else
     2667          m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = (Int64) xRoundIbdi((Double)(m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx]<<g_uiBitIncrement) / (Double)(m_iCount [iPartIdx][iTypeIdx][iClassIdx]<<m_uiSaoBitIncrease));
     2668#endif
     2669          m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = Clip3(-m_iOffsetTh, m_iOffsetTh-1, (Int)m_iOffset[iPartIdx][iTypeIdx][iClassIdx]);
     2670
     2671          if (iTypeIdx < 4)
     2672          {
     2673            if ( m_iOffset[iPartIdx][iTypeIdx][iClassIdx]<0 && iClassIdx<3 )
     2674            {
     2675              m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = 0;
     2676            }
     2677            if ( m_iOffset[iPartIdx][iTypeIdx][iClassIdx]>0 && iClassIdx>=3)
     2678            {
     2679              m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = 0;
     2680            }
     2681          }
     2682          {
     2683            //Clean up, best_q_offset.
     2684            Int64 iIterOffset, iTempOffset;
     2685            Int64 iTempDist, iTempRate;
     2686            Double dTempCost, dTempMinCost;
     2687            UInt uiLength, uiTemp;
     2688
     2689            iIterOffset = m_iOffset[iPartIdx][iTypeIdx][iClassIdx];
     2690            m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = 0;
     2691            dTempMinCost = dLambda; // Assuming sending quantized value 0 results in zero offset and sending the value zero needs 1 bit. entropy coder can be used to measure the exact rate here.
     2692
     2693            while (iIterOffset != 0)
     2694            {
     2695              // Calculate the bits required for signalling the offset
     2696              uiLength = 1;
     2697              uiTemp = (UInt)((iIterOffset <= 0) ? ( (-iIterOffset<<1) + 1 ) : (iIterOffset<<1));
     2698              while( 1 != uiTemp )
     2699              {
     2700                uiTemp >>= 1;
     2701                uiLength += 2;
     2702              }
     2703              iTempRate = (uiLength >> 1) + ((uiLength+1) >> 1);
     2704
     2705              // Do the dequntization before distorion calculation
     2706              iTempOffset    =  iIterOffset << m_uiSaoBitIncrease;
     2707              iTempDist  = (( m_iCount [iPartIdx][iTypeIdx][iClassIdx]*iTempOffset*iTempOffset-m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx]*iTempOffset*2 ) >> uiShift);
     2708
     2709              dTempCost = ((Double)iTempDist + dLambda * (Double) iTempRate);
     2710              if(dTempCost < dTempMinCost)
     2711              {
     2712                dTempMinCost = dTempCost;
     2713                m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = iIterOffset;
     2714                if(iTypeIdx == SAO_BO)
     2715                {
     2716                  currentDistortionTableBo[iClassIdx-1] = (Int) iTempDist;
     2717                  currentRdCostTableBo[iClassIdx-1] = dTempCost;
     2718                }
     2719              }
     2720              iIterOffset = (iIterOffset > 0) ? (iIterOffset-1):(iIterOffset+1);
     2721            }
     2722
     2723          }
     2724        }
     2725        else
     2726        {
     2727          m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx] = 0;
     2728          m_iOffset[iPartIdx][iTypeIdx][iClassIdx] = 0;
     2729        }
     2730        if( iTypeIdx != SAO_BO )
     2731        {
     2732          iCount     =  m_iCount [iPartIdx][iTypeIdx][iClassIdx];
     2733          iOffset    =  m_iOffset[iPartIdx][iTypeIdx][iClassIdx] << m_uiSaoBitIncrease;
     2734          iOffsetOrg =  m_iOffsetOrg[iPartIdx][iTypeIdx][iClassIdx];
     2735          iEstDist   += (( iCount*iOffset*iOffset-iOffsetOrg*iOffset*2 ) >> uiShift);
     2736          if (iTypeIdx < 4)
     2737          {
     2738            if (iClassIdx<3)
     2739            {
     2740              m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoUvlc((Int)m_iOffset[iPartIdx][iTypeIdx][iClassIdx]);
     2741            }
     2742            else
     2743            {
     2744              m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoUvlc((Int)-m_iOffset[iPartIdx][iTypeIdx][iClassIdx]);
     2745            }
     2746          }
     2747          else
     2748          {
     2749            m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoSvlc((Int)m_iOffset[iPartIdx][iTypeIdx][iClassIdx]);
     2750          }
     2751        }
     2752      }
     2753
     2754      if( iTypeIdx == SAO_BO )
     2755      {
     2756        // Estimate Best Position
     2757        Double currentRDCost = 0.0;
     2758
     2759        for(Int i=0; i< SAO_MAX_BO_CLASSES -SAO_BO_LEN +1; i++)
     2760        {
     2761          currentRDCost = 0.0;
     2762          for(UInt uj = i; uj < i+SAO_BO_LEN; uj++)
     2763          {
     2764            currentRDCost += currentRdCostTableBo[uj];
     2765          }
     2766
     2767          if( currentRDCost < bestRDCostTableBo)
     2768          {
     2769            bestRDCostTableBo = currentRDCost;
     2770            bestClassTableBo  = i;
     2771          }
     2772        }
     2773
     2774        // Re code all Offsets
     2775        // Code Center
     2776        m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoUflc( (UInt) (bestClassTableBo) );
     2777
     2778        for(iClassIdx = bestClassTableBo; iClassIdx < bestClassTableBo+SAO_BO_LEN; iClassIdx++)
     2779        {
     2780          m_pcEntropyCoder->m_pcEntropyCoderIf->codeSaoSvlc((Int)m_iOffset[iPartIdx][iTypeIdx][iClassIdx+1]);
     2781          iEstDist += currentDistortionTableBo[iClassIdx];
     2782        }
     2783      }
     2784
     2785      m_iDist[iPartIdx][iTypeIdx] = iEstDist;
     2786      m_iRate[iPartIdx][iTypeIdx] = m_pcEntropyCoder->getNumberOfWrittenBits();
     2787
     2788      m_dCost[iPartIdx][iTypeIdx] = (Double)((Double)m_iDist[iPartIdx][iTypeIdx] + dLambda * (Double) m_iRate[iPartIdx][iTypeIdx]);
     2789
     2790      if(m_dCost[iPartIdx][iTypeIdx] < m_dCostPartBest[iPartIdx])
     2791      {
     2792        m_iDistOrg [iPartIdx] = 0;
     2793        m_dCostPartBest[iPartIdx] = m_dCost[iPartIdx][iTypeIdx];
     2794        m_iTypePartBest[iPartIdx] = iTypeIdx;
     2795        if( m_bUseSBACRD )
     2796          m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[pOnePart->PartLevel][CI_TEMP_BEST] );
     2797      }
     2798    }
     2799    else
     2800    {
     2801      if(m_iDistOrg[iPartIdx] < m_dCostPartBest[iPartIdx] )
     2802      {
     2803        m_dCostPartBest[iPartIdx] = (Double) m_iDistOrg[iPartIdx] + m_pcEntropyCoder->getNumberOfWrittenBits()*dLambda ;
     2804        m_iTypePartBest[iPartIdx] = -1;
     2805        if( m_bUseSBACRD )
     2806          m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[pOnePart->PartLevel][CI_TEMP_BEST] );
     2807      }
     2808    }
     2809  }
     2810
     2811  pOnePart->bProcessed = true;
     2812  pOnePart->bSplit     = false;
     2813  pOnePart->iMinDist   =        m_iTypePartBest[iPartIdx] >= 0 ? m_iDist[iPartIdx][m_iTypePartBest[iPartIdx]] : m_iDistOrg[iPartIdx];
     2814  pOnePart->iMinRate   = (Int) (m_iTypePartBest[iPartIdx] >= 0 ? m_iRate[iPartIdx][m_iTypePartBest[iPartIdx]] : 0);
     2815  pOnePart->dMinCost   = pOnePart->iMinDist + dLambda * pOnePart->iMinRate;
     2816  pOnePart->iBestType  = m_iTypePartBest[iPartIdx];
     2817  if (pOnePart->iBestType != -1)
     2818  {
     2819    //     pOnePart->bEnableFlag =  1;
     2820    pOnePart->iLength = m_iNumClass[pOnePart->iBestType];
     2821    Int minIndex = 0;
     2822    if( pOnePart->iBestType == SAO_BO )
     2823    {
     2824      pOnePart->bandPosition = bestClassTableBo;
     2825      minIndex = pOnePart->bandPosition;
     2826    }
     2827    for (Int i=0; i< pOnePart->iLength ; i++)
     2828    {
     2829      pOnePart->iOffset[i] = (Int) m_iOffset[iPartIdx][pOnePart->iBestType][minIndex+i+1];
     2830    }
     2831
     2832  }
     2833  else
     2834  {
     2835    //     pOnePart->bEnableFlag = 0;
     2836    pOnePart->iLength     = 0;
     2837  }
     2838}
     2839
     2840/** Run partition tree disable
     2841 */
     2842Void TEncSampleAdaptiveOffset::disablePartTree(SAOQTPart *psQTPart, Int iPartIdx)
     2843{
     2844  SAOQTPart*  pOnePart= &(psQTPart[iPartIdx]);
     2845  pOnePart->bSplit      = false;
     2846  pOnePart->iLength     =  0;
     2847  pOnePart->iBestType   = -1;
     2848
     2849  if (pOnePart->PartLevel < m_uiMaxSplitLevel)
     2850  {
     2851    for (Int i=0; i<NUM_DOWN_PART; i++)
     2852    {
     2853      disablePartTree(psQTPart, pOnePart->DownPartsIdx[i]);
     2854    }
     2855  }
     2856}
     2857
     2858/** Run quadtree decision function
     2859 * \param  iPartIdx, pcPicOrg, pcPicDec, pcPicRest, &dCostFinal
     2860 */
     2861Void TEncSampleAdaptiveOffset::runQuadTreeDecision(SAOQTPart *psQTPart, Int iPartIdx, Double &dCostFinal, Int iMaxLevel, Double dLambda)
     2862{
     2863  SAOQTPart*  pOnePart = &(psQTPart[iPartIdx]);
     2864
     2865  UInt uiDepth = pOnePart->PartLevel;
     2866  UInt uhNextDepth = uiDepth+1;
     2867
     2868  if (iPartIdx == 0)
     2869  {
     2870    dCostFinal = 0;
     2871  }
     2872
     2873  //SAO for this part
     2874  if(!pOnePart->bProcessed)
     2875  {
     2876    rdoSaoOnePart (psQTPart, iPartIdx, dLambda);
     2877  }
     2878
     2879  //SAO for sub 4 parts
     2880  if (pOnePart->PartLevel < iMaxLevel)
     2881  {
     2882    Double      dCostNotSplit = dLambda + pOnePart->dMinCost;
     2883    Double      dCostSplit    = dLambda;
     2884
     2885    for (Int i=0; i< NUM_DOWN_PART ;i++)
     2886    {
     2887      if( m_bUseSBACRD ) 
     2888      {
     2889        if ( 0 == i) //initialize RD with previous depth buffer
     2890        {
     2891          m_pppcRDSbacCoder[uhNextDepth][CI_CURR_BEST]->load(m_pppcRDSbacCoder[uiDepth][CI_CURR_BEST]);
     2892        }
     2893        else
     2894        {
     2895          m_pppcRDSbacCoder[uhNextDepth][CI_CURR_BEST]->load(m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]);
     2896        }
     2897      } 
     2898      runQuadTreeDecision(psQTPart, pOnePart->DownPartsIdx[i], dCostFinal, iMaxLevel, dLambda);
     2899      dCostSplit += dCostFinal;
     2900      if( m_bUseSBACRD )
     2901      {
     2902        m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]->load(m_pppcRDSbacCoder[uhNextDepth][CI_TEMP_BEST]);
     2903      }
     2904    }
     2905
     2906    if(dCostSplit < dCostNotSplit)
     2907    {
     2908      dCostFinal = dCostSplit;
     2909      pOnePart->bSplit      = true;
     2910      pOnePart->iLength     =  0;
     2911      pOnePart->iBestType   = -1;
     2912      if( m_bUseSBACRD )
     2913      {
     2914        m_pppcRDSbacCoder[uiDepth][CI_NEXT_BEST]->load(m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]);
     2915      }
     2916    }
     2917    else
     2918    {
     2919      dCostFinal = dCostNotSplit;
     2920      pOnePart->bSplit = false;
     2921      for (Int i=0; i<NUM_DOWN_PART; i++)
     2922      {
     2923        disablePartTree(psQTPart, pOnePart->DownPartsIdx[i]);
     2924      }
     2925      if( m_bUseSBACRD )
     2926      {
     2927        m_pppcRDSbacCoder[uiDepth][CI_NEXT_BEST]->load(m_pppcRDSbacCoder[uiDepth][CI_TEMP_BEST]);
     2928      }
     2929    }
     2930  }
     2931  else
     2932  {
     2933    dCostFinal = pOnePart->dMinCost;
     2934  }
     2935}
     2936
     2937/** delete allocated memory of TEncSampleAdaptiveOffset class.
     2938 */
     2939Void TEncSampleAdaptiveOffset::destroyEncBuffer()
     2940{
     2941  for (Int i=0;i<m_iNumTotalParts;i++)
     2942  {
     2943    for (Int j=0;j<MAX_NUM_SAO_TYPE;j++)
     2944    {
     2945      if (m_iCount [i][j])
     2946      {
     2947        delete [] m_iCount [i][j];
     2948      }
     2949      if (m_iOffset[i][j])
     2950      {
     2951        delete [] m_iOffset[i][j];
     2952      }
     2953      if (m_iOffsetOrg[i][j])
     2954      {
     2955        delete [] m_iOffsetOrg[i][j];
     2956      }
     2957    }
     2958    if (m_iRate[i])
     2959    {
     2960      delete [] m_iRate[i];
     2961    }
     2962    if (m_iDist[i])
     2963    {
     2964      delete [] m_iDist[i];
     2965    }
     2966    if (m_dCost[i])
     2967    {
     2968      delete [] m_dCost[i];
     2969    }
     2970    if (m_iCount [i])
     2971    {
     2972      delete [] m_iCount [i];
     2973    }
     2974    if (m_iOffset[i])
     2975    {
     2976      delete [] m_iOffset[i];
     2977    }
     2978    if (m_iOffsetOrg[i])
     2979    {
     2980      delete [] m_iOffsetOrg[i];
     2981    }
     2982
     2983  }
     2984  if (m_iDistOrg)
     2985  {
     2986    delete [] m_iDistOrg ; m_iDistOrg = NULL;
     2987  }
     2988  if (m_dCostPartBest)
     2989  {
     2990    delete [] m_dCostPartBest ; m_dCostPartBest = NULL;
     2991  }
     2992  if (m_iTypePartBest)
     2993  {
     2994    delete [] m_iTypePartBest ; m_iTypePartBest = NULL;
     2995  }
     2996  if (m_iRate)
     2997  {
     2998    delete [] m_iRate ; m_iRate = NULL;
     2999  }
     3000  if (m_iDist)
     3001  {
     3002    delete [] m_iDist ; m_iDist = NULL;
     3003  }
     3004  if (m_dCost)
     3005  {
     3006    delete [] m_dCost ; m_dCost = NULL;
     3007  }
     3008  if (m_iCount)
     3009  {
     3010    delete [] m_iCount  ; m_iCount = NULL;
     3011  }
     3012  if (m_iOffset)
     3013  {
     3014    delete [] m_iOffset ; m_iOffset = NULL;
     3015  }
     3016  if (m_iOffsetOrg)
     3017  {
     3018    delete [] m_iOffsetOrg ; m_iOffsetOrg = NULL;
     3019  }
     3020
     3021  Int iMaxDepth = 4;
     3022  Int iDepth;
     3023  for ( iDepth = 0; iDepth < iMaxDepth+1; iDepth++ )
     3024  {
     3025    for (Int iCIIdx = 0; iCIIdx < CI_NUM; iCIIdx ++ )
     3026    {
     3027      delete m_pppcRDSbacCoder[iDepth][iCIIdx];
     3028      delete m_pppcBinCoderCABAC[iDepth][iCIIdx];
     3029    }
     3030  }
     3031
     3032  for ( iDepth = 0; iDepth < iMaxDepth+1; iDepth++ )
     3033  {
     3034    delete [] m_pppcRDSbacCoder[iDepth];
     3035    delete [] m_pppcBinCoderCABAC[iDepth];
     3036  }
     3037
     3038  delete [] m_pppcRDSbacCoder;
     3039  delete [] m_pppcBinCoderCABAC;
     3040}
     3041
     3042/** create Encoder Buffer for SAO
     3043 * \param
     3044 */
     3045Void TEncSampleAdaptiveOffset::createEncBuffer()
     3046{
     3047  m_iDistOrg = new Int64 [m_iNumTotalParts];
     3048  m_dCostPartBest = new Double [m_iNumTotalParts];
     3049  m_iTypePartBest = new Int [m_iNumTotalParts];
     3050
     3051  m_iRate = new Int64* [m_iNumTotalParts];
     3052  m_iDist = new Int64* [m_iNumTotalParts];
     3053  m_dCost = new Double*[m_iNumTotalParts];
     3054
     3055  m_iCount  = new Int64 **[m_iNumTotalParts];
     3056  m_iOffset = new Int64 **[m_iNumTotalParts];
     3057  m_iOffsetOrg = new Int64 **[m_iNumTotalParts];
     3058
     3059  for (Int i=0;i<m_iNumTotalParts;i++)
     3060  {
     3061    m_iRate[i] = new Int64  [MAX_NUM_SAO_TYPE];
     3062    m_iDist[i] = new Int64  [MAX_NUM_SAO_TYPE];
     3063    m_dCost[i] = new Double [MAX_NUM_SAO_TYPE];
     3064
     3065    m_iCount [i] = new Int64 *[MAX_NUM_SAO_TYPE];
     3066    m_iOffset[i] = new Int64 *[MAX_NUM_SAO_TYPE];
     3067    m_iOffsetOrg[i] = new Int64 *[MAX_NUM_SAO_TYPE];
     3068
     3069    for (Int j=0;j<MAX_NUM_SAO_TYPE;j++)
     3070    {
     3071      m_iCount [i][j]   = new Int64 [MAX_NUM_SAO_CLASS];
     3072      m_iOffset[i][j]   = new Int64 [MAX_NUM_SAO_CLASS];
     3073      m_iOffsetOrg[i][j]= new Int64 [MAX_NUM_SAO_CLASS];
     3074    }
     3075  }
     3076
     3077  Int iMaxDepth = 4;
     3078  m_pppcRDSbacCoder = new TEncSbac** [iMaxDepth+1];
     3079#if FAST_BIT_EST
     3080  m_pppcBinCoderCABAC = new TEncBinCABACCounter** [iMaxDepth+1];
     3081#else
     3082  m_pppcBinCoderCABAC = new TEncBinCABAC** [iMaxDepth+1];
     3083#endif
     3084
     3085  for ( Int iDepth = 0; iDepth < iMaxDepth+1; iDepth++ )
     3086  {
     3087    m_pppcRDSbacCoder[iDepth] = new TEncSbac* [CI_NUM];
     3088#if FAST_BIT_EST
     3089    m_pppcBinCoderCABAC[iDepth] = new TEncBinCABACCounter* [CI_NUM];
     3090#else
     3091    m_pppcBinCoderCABAC[iDepth] = new TEncBinCABAC* [CI_NUM];
     3092#endif
     3093    for (Int iCIIdx = 0; iCIIdx < CI_NUM; iCIIdx ++ )
     3094    {
     3095      m_pppcRDSbacCoder[iDepth][iCIIdx] = new TEncSbac;
     3096#if FAST_BIT_EST
     3097      m_pppcBinCoderCABAC [iDepth][iCIIdx] = new TEncBinCABACCounter;
     3098#else
     3099      m_pppcBinCoderCABAC [iDepth][iCIIdx] = new TEncBinCABAC;
     3100#endif
     3101      m_pppcRDSbacCoder   [iDepth][iCIIdx]->init( m_pppcBinCoderCABAC [iDepth][iCIIdx] );
     3102    }
     3103  }
     3104}
     3105
     3106/** Start SAO encoder
     3107 * \param pcPic, pcEntropyCoder, pppcRDSbacCoder, pcRDGoOnSbacCoder
     3108 */
     3109Void TEncSampleAdaptiveOffset::startSaoEnc( TComPic* pcPic, TEncEntropy* pcEntropyCoder, TEncSbac*** pppcRDSbacCoder, TEncSbac* pcRDGoOnSbacCoder)
     3110{
     3111  if( pcRDGoOnSbacCoder )
     3112    m_bUseSBACRD = true;
     3113  else
     3114    m_bUseSBACRD = false;
     3115
     3116  m_pcPic = pcPic;
     3117  m_pcEntropyCoder = pcEntropyCoder;
     3118
     3119  m_pcRDGoOnSbacCoder = pcRDGoOnSbacCoder;
     3120  m_pcEntropyCoder->resetEntropy();
     3121  m_pcEntropyCoder->resetBits();
     3122
     3123  if( m_bUseSBACRD )
     3124  {
     3125    m_pcRDGoOnSbacCoder->store( m_pppcRDSbacCoder[0][CI_NEXT_BEST]);
     3126    m_pppcRDSbacCoder[0][CI_CURR_BEST]->load( m_pppcRDSbacCoder[0][CI_NEXT_BEST]);
     3127  }
     3128}
     3129
     3130/** End SAO encoder
     3131 */
     3132Void TEncSampleAdaptiveOffset::endSaoEnc()
     3133{
     3134  m_pcPic = NULL;
     3135  m_pcEntropyCoder = NULL;
     3136}
     3137
     3138inline int xSign(int x)
     3139{
     3140  return ((x >> 31) | ((int)( (((unsigned int) -x)) >> 31)));
     3141}
     3142
     3143/** Calculate SAO statistics for non-cross-slice or non-cross-tile processing
     3144 * \param  pRecStart to-be-filtered block buffer pointer
     3145 * \param  pOrgStart original block buffer pointer
     3146 * \param  stride picture buffer stride
     3147 * \param  ppStat statistics buffer
     3148 * \param  ppCount counter buffer
     3149 * \param  width block width
     3150 * \param  height block height
     3151 * \param  pbBorderAvail availabilities of block border pixels
     3152 */
     3153Void TEncSampleAdaptiveOffset::calcSaoStatsBlock( Pel* pRecStart, Pel* pOrgStart, Int stride, Int64** ppStats, Int64** ppCount, UInt width, UInt height, Bool* pbBorderAvail)
     3154{
     3155  Int64 *stats, *count;
     3156  Int classIdx, posShift, startX, endX, startY, endY, signLeft,signRight,signDown,signDown1;
     3157  Pel *pOrg, *pRec;
     3158  UInt edgeType;
     3159  Int x, y;
     3160
     3161  //--------- Band offset-----------//
     3162  stats = ppStats[SAO_BO];
     3163  count = ppCount[SAO_BO];
     3164  pOrg   = pOrgStart;
     3165  pRec   = pRecStart;
     3166  for (y=0; y< height; y++)
     3167  {
     3168    for (x=0; x< width; x++)
     3169    {
     3170      classIdx = m_lumaTableBo[pRec[x]];
     3171      if (classIdx)
     3172      {
     3173        stats[classIdx] += (pOrg[x] - pRec[x]);
     3174        count[classIdx] ++;
     3175      }
     3176    }
     3177    pOrg += stride;
     3178    pRec += stride;
     3179  }
     3180  //---------- Edge offset 0--------------//
     3181  stats = ppStats[SAO_EO_0];
     3182  count = ppCount[SAO_EO_0];
     3183  pOrg   = pOrgStart;
     3184  pRec   = pRecStart;
     3185
     3186
     3187  startX = (pbBorderAvail[SGU_L]) ? 0 : 1;
     3188  endX   = (pbBorderAvail[SGU_R]) ? width : (width -1);
     3189  for (y=0; y< height; y++)
     3190  {
     3191    signLeft = xSign(pRec[startX] - pRec[startX-1]);
     3192    for (x=startX; x< endX; x++)
     3193    {
     3194      signRight =  xSign(pRec[x] - pRec[x+1]);
     3195      edgeType =  signRight + signLeft + 2;
     3196      signLeft  = -signRight;
     3197
     3198      stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3199      count[m_auiEoTable[edgeType]] ++;
     3200    }
     3201    pRec  += stride;
     3202    pOrg += stride;
     3203  }
     3204
     3205  //---------- Edge offset 1--------------//
     3206  stats = ppStats[SAO_EO_1];
     3207  count = ppCount[SAO_EO_1];
     3208  pOrg   = pOrgStart;
     3209  pRec   = pRecStart;
     3210
     3211  startY = (pbBorderAvail[SGU_T]) ? 0 : 1;
     3212  endY   = (pbBorderAvail[SGU_B]) ? height : height-1;
     3213  if (!pbBorderAvail[SGU_T])
     3214  {
     3215    pRec  += stride;
     3216    pOrg  += stride;
     3217  }
     3218
     3219  for (x=0; x< width; x++)
     3220  {
     3221    m_iUpBuff1[x] = xSign(pRec[x] - pRec[x-stride]);
     3222  }
     3223  for (y=startY; y<endY; y++)
     3224  {
     3225    for (x=0; x< width; x++)
     3226    {
     3227      signDown     =  xSign(pRec[x] - pRec[x+stride]);
     3228      edgeType    =  signDown + m_iUpBuff1[x] + 2;
     3229      m_iUpBuff1[x] = -signDown;
     3230
     3231      stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3232      count[m_auiEoTable[edgeType]] ++;
     3233    }
     3234    pOrg += stride;
     3235    pRec += stride;
     3236  }
     3237  //---------- Edge offset 2--------------//
     3238  stats = ppStats[SAO_EO_2];
     3239  count = ppCount[SAO_EO_2];
     3240  pOrg   = pOrgStart;
     3241  pRec   = pRecStart;
     3242
     3243  posShift= stride + 1;
     3244
     3245  startX = (pbBorderAvail[SGU_L]) ? 0 : 1 ;
     3246  endX   = (pbBorderAvail[SGU_R]) ? width : (width-1);
     3247
     3248  //prepare 2nd line upper sign
     3249  pRec += stride;
     3250  for (x=startX; x< endX+1; x++)
     3251  {
     3252    m_iUpBuff1[x] = xSign(pRec[x] - pRec[x- posShift]);
     3253  }
     3254
     3255  //1st line
     3256  pRec -= stride;
     3257  if(pbBorderAvail[SGU_TL])
     3258  {
     3259    x= 0;
     3260    edgeType      =  xSign(pRec[x] - pRec[x- posShift]) - m_iUpBuff1[x+1] + 2;
     3261    stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3262    count[m_auiEoTable[edgeType]] ++;
     3263  }
     3264  if(pbBorderAvail[SGU_T])
     3265  {
     3266    for(x= 1; x< endX; x++)
     3267    {
     3268      edgeType      =  xSign(pRec[x] - pRec[x- posShift]) - m_iUpBuff1[x+1] + 2;
     3269      stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3270      count[m_auiEoTable[edgeType]] ++;
     3271    }
     3272  }
     3273  pRec   += stride;
     3274  pOrg   += stride;
     3275
     3276  //middle lines
     3277  for (y= 1; y< height-1; y++)
     3278  {
     3279    for (x=startX; x<endX; x++)
     3280    {
     3281      signDown1      =  xSign(pRec[x] - pRec[x+ posShift]) ;
     3282      edgeType      =  signDown1 + m_iUpBuff1[x] + 2;
     3283      stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3284      count[m_auiEoTable[edgeType]] ++;
     3285
     3286      m_iUpBufft[x+1] = -signDown1;
     3287    }
     3288    m_iUpBufft[startX] = xSign(pRec[stride+startX] - pRec[startX-1]);
     3289
     3290    ipSwap     = m_iUpBuff1;
     3291    m_iUpBuff1 = m_iUpBufft;
     3292    m_iUpBufft = ipSwap;
     3293
     3294    pRec  += stride;
     3295    pOrg  += stride;
     3296  }
     3297
     3298  //last line
     3299  if(pbBorderAvail[SGU_B])
     3300  {
     3301    for(x= startX; x< width-1; x++)
     3302    {
     3303      edgeType =  xSign(pRec[x] - pRec[x+ posShift]) + m_iUpBuff1[x] + 2;
     3304      stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3305      count[m_auiEoTable[edgeType]] ++;
     3306    }
     3307  }
     3308  if(pbBorderAvail[SGU_BR])
     3309  {
     3310    x= width -1;
     3311    edgeType =  xSign(pRec[x] - pRec[x+ posShift]) + m_iUpBuff1[x] + 2;
     3312    stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3313    count[m_auiEoTable[edgeType]] ++;
     3314  }
     3315
     3316  //---------- Edge offset 3--------------//
     3317
     3318  stats = ppStats[SAO_EO_3];
     3319  count = ppCount[SAO_EO_3];
     3320  pOrg   = pOrgStart;
     3321  pRec   = pRecStart;
     3322
     3323  posShift     = stride - 1;
     3324  startX = (pbBorderAvail[SGU_L]) ? 0 : 1;
     3325  endX   = (pbBorderAvail[SGU_R]) ? width : (width -1);
     3326
     3327  //prepare 2nd line upper sign
     3328  pRec += stride;
     3329  for (x=startX-1; x< endX; x++)
     3330  {
     3331    m_iUpBuff1[x] = xSign(pRec[x] - pRec[x- posShift]);
     3332  }
     3333
     3334
     3335  //first line
     3336  pRec -= stride;
     3337  if(pbBorderAvail[SGU_T])
     3338  {
     3339    for(x= startX; x< width -1; x++)
     3340    {
     3341      edgeType = xSign(pRec[x] - pRec[x- posShift]) -m_iUpBuff1[x-1] + 2;
     3342      stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3343      count[m_auiEoTable[edgeType]] ++;
     3344    }
     3345  }
     3346  if(pbBorderAvail[SGU_TR])
     3347  {
     3348    x= width-1;
     3349    edgeType = xSign(pRec[x] - pRec[x- posShift]) -m_iUpBuff1[x-1] + 2;
     3350    stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3351    count[m_auiEoTable[edgeType]] ++;
     3352  }
     3353  pRec  += stride;
     3354  pOrg  += stride;
     3355
     3356  //middle lines
     3357  for (y= 1; y< height-1; y++)
     3358  {
     3359    for(x= startX; x< endX; x++)
     3360    {
     3361      signDown1      =  xSign(pRec[x] - pRec[x+ posShift]) ;
     3362      edgeType      =  signDown1 + m_iUpBuff1[x] + 2;
     3363
     3364      stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3365      count[m_auiEoTable[edgeType]] ++;
     3366      m_iUpBuff1[x-1] = -signDown1;
     3367
     3368    }
     3369    m_iUpBuff1[endX-1] = xSign(pRec[endX-1 + stride] - pRec[endX]);
     3370
     3371    pRec  += stride;
     3372    pOrg  += stride;
     3373  }
     3374
     3375  //last line
     3376  if(pbBorderAvail[SGU_BL])
     3377  {
     3378    x= 0;
     3379    edgeType = xSign(pRec[x] - pRec[x+ posShift]) + m_iUpBuff1[x] + 2;
     3380    stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3381    count[m_auiEoTable[edgeType]] ++;
     3382
     3383  }
     3384  if(pbBorderAvail[SGU_B])
     3385  {
     3386    for(x= 1; x< endX; x++)
     3387    {
     3388      edgeType = xSign(pRec[x] - pRec[x+ posShift]) + m_iUpBuff1[x] + 2;
     3389      stats[m_auiEoTable[edgeType]] += (pOrg[x] - pRec[x]);
     3390      count[m_auiEoTable[edgeType]] ++;
     3391    }
     3392  }
     3393}
     3394
     3395/** Calculate SAO statistics for current LCU
     3396 * \param  iAddr,  iPartIdx,  iYCbCr
     3397 */
     3398Void TEncSampleAdaptiveOffset::calcSaoStatsCu(Int iAddr, Int iPartIdx, Int iYCbCr)
     3399{
     3400  if(!m_bUseNIF)
     3401  {
     3402    calcSaoStatsCuOrg( iAddr, iPartIdx, iYCbCr);
     3403  }
     3404  else
     3405  {
     3406    Int64** ppStats = m_iOffsetOrg[iPartIdx];
     3407    Int64** ppCount = m_iCount    [iPartIdx];
     3408
     3409    //parameters
     3410    Int  isChroma = (iYCbCr != 0)? 1:0;
     3411    Int  stride   = (iYCbCr != 0)?(m_pcPic->getCStride()):(m_pcPic->getStride());
     3412    Pel* pPicOrg = getPicYuvAddr (m_pcPic->getPicYuvOrg(), iYCbCr);
     3413    Pel* pPicRec  = getPicYuvAddr(m_pcYuvTmp, iYCbCr);
     3414
     3415    std::vector<NDBFBlockInfo>& vFilterBlocks = *(m_pcPic->getCU(iAddr)->getNDBFilterBlocks());
     3416
     3417    //variables
     3418    UInt  xPos, yPos, width, height;
     3419    Bool* pbBorderAvail;
     3420    UInt  posOffset;
     3421
     3422    for(Int i=0; i< vFilterBlocks.size(); i++)
     3423    {
     3424      xPos        = vFilterBlocks[i].posX   >> isChroma;
     3425      yPos        = vFilterBlocks[i].posY   >> isChroma;
     3426      width       = vFilterBlocks[i].width  >> isChroma;
     3427      height      = vFilterBlocks[i].height >> isChroma;
     3428      pbBorderAvail = vFilterBlocks[i].isBorderAvailable;
     3429
     3430      posOffset = (yPos* stride) + xPos;
     3431
     3432#if HHI_INTERVIEW_SKIP
     3433      if( !m_pcPic->getCU(iAddr)->getRenderable(0 ))
     3434      {
     3435      calcSaoStatsBlock(pPicRec+ posOffset, pPicOrg+ posOffset, stride, ppStats, ppCount,width, height, pbBorderAvail);
     3436      }
     3437#else
     3438      calcSaoStatsBlock(pPicRec+ posOffset, pPicOrg+ posOffset, stride, ppStats, ppCount,width, height, pbBorderAvail);
     3439#endif
     3440    }
     3441  }
     3442
     3443}
     3444
     3445/** Calculate SAO statistics for current LCU without non-crossing slice
     3446 * \param  iAddr,  iPartIdx,  iYCbCr
     3447 */
     3448Void TEncSampleAdaptiveOffset::calcSaoStatsCuOrg(Int iAddr, Int iPartIdx, Int iYCbCr)
     3449{
     3450  Int x,y;
     3451  TComDataCU *pTmpCu = m_pcPic->getCU(iAddr);
     3452  TComSPS *pTmpSPS =  m_pcPic->getSlice(0)->getSPS();
     3453
     3454  Pel* pOrg;
     3455  Pel* pRec;
     3456  Int iStride;
     3457  Int iLcuWidth  = pTmpSPS->getMaxCUHeight();
     3458  Int iLcuHeight = pTmpSPS->getMaxCUWidth();
     3459  UInt uiLPelX   = pTmpCu->getCUPelX();
     3460  UInt uiTPelY   = pTmpCu->getCUPelY();
     3461  UInt uiRPelX;
     3462  UInt uiBPelY;
     3463  Int64* iStats;
     3464  Int64* iCount;
     3465  Int iClassIdx;
     3466  Int iPicWidthTmp;
     3467  Int iPicHeightTmp;
     3468  Int iStartX;
     3469  Int iStartY;
     3470  Int iEndX;
     3471  Int iEndY;
     3472
     3473  Int iIsChroma = (iYCbCr!=0)? 1:0;
     3474  Int numSkipLine = iIsChroma? 2:4;
    9763475  if (m_saoInterleavingFlag == 0)
    9773476  {
     
    19744473
    19754474}
     4475#endif
    19764476
    19774477
Note: See TracChangeset for help on using the changeset viewer.