source: SHVCSoftware/branches/SHM-dev/source/Lib/TLibCommon/TComRdCost.cpp @ 1353

Last change on this file since 1353 was 1341, checked in by seregin, 9 years ago

port rev 4419
  • Property svn:eol-style set to native
File size: 54.8 KB
Line 
1/* The copyright in this software is being made available under the BSD
2 * License, included below. This software may be subject to other third party
3 * and contributor rights, including patent rights, and no such rights are
4 * granted under this license.
5 *
6 * Copyright (c) 2010-2015, ITU/ISO/IEC
7 * All rights reserved.
8 *
9 * Redistribution and use in source and binary forms, with or without
10 * modification, are permitted provided that the following conditions are met:
11 *
12 *  * Redistributions of source code must retain the above copyright notice,
13 *    this list of conditions and the following disclaimer.
14 *  * Redistributions in binary form must reproduce the above copyright notice,
15 *    this list of conditions and the following disclaimer in the documentation
16 *    and/or other materials provided with the distribution.
17 *  * Neither the name of the ITU/ISO/IEC nor the names of its contributors may
18 *    be used to endorse or promote products derived from this software without
19 *    specific prior written permission.
20 *
21 * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
22 * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
23 * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
24 * ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS
25 * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
26 * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
27 * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
28 * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
29 * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
30 * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
31 * THE POSSIBILITY OF SUCH DAMAGE.
32 */
33
34/** \file     TComRdCost.cpp
35    \brief    RD cost computation class
36*/
37
38#include <math.h>
39#include <assert.h>
40#include <limits>
41#include "TComRom.h"
42#include "TComRdCost.h"
43
44//! \ingroup TLibCommon
45//! \{
46
47TComRdCost::TComRdCost()
48{
49  init();
50}
51
52TComRdCost::~TComRdCost()
53{
54}
55
56// Calculate RD functions
57Double TComRdCost::calcRdCost( UInt uiBits, Distortion uiDistortion, Bool bFlag, DFunc eDFunc )
58{
59  Double dRdCost = 0.0;
60  Double dLambda = 0.0;
61
62  switch ( eDFunc )
63  {
64    case DF_SSE:
65      assert(0);
66      break;
67    case DF_SAD:
68#if RExt__HIGH_BIT_DEPTH_SUPPORT
69      dLambda = m_dLambdaMotionSAD[0]; // 0 is valid, because for lossless blocks, the cost equation is modified to compensate.
70#else
71      dLambda = (Double)m_uiLambdaMotionSAD[0]; // 0 is valid, because for lossless blocks, the cost equation is modified to compensate.
72#endif
73      break;
74    case DF_DEFAULT:
75      dLambda =         m_dLambda;
76      break;
77    case DF_SSE_FRAME:
78      dLambda =         m_dFrameLambda;
79      break;
80    default:
81      assert (0);
82      break;
83  }
84
85  if (bFlag) //NOTE: this "bFlag" is never true
86  {
87    // Intra8x8, Intra4x4 Block only...
88    if (m_costMode != COST_STANDARD_LOSSY)
89    {
90      dRdCost = (Double(uiDistortion) / dLambda) + Double(uiBits); // all lossless costs would have uiDistortion=0, and therefore this cost function can be used.
91    }
92    else
93    {
94      dRdCost = (((Double)uiDistortion) + ((Double)uiBits * dLambda));
95    }
96  }
97  else
98  {
99    if (eDFunc == DF_SAD)
100    {
101      if (m_costMode != COST_STANDARD_LOSSY)
102      {
103        dRdCost = ((Double(uiDistortion) * 65536) / dLambda) + Double(uiBits); // all lossless costs would have uiDistortion=0, and therefore this cost function can be used.
104      }
105      else
106      {
107        dRdCost = floor(Double(uiDistortion) + (floor((Double(uiBits) * dLambda) + 0.5) / 65536.0));
108      }
109    }
110    else
111    {
112      if (m_costMode != COST_STANDARD_LOSSY)
113      {
114        dRdCost = (Double(uiDistortion) / dLambda) + Double(uiBits); // all lossless costs would have uiDistortion=0, and therefore this cost function can be used.
115      }
116      else
117      {
118        dRdCost = floor(Double(uiDistortion) + (Double(uiBits) * dLambda) + 0.5);
119      }
120    }
121  }
122
123  return dRdCost;
124}
125
126Double TComRdCost::calcRdCost64( UInt64 uiBits, UInt64 uiDistortion, Bool bFlag, DFunc eDFunc )
127{
128  Double dRdCost = 0.0;
129  Double dLambda = 0.0;
130
131  switch ( eDFunc )
132  {
133    case DF_SSE:
134      assert(0);
135      break;
136    case DF_SAD:
137#if RExt__HIGH_BIT_DEPTH_SUPPORT
138      dLambda = m_dLambdaMotionSAD[0]; // 0 is valid, because for lossless blocks, the cost equation is modified to compensate.
139#else
140      dLambda = (Double)m_uiLambdaMotionSAD[0]; // 0 is valid, because for lossless blocks, the cost equation is modified to compensate.
141#endif
142      break;
143    case DF_DEFAULT:
144      dLambda =         m_dLambda;
145      break;
146    case DF_SSE_FRAME:
147      dLambda =         m_dFrameLambda;
148      break;
149    default:
150      assert (0);
151      break;
152  }
153
154  if (bFlag) //NOTE: this "bFlag" is never true
155  {
156    // Intra8x8, Intra4x4 Block only...
157    if (m_costMode != COST_STANDARD_LOSSY)
158    {
159      dRdCost = (Double(uiDistortion) / dLambda) + Double(uiBits); // all lossless costs would have uiDistortion=0, and therefore this cost function can be used.
160    }
161    else
162    {
163      dRdCost = (((Double)(Int64)uiDistortion) + ((Double)(Int64)uiBits * dLambda));
164    }
165  }
166  else
167  {
168    if (eDFunc == DF_SAD)
169    {
170      if (m_costMode != COST_STANDARD_LOSSY)
171      {
172        dRdCost = ((Double(uiDistortion) * 65536) / dLambda) + Double(uiBits); // all lossless costs would have uiDistortion=0, and therefore this cost function can be used.
173      }
174      else
175      {
176        dRdCost = floor(Double(uiDistortion) + (floor((Double(uiBits) * dLambda) + 0.5) / 65536.0));
177      }
178    }
179    else
180    {
181      if (m_costMode != COST_STANDARD_LOSSY)
182      {
183        dRdCost = (Double(uiDistortion) / dLambda) + Double(uiBits); // all lossless costs would have uiDistortion=0, and therefore this cost function can be used.
184      }
185      else
186      {
187        dRdCost = floor(Double(uiDistortion) + (Double(uiBits) * dLambda) + 0.5);
188      }
189    }
190  }
191
192  return dRdCost;
193}
194
195Void TComRdCost::setLambda( Double dLambda, const BitDepths &bitDepths )
196{
197  m_dLambda           = dLambda;
198  m_sqrtLambda        = sqrt(m_dLambda);
199#if RExt__HIGH_BIT_DEPTH_SUPPORT
200  m_dLambdaMotionSAD[0] = 65536.0 * m_sqrtLambda;
201  m_dLambdaMotionSSE[0] = 65536.0 * m_dLambda;
202#if FULL_NBIT
203  dLambda = 0.57 * pow(2.0, ((LOSSLESS_AND_MIXED_LOSSLESS_RD_COST_TEST_QP_PRIME - 12) / 3.0));
204#else
205  dLambda = 0.57 * pow(2.0, ((LOSSLESS_AND_MIXED_LOSSLESS_RD_COST_TEST_QP_PRIME - 12 - 6 * (bitDepths.recon[CHANNEL_TYPE_LUMA] - 8)) / 3.0));
206#endif
207  m_dLambdaMotionSAD[1] = 65536.0 * sqrt(dLambda);
208  m_dLambdaMotionSSE[1] = 65536.0 * dLambda;
209#else
210  m_uiLambdaMotionSAD[0] = (UInt)floor(65536.0 * m_sqrtLambda);
211  m_uiLambdaMotionSSE[0] = (UInt)floor(65536.0 * m_dLambda   );
212#if FULL_NBIT
213  dLambda = 0.57 * pow(2.0, ((LOSSLESS_AND_MIXED_LOSSLESS_RD_COST_TEST_QP_PRIME - 12) / 3.0));
214#else
215  dLambda = 0.57 * pow(2.0, ((LOSSLESS_AND_MIXED_LOSSLESS_RD_COST_TEST_QP_PRIME - 12 - 6 * (bitDepths.recon[CHANNEL_TYPE_LUMA] - 8)) / 3.0));
216#endif
217  m_uiLambdaMotionSAD[1] = (UInt)floor(65536.0 * sqrt(dLambda));
218  m_uiLambdaMotionSSE[1] = (UInt)floor(65536.0 * dLambda   );
219#endif
220}
221
222
223// Initalize Function Pointer by [eDFunc]
224Void TComRdCost::init()
225{
226  m_afpDistortFunc[DF_DEFAULT] = NULL;                  // for DF_DEFAULT
227
228  m_afpDistortFunc[DF_SSE    ] = TComRdCost::xGetSSE;
229  m_afpDistortFunc[DF_SSE4   ] = TComRdCost::xGetSSE4;
230  m_afpDistortFunc[DF_SSE8   ] = TComRdCost::xGetSSE8;
231  m_afpDistortFunc[DF_SSE16  ] = TComRdCost::xGetSSE16;
232  m_afpDistortFunc[DF_SSE32  ] = TComRdCost::xGetSSE32;
233  m_afpDistortFunc[DF_SSE64  ] = TComRdCost::xGetSSE64;
234  m_afpDistortFunc[DF_SSE16N ] = TComRdCost::xGetSSE16N;
235
236  m_afpDistortFunc[DF_SAD    ] = TComRdCost::xGetSAD;
237  m_afpDistortFunc[DF_SAD4   ] = TComRdCost::xGetSAD4;
238  m_afpDistortFunc[DF_SAD8   ] = TComRdCost::xGetSAD8;
239  m_afpDistortFunc[DF_SAD16  ] = TComRdCost::xGetSAD16;
240  m_afpDistortFunc[DF_SAD32  ] = TComRdCost::xGetSAD32;
241  m_afpDistortFunc[DF_SAD64  ] = TComRdCost::xGetSAD64;
242  m_afpDistortFunc[DF_SAD16N ] = TComRdCost::xGetSAD16N;
243
244  m_afpDistortFunc[DF_SADS   ] = TComRdCost::xGetSAD;
245  m_afpDistortFunc[DF_SADS4  ] = TComRdCost::xGetSAD4;
246  m_afpDistortFunc[DF_SADS8  ] = TComRdCost::xGetSAD8;
247  m_afpDistortFunc[DF_SADS16 ] = TComRdCost::xGetSAD16;
248  m_afpDistortFunc[DF_SADS32 ] = TComRdCost::xGetSAD32;
249  m_afpDistortFunc[DF_SADS64 ] = TComRdCost::xGetSAD64;
250  m_afpDistortFunc[DF_SADS16N] = TComRdCost::xGetSAD16N;
251
252  m_afpDistortFunc[DF_SAD12  ] = TComRdCost::xGetSAD12;
253  m_afpDistortFunc[DF_SAD24  ] = TComRdCost::xGetSAD24;
254  m_afpDistortFunc[DF_SAD48  ] = TComRdCost::xGetSAD48;
255
256  m_afpDistortFunc[DF_SADS12 ] = TComRdCost::xGetSAD12;
257  m_afpDistortFunc[DF_SADS24 ] = TComRdCost::xGetSAD24;
258  m_afpDistortFunc[DF_SADS48 ] = TComRdCost::xGetSAD48;
259
260  m_afpDistortFunc[DF_HADS   ] = TComRdCost::xGetHADs;
261  m_afpDistortFunc[DF_HADS4  ] = TComRdCost::xGetHADs;
262  m_afpDistortFunc[DF_HADS8  ] = TComRdCost::xGetHADs;
263  m_afpDistortFunc[DF_HADS16 ] = TComRdCost::xGetHADs;
264  m_afpDistortFunc[DF_HADS32 ] = TComRdCost::xGetHADs;
265  m_afpDistortFunc[DF_HADS64 ] = TComRdCost::xGetHADs;
266  m_afpDistortFunc[DF_HADS16N] = TComRdCost::xGetHADs;
267
268  m_costMode                   = COST_STANDARD_LOSSY;
269
270#if RExt__HIGH_BIT_DEPTH_SUPPORT
271  m_dCost                      = 0;
272#else
273  m_uiCost                     = 0;
274#endif
275  m_iCostScale                 = 0;
276}
277
278// Static member function
279UInt TComRdCost::xGetExpGolombNumberOfBits( Int iVal )
280{
281  assert(iVal != std::numeric_limits<Int>::min());
282  UInt uiLength = 1;
283  UInt uiTemp   = ( iVal <= 0) ? (UInt(-iVal)<<1)+1: UInt(iVal<<1);
284
285  while ( 1 != uiTemp )
286  {
287    uiTemp >>= 1;
288    uiLength += 2;
289  }
290
291  return uiLength;
292}
293
294Void TComRdCost::setDistParam( UInt uiBlkWidth, UInt uiBlkHeight, DFunc eDFunc, DistParam& rcDistParam )
295{
296  // set Block Width / Height
297  rcDistParam.iCols    = uiBlkWidth;
298  rcDistParam.iRows    = uiBlkHeight;
299  rcDistParam.DistFunc = m_afpDistortFunc[eDFunc + g_aucConvertToBit[ rcDistParam.iCols ] + 1 ];
300
301  // initialize
302  rcDistParam.iSubShift  = 0;
303}
304
305// Setting the Distortion Parameter for Inter (ME)
306Void TComRdCost::setDistParam( TComPattern* pcPatternKey, Pel* piRefY, Int iRefStride, DistParam& rcDistParam )
307{
308  // set Original & Curr Pointer / Stride
309  rcDistParam.pOrg = pcPatternKey->getROIY();
310  rcDistParam.pCur = piRefY;
311
312  rcDistParam.iStrideOrg = pcPatternKey->getPatternLStride();
313  rcDistParam.iStrideCur = iRefStride;
314
315  // set Block Width / Height
316  rcDistParam.iCols    = pcPatternKey->getROIYWidth();
317  rcDistParam.iRows    = pcPatternKey->getROIYHeight();
318  rcDistParam.DistFunc = m_afpDistortFunc[DF_SAD + g_aucConvertToBit[ rcDistParam.iCols ] + 1 ];
319
320  if (rcDistParam.iCols == 12)
321  {
322    rcDistParam.DistFunc = m_afpDistortFunc[DF_SAD12];
323  }
324  else if (rcDistParam.iCols == 24)
325  {
326    rcDistParam.DistFunc = m_afpDistortFunc[DF_SAD24];
327  }
328  else if (rcDistParam.iCols == 48)
329  {
330    rcDistParam.DistFunc = m_afpDistortFunc[DF_SAD48];
331  }
332
333  // initialize
334  rcDistParam.iSubShift  = 0;
335}
336
337// Setting the Distortion Parameter for Inter (subpel ME with step)
338Void TComRdCost::setDistParam( TComPattern* pcPatternKey, Pel* piRefY, Int iRefStride, Int iStep, DistParam& rcDistParam, Bool bHADME )
339{
340  // set Original & Curr Pointer / Stride
341  rcDistParam.pOrg = pcPatternKey->getROIY();
342  rcDistParam.pCur = piRefY;
343
344  rcDistParam.iStrideOrg = pcPatternKey->getPatternLStride();
345  rcDistParam.iStrideCur = iRefStride * iStep;
346
347  // set Step for interpolated buffer
348  rcDistParam.iStep = iStep;
349
350  // set Block Width / Height
351  rcDistParam.iCols    = pcPatternKey->getROIYWidth();
352  rcDistParam.iRows    = pcPatternKey->getROIYHeight();
353
354  // set distortion function
355  if ( !bHADME )
356  {
357    rcDistParam.DistFunc = m_afpDistortFunc[DF_SADS + g_aucConvertToBit[ rcDistParam.iCols ] + 1 ];
358    if (rcDistParam.iCols == 12)
359    {
360      rcDistParam.DistFunc = m_afpDistortFunc[DF_SADS12];
361    }
362    else if (rcDistParam.iCols == 24)
363    {
364      rcDistParam.DistFunc = m_afpDistortFunc[DF_SADS24];
365    }
366    else if (rcDistParam.iCols == 48)
367    {
368      rcDistParam.DistFunc = m_afpDistortFunc[DF_SADS48];
369    }
370  }
371  else
372  {
373    rcDistParam.DistFunc = m_afpDistortFunc[DF_HADS + g_aucConvertToBit[ rcDistParam.iCols ] + 1 ];
374  }
375
376  // initialize
377  rcDistParam.iSubShift  = 0;
378}
379
380Void TComRdCost::setDistParam( DistParam& rcDP, Int bitDepth, Pel* p1, Int iStride1, Pel* p2, Int iStride2, Int iWidth, Int iHeight, Bool bHadamard )
381{
382  rcDP.pOrg       = p1;
383  rcDP.pCur       = p2;
384  rcDP.iStrideOrg = iStride1;
385  rcDP.iStrideCur = iStride2;
386  rcDP.iCols      = iWidth;
387  rcDP.iRows      = iHeight;
388  rcDP.iStep      = 1;
389  rcDP.iSubShift  = 0;
390  rcDP.bitDepth   = bitDepth;
391  rcDP.DistFunc   = m_afpDistortFunc[ ( bHadamard ? DF_HADS : DF_SADS ) + g_aucConvertToBit[ iWidth ] + 1 ];
392}
393
394Distortion TComRdCost::calcHAD( Int bitDepth, Pel* pi0, Int iStride0, Pel* pi1, Int iStride1, Int iWidth, Int iHeight )
395{
396  Distortion uiSum = 0;
397  Int x, y;
398
399  if ( ( (iWidth % 8) == 0 ) && ( (iHeight % 8) == 0 ) )
400  {
401    for ( y=0; y<iHeight; y+= 8 )
402    {
403      for ( x=0; x<iWidth; x+= 8 )
404      {
405        uiSum += xCalcHADs8x8( &pi0[x], &pi1[x], iStride0, iStride1, 1 );
406      }
407      pi0 += iStride0*8;
408      pi1 += iStride1*8;
409    }
410  }
411  else
412  {
413    assert ( ( (iWidth % 4) == 0 ) && ( (iHeight % 4) == 0 ) );
414
415    for ( y=0; y<iHeight; y+= 4 )
416    {
417      for ( x=0; x<iWidth; x+= 4 )
418      {
419        uiSum += xCalcHADs4x4( &pi0[x], &pi1[x], iStride0, iStride1, 1 );
420      }
421      pi0 += iStride0*4;
422      pi1 += iStride1*4;
423    }
424  }
425
426  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(bitDepth-8) );
427}
428
429Distortion TComRdCost::getDistPart( Int bitDepth, Pel* piCur, Int iCurStride,  Pel* piOrg, Int iOrgStride, UInt uiBlkWidth, UInt uiBlkHeight, const ComponentID compID, DFunc eDFunc )
430{
431  DistParam cDtParam;
432  setDistParam( uiBlkWidth, uiBlkHeight, eDFunc, cDtParam );
433  cDtParam.pOrg       = piOrg;
434  cDtParam.pCur       = piCur;
435  cDtParam.iStrideOrg = iOrgStride;
436  cDtParam.iStrideCur = iCurStride;
437  cDtParam.iStep      = 1;
438
439  cDtParam.bApplyWeight = false;
440  cDtParam.compIdx      = MAX_NUM_COMPONENT; // just for assert: to be sure it was set before use
441  cDtParam.bitDepth     = bitDepth;
442
443  if (isChroma(compID))
444  {
445    return ((Distortion) (m_distortionWeight[compID] * cDtParam.DistFunc( &cDtParam )));
446  }
447  else
448  {
449    return cDtParam.DistFunc( &cDtParam );
450  }
451}
452
453// ====================================================================================================================
454// Distortion functions
455// ====================================================================================================================
456
457// --------------------------------------------------------------------------------------------------------------------
458// SAD
459// --------------------------------------------------------------------------------------------------------------------
460
461Distortion TComRdCost::xGetSAD( DistParam* pcDtParam )
462{
463  if ( pcDtParam->bApplyWeight )
464  {
465    return TComRdCostWeightPrediction::xGetSADw( pcDtParam );
466  }
467  const Pel* piOrg   = pcDtParam->pOrg;
468  const Pel* piCur   = pcDtParam->pCur;
469  Int  iRows   = pcDtParam->iRows;
470  Int  iCols   = pcDtParam->iCols;
471  Int  iStrideCur = pcDtParam->iStrideCur;
472  Int  iStrideOrg = pcDtParam->iStrideOrg;
473
474  Distortion uiSum = 0;
475
476  for( ; iRows != 0; iRows-- )
477  {
478    for (Int n = 0; n < iCols; n++ )
479    {
480      uiSum += abs( piOrg[n] - piCur[n] );
481    }
482    piOrg += iStrideOrg;
483    piCur += iStrideCur;
484  }
485
486  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
487}
488
489Distortion TComRdCost::xGetSAD4( DistParam* pcDtParam )
490{
491  if ( pcDtParam->bApplyWeight )
492  {
493    return TComRdCostWeightPrediction::xGetSADw( pcDtParam );
494  }
495  const Pel* piOrg   = pcDtParam->pOrg;
496  const Pel* piCur   = pcDtParam->pCur;
497  Int  iRows   = pcDtParam->iRows;
498  Int  iSubShift  = pcDtParam->iSubShift;
499  Int  iSubStep   = ( 1 << iSubShift );
500  Int  iStrideCur = pcDtParam->iStrideCur*iSubStep;
501  Int  iStrideOrg = pcDtParam->iStrideOrg*iSubStep;
502
503  Distortion uiSum = 0;
504
505  for( ; iRows != 0; iRows-=iSubStep )
506  {
507    uiSum += abs( piOrg[0] - piCur[0] );
508    uiSum += abs( piOrg[1] - piCur[1] );
509    uiSum += abs( piOrg[2] - piCur[2] );
510    uiSum += abs( piOrg[3] - piCur[3] );
511
512    piOrg += iStrideOrg;
513    piCur += iStrideCur;
514  }
515
516  uiSum <<= iSubShift;
517  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
518}
519
520Distortion TComRdCost::xGetSAD8( DistParam* pcDtParam )
521{
522  if ( pcDtParam->bApplyWeight )
523  {
524    return TComRdCostWeightPrediction::xGetSADw( pcDtParam );
525  }
526  const Pel* piOrg      = pcDtParam->pOrg;
527  const Pel* piCur      = pcDtParam->pCur;
528  Int  iRows      = pcDtParam->iRows;
529  Int  iSubShift  = pcDtParam->iSubShift;
530  Int  iSubStep   = ( 1 << iSubShift );
531  Int  iStrideCur = pcDtParam->iStrideCur*iSubStep;
532  Int  iStrideOrg = pcDtParam->iStrideOrg*iSubStep;
533
534  Distortion uiSum = 0;
535
536  for( ; iRows != 0; iRows-=iSubStep )
537  {
538    uiSum += abs( piOrg[0] - piCur[0] );
539    uiSum += abs( piOrg[1] - piCur[1] );
540    uiSum += abs( piOrg[2] - piCur[2] );
541    uiSum += abs( piOrg[3] - piCur[3] );
542    uiSum += abs( piOrg[4] - piCur[4] );
543    uiSum += abs( piOrg[5] - piCur[5] );
544    uiSum += abs( piOrg[6] - piCur[6] );
545    uiSum += abs( piOrg[7] - piCur[7] );
546
547    piOrg += iStrideOrg;
548    piCur += iStrideCur;
549  }
550
551  uiSum <<= iSubShift;
552  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
553}
554
555Distortion TComRdCost::xGetSAD16( DistParam* pcDtParam )
556{
557  if ( pcDtParam->bApplyWeight )
558  {
559    return TComRdCostWeightPrediction::xGetSADw( pcDtParam );
560  }
561  const Pel* piOrg   = pcDtParam->pOrg;
562  const Pel* piCur   = pcDtParam->pCur;
563  Int  iRows   = pcDtParam->iRows;
564  Int  iSubShift  = pcDtParam->iSubShift;
565  Int  iSubStep   = ( 1 << iSubShift );
566  Int  iStrideCur = pcDtParam->iStrideCur*iSubStep;
567  Int  iStrideOrg = pcDtParam->iStrideOrg*iSubStep;
568
569  Distortion uiSum = 0;
570
571  for( ; iRows != 0; iRows-=iSubStep )
572  {
573    uiSum += abs( piOrg[0] - piCur[0] );
574    uiSum += abs( piOrg[1] - piCur[1] );
575    uiSum += abs( piOrg[2] - piCur[2] );
576    uiSum += abs( piOrg[3] - piCur[3] );
577    uiSum += abs( piOrg[4] - piCur[4] );
578    uiSum += abs( piOrg[5] - piCur[5] );
579    uiSum += abs( piOrg[6] - piCur[6] );
580    uiSum += abs( piOrg[7] - piCur[7] );
581    uiSum += abs( piOrg[8] - piCur[8] );
582    uiSum += abs( piOrg[9] - piCur[9] );
583    uiSum += abs( piOrg[10] - piCur[10] );
584    uiSum += abs( piOrg[11] - piCur[11] );
585    uiSum += abs( piOrg[12] - piCur[12] );
586    uiSum += abs( piOrg[13] - piCur[13] );
587    uiSum += abs( piOrg[14] - piCur[14] );
588    uiSum += abs( piOrg[15] - piCur[15] );
589
590    piOrg += iStrideOrg;
591    piCur += iStrideCur;
592  }
593
594  uiSum <<= iSubShift;
595  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
596}
597
598Distortion TComRdCost::xGetSAD12( DistParam* pcDtParam )
599{
600  if ( pcDtParam->bApplyWeight )
601  {
602    return TComRdCostWeightPrediction::xGetSADw( pcDtParam );
603  }
604  const Pel* piOrg   = pcDtParam->pOrg;
605  const Pel* piCur   = pcDtParam->pCur;
606  Int  iRows   = pcDtParam->iRows;
607  Int  iSubShift  = pcDtParam->iSubShift;
608  Int  iSubStep   = ( 1 << iSubShift );
609  Int  iStrideCur = pcDtParam->iStrideCur*iSubStep;
610  Int  iStrideOrg = pcDtParam->iStrideOrg*iSubStep;
611
612  Distortion uiSum = 0;
613
614  for( ; iRows != 0; iRows-=iSubStep )
615  {
616    uiSum += abs( piOrg[0] - piCur[0] );
617    uiSum += abs( piOrg[1] - piCur[1] );
618    uiSum += abs( piOrg[2] - piCur[2] );
619    uiSum += abs( piOrg[3] - piCur[3] );
620    uiSum += abs( piOrg[4] - piCur[4] );
621    uiSum += abs( piOrg[5] - piCur[5] );
622    uiSum += abs( piOrg[6] - piCur[6] );
623    uiSum += abs( piOrg[7] - piCur[7] );
624    uiSum += abs( piOrg[8] - piCur[8] );
625    uiSum += abs( piOrg[9] - piCur[9] );
626    uiSum += abs( piOrg[10] - piCur[10] );
627    uiSum += abs( piOrg[11] - piCur[11] );
628
629    piOrg += iStrideOrg;
630    piCur += iStrideCur;
631  }
632
633  uiSum <<= iSubShift;
634  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
635}
636
637Distortion TComRdCost::xGetSAD16N( DistParam* pcDtParam )
638{
639  const Pel* piOrg   = pcDtParam->pOrg;
640  const Pel* piCur   = pcDtParam->pCur;
641  Int  iRows   = pcDtParam->iRows;
642  Int  iCols   = pcDtParam->iCols;
643  Int  iSubShift  = pcDtParam->iSubShift;
644  Int  iSubStep   = ( 1 << iSubShift );
645  Int  iStrideCur = pcDtParam->iStrideCur*iSubStep;
646  Int  iStrideOrg = pcDtParam->iStrideOrg*iSubStep;
647
648  Distortion uiSum = 0;
649
650  for( ; iRows != 0; iRows-=iSubStep )
651  {
652    for (Int n = 0; n < iCols; n+=16 )
653    {
654      uiSum += abs( piOrg[n+ 0] - piCur[n+ 0] );
655      uiSum += abs( piOrg[n+ 1] - piCur[n+ 1] );
656      uiSum += abs( piOrg[n+ 2] - piCur[n+ 2] );
657      uiSum += abs( piOrg[n+ 3] - piCur[n+ 3] );
658      uiSum += abs( piOrg[n+ 4] - piCur[n+ 4] );
659      uiSum += abs( piOrg[n+ 5] - piCur[n+ 5] );
660      uiSum += abs( piOrg[n+ 6] - piCur[n+ 6] );
661      uiSum += abs( piOrg[n+ 7] - piCur[n+ 7] );
662      uiSum += abs( piOrg[n+ 8] - piCur[n+ 8] );
663      uiSum += abs( piOrg[n+ 9] - piCur[n+ 9] );
664      uiSum += abs( piOrg[n+10] - piCur[n+10] );
665      uiSum += abs( piOrg[n+11] - piCur[n+11] );
666      uiSum += abs( piOrg[n+12] - piCur[n+12] );
667      uiSum += abs( piOrg[n+13] - piCur[n+13] );
668      uiSum += abs( piOrg[n+14] - piCur[n+14] );
669      uiSum += abs( piOrg[n+15] - piCur[n+15] );
670    }
671    piOrg += iStrideOrg;
672    piCur += iStrideCur;
673  }
674
675  uiSum <<= iSubShift;
676  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
677}
678
679Distortion TComRdCost::xGetSAD32( DistParam* pcDtParam )
680{
681  if ( pcDtParam->bApplyWeight )
682  {
683    return TComRdCostWeightPrediction::xGetSADw( pcDtParam );
684  }
685  const Pel* piOrg   = pcDtParam->pOrg;
686  const Pel* piCur   = pcDtParam->pCur;
687  Int  iRows   = pcDtParam->iRows;
688  Int  iSubShift  = pcDtParam->iSubShift;
689  Int  iSubStep   = ( 1 << iSubShift );
690  Int  iStrideCur = pcDtParam->iStrideCur*iSubStep;
691  Int  iStrideOrg = pcDtParam->iStrideOrg*iSubStep;
692
693  Distortion uiSum = 0;
694
695  for( ; iRows != 0; iRows-=iSubStep )
696  {
697    uiSum += abs( piOrg[0] - piCur[0] );
698    uiSum += abs( piOrg[1] - piCur[1] );
699    uiSum += abs( piOrg[2] - piCur[2] );
700    uiSum += abs( piOrg[3] - piCur[3] );
701    uiSum += abs( piOrg[4] - piCur[4] );
702    uiSum += abs( piOrg[5] - piCur[5] );
703    uiSum += abs( piOrg[6] - piCur[6] );
704    uiSum += abs( piOrg[7] - piCur[7] );
705    uiSum += abs( piOrg[8] - piCur[8] );
706    uiSum += abs( piOrg[9] - piCur[9] );
707    uiSum += abs( piOrg[10] - piCur[10] );
708    uiSum += abs( piOrg[11] - piCur[11] );
709    uiSum += abs( piOrg[12] - piCur[12] );
710    uiSum += abs( piOrg[13] - piCur[13] );
711    uiSum += abs( piOrg[14] - piCur[14] );
712    uiSum += abs( piOrg[15] - piCur[15] );
713    uiSum += abs( piOrg[16] - piCur[16] );
714    uiSum += abs( piOrg[17] - piCur[17] );
715    uiSum += abs( piOrg[18] - piCur[18] );
716    uiSum += abs( piOrg[19] - piCur[19] );
717    uiSum += abs( piOrg[20] - piCur[20] );
718    uiSum += abs( piOrg[21] - piCur[21] );
719    uiSum += abs( piOrg[22] - piCur[22] );
720    uiSum += abs( piOrg[23] - piCur[23] );
721    uiSum += abs( piOrg[24] - piCur[24] );
722    uiSum += abs( piOrg[25] - piCur[25] );
723    uiSum += abs( piOrg[26] - piCur[26] );
724    uiSum += abs( piOrg[27] - piCur[27] );
725    uiSum += abs( piOrg[28] - piCur[28] );
726    uiSum += abs( piOrg[29] - piCur[29] );
727    uiSum += abs( piOrg[30] - piCur[30] );
728    uiSum += abs( piOrg[31] - piCur[31] );
729
730    piOrg += iStrideOrg;
731    piCur += iStrideCur;
732  }
733
734  uiSum <<= iSubShift;
735  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
736}
737
738Distortion TComRdCost::xGetSAD24( DistParam* pcDtParam )
739{
740  if ( pcDtParam->bApplyWeight )
741  {
742    return TComRdCostWeightPrediction::xGetSADw( pcDtParam );
743  }
744  const Pel* piOrg   = pcDtParam->pOrg;
745  const Pel* piCur   = pcDtParam->pCur;
746  Int  iRows   = pcDtParam->iRows;
747  Int  iSubShift  = pcDtParam->iSubShift;
748  Int  iSubStep   = ( 1 << iSubShift );
749  Int  iStrideCur = pcDtParam->iStrideCur*iSubStep;
750  Int  iStrideOrg = pcDtParam->iStrideOrg*iSubStep;
751
752  Distortion uiSum = 0;
753
754  for( ; iRows != 0; iRows-=iSubStep )
755  {
756    uiSum += abs( piOrg[0] - piCur[0] );
757    uiSum += abs( piOrg[1] - piCur[1] );
758    uiSum += abs( piOrg[2] - piCur[2] );
759    uiSum += abs( piOrg[3] - piCur[3] );
760    uiSum += abs( piOrg[4] - piCur[4] );
761    uiSum += abs( piOrg[5] - piCur[5] );
762    uiSum += abs( piOrg[6] - piCur[6] );
763    uiSum += abs( piOrg[7] - piCur[7] );
764    uiSum += abs( piOrg[8] - piCur[8] );
765    uiSum += abs( piOrg[9] - piCur[9] );
766    uiSum += abs( piOrg[10] - piCur[10] );
767    uiSum += abs( piOrg[11] - piCur[11] );
768    uiSum += abs( piOrg[12] - piCur[12] );
769    uiSum += abs( piOrg[13] - piCur[13] );
770    uiSum += abs( piOrg[14] - piCur[14] );
771    uiSum += abs( piOrg[15] - piCur[15] );
772    uiSum += abs( piOrg[16] - piCur[16] );
773    uiSum += abs( piOrg[17] - piCur[17] );
774    uiSum += abs( piOrg[18] - piCur[18] );
775    uiSum += abs( piOrg[19] - piCur[19] );
776    uiSum += abs( piOrg[20] - piCur[20] );
777    uiSum += abs( piOrg[21] - piCur[21] );
778    uiSum += abs( piOrg[22] - piCur[22] );
779    uiSum += abs( piOrg[23] - piCur[23] );
780
781    piOrg += iStrideOrg;
782    piCur += iStrideCur;
783  }
784
785  uiSum <<= iSubShift;
786  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
787}
788
789Distortion TComRdCost::xGetSAD64( DistParam* pcDtParam )
790{
791  if ( pcDtParam->bApplyWeight )
792  {
793    return TComRdCostWeightPrediction::xGetSADw( pcDtParam );
794  }
795  const Pel* piOrg   = pcDtParam->pOrg;
796  const Pel* piCur   = pcDtParam->pCur;
797  Int  iRows   = pcDtParam->iRows;
798  Int  iSubShift  = pcDtParam->iSubShift;
799  Int  iSubStep   = ( 1 << iSubShift );
800  Int  iStrideCur = pcDtParam->iStrideCur*iSubStep;
801  Int  iStrideOrg = pcDtParam->iStrideOrg*iSubStep;
802
803  Distortion uiSum = 0;
804
805  for( ; iRows != 0; iRows-=iSubStep )
806  {
807    uiSum += abs( piOrg[0] - piCur[0] );
808    uiSum += abs( piOrg[1] - piCur[1] );
809    uiSum += abs( piOrg[2] - piCur[2] );
810    uiSum += abs( piOrg[3] - piCur[3] );
811    uiSum += abs( piOrg[4] - piCur[4] );
812    uiSum += abs( piOrg[5] - piCur[5] );
813    uiSum += abs( piOrg[6] - piCur[6] );
814    uiSum += abs( piOrg[7] - piCur[7] );
815    uiSum += abs( piOrg[8] - piCur[8] );
816    uiSum += abs( piOrg[9] - piCur[9] );
817    uiSum += abs( piOrg[10] - piCur[10] );
818    uiSum += abs( piOrg[11] - piCur[11] );
819    uiSum += abs( piOrg[12] - piCur[12] );
820    uiSum += abs( piOrg[13] - piCur[13] );
821    uiSum += abs( piOrg[14] - piCur[14] );
822    uiSum += abs( piOrg[15] - piCur[15] );
823    uiSum += abs( piOrg[16] - piCur[16] );
824    uiSum += abs( piOrg[17] - piCur[17] );
825    uiSum += abs( piOrg[18] - piCur[18] );
826    uiSum += abs( piOrg[19] - piCur[19] );
827    uiSum += abs( piOrg[20] - piCur[20] );
828    uiSum += abs( piOrg[21] - piCur[21] );
829    uiSum += abs( piOrg[22] - piCur[22] );
830    uiSum += abs( piOrg[23] - piCur[23] );
831    uiSum += abs( piOrg[24] - piCur[24] );
832    uiSum += abs( piOrg[25] - piCur[25] );
833    uiSum += abs( piOrg[26] - piCur[26] );
834    uiSum += abs( piOrg[27] - piCur[27] );
835    uiSum += abs( piOrg[28] - piCur[28] );
836    uiSum += abs( piOrg[29] - piCur[29] );
837    uiSum += abs( piOrg[30] - piCur[30] );
838    uiSum += abs( piOrg[31] - piCur[31] );
839    uiSum += abs( piOrg[32] - piCur[32] );
840    uiSum += abs( piOrg[33] - piCur[33] );
841    uiSum += abs( piOrg[34] - piCur[34] );
842    uiSum += abs( piOrg[35] - piCur[35] );
843    uiSum += abs( piOrg[36] - piCur[36] );
844    uiSum += abs( piOrg[37] - piCur[37] );
845    uiSum += abs( piOrg[38] - piCur[38] );
846    uiSum += abs( piOrg[39] - piCur[39] );
847    uiSum += abs( piOrg[40] - piCur[40] );
848    uiSum += abs( piOrg[41] - piCur[41] );
849    uiSum += abs( piOrg[42] - piCur[42] );
850    uiSum += abs( piOrg[43] - piCur[43] );
851    uiSum += abs( piOrg[44] - piCur[44] );
852    uiSum += abs( piOrg[45] - piCur[45] );
853    uiSum += abs( piOrg[46] - piCur[46] );
854    uiSum += abs( piOrg[47] - piCur[47] );
855    uiSum += abs( piOrg[48] - piCur[48] );
856    uiSum += abs( piOrg[49] - piCur[49] );
857    uiSum += abs( piOrg[50] - piCur[50] );
858    uiSum += abs( piOrg[51] - piCur[51] );
859    uiSum += abs( piOrg[52] - piCur[52] );
860    uiSum += abs( piOrg[53] - piCur[53] );
861    uiSum += abs( piOrg[54] - piCur[54] );
862    uiSum += abs( piOrg[55] - piCur[55] );
863    uiSum += abs( piOrg[56] - piCur[56] );
864    uiSum += abs( piOrg[57] - piCur[57] );
865    uiSum += abs( piOrg[58] - piCur[58] );
866    uiSum += abs( piOrg[59] - piCur[59] );
867    uiSum += abs( piOrg[60] - piCur[60] );
868    uiSum += abs( piOrg[61] - piCur[61] );
869    uiSum += abs( piOrg[62] - piCur[62] );
870    uiSum += abs( piOrg[63] - piCur[63] );
871
872    piOrg += iStrideOrg;
873    piCur += iStrideCur;
874  }
875
876  uiSum <<= iSubShift;
877  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
878}
879
880Distortion TComRdCost::xGetSAD48( DistParam* pcDtParam )
881{
882  if ( pcDtParam->bApplyWeight )
883  {
884    return TComRdCostWeightPrediction::xGetSADw( pcDtParam );
885  }
886  const Pel* piOrg   = pcDtParam->pOrg;
887  const Pel* piCur   = pcDtParam->pCur;
888  Int  iRows   = pcDtParam->iRows;
889  Int  iSubShift  = pcDtParam->iSubShift;
890  Int  iSubStep   = ( 1 << iSubShift );
891  Int  iStrideCur = pcDtParam->iStrideCur*iSubStep;
892  Int  iStrideOrg = pcDtParam->iStrideOrg*iSubStep;
893
894  Distortion uiSum = 0;
895
896  for( ; iRows != 0; iRows-=iSubStep )
897  {
898    uiSum += abs( piOrg[0] - piCur[0] );
899    uiSum += abs( piOrg[1] - piCur[1] );
900    uiSum += abs( piOrg[2] - piCur[2] );
901    uiSum += abs( piOrg[3] - piCur[3] );
902    uiSum += abs( piOrg[4] - piCur[4] );
903    uiSum += abs( piOrg[5] - piCur[5] );
904    uiSum += abs( piOrg[6] - piCur[6] );
905    uiSum += abs( piOrg[7] - piCur[7] );
906    uiSum += abs( piOrg[8] - piCur[8] );
907    uiSum += abs( piOrg[9] - piCur[9] );
908    uiSum += abs( piOrg[10] - piCur[10] );
909    uiSum += abs( piOrg[11] - piCur[11] );
910    uiSum += abs( piOrg[12] - piCur[12] );
911    uiSum += abs( piOrg[13] - piCur[13] );
912    uiSum += abs( piOrg[14] - piCur[14] );
913    uiSum += abs( piOrg[15] - piCur[15] );
914    uiSum += abs( piOrg[16] - piCur[16] );
915    uiSum += abs( piOrg[17] - piCur[17] );
916    uiSum += abs( piOrg[18] - piCur[18] );
917    uiSum += abs( piOrg[19] - piCur[19] );
918    uiSum += abs( piOrg[20] - piCur[20] );
919    uiSum += abs( piOrg[21] - piCur[21] );
920    uiSum += abs( piOrg[22] - piCur[22] );
921    uiSum += abs( piOrg[23] - piCur[23] );
922    uiSum += abs( piOrg[24] - piCur[24] );
923    uiSum += abs( piOrg[25] - piCur[25] );
924    uiSum += abs( piOrg[26] - piCur[26] );
925    uiSum += abs( piOrg[27] - piCur[27] );
926    uiSum += abs( piOrg[28] - piCur[28] );
927    uiSum += abs( piOrg[29] - piCur[29] );
928    uiSum += abs( piOrg[30] - piCur[30] );
929    uiSum += abs( piOrg[31] - piCur[31] );
930    uiSum += abs( piOrg[32] - piCur[32] );
931    uiSum += abs( piOrg[33] - piCur[33] );
932    uiSum += abs( piOrg[34] - piCur[34] );
933    uiSum += abs( piOrg[35] - piCur[35] );
934    uiSum += abs( piOrg[36] - piCur[36] );
935    uiSum += abs( piOrg[37] - piCur[37] );
936    uiSum += abs( piOrg[38] - piCur[38] );
937    uiSum += abs( piOrg[39] - piCur[39] );
938    uiSum += abs( piOrg[40] - piCur[40] );
939    uiSum += abs( piOrg[41] - piCur[41] );
940    uiSum += abs( piOrg[42] - piCur[42] );
941    uiSum += abs( piOrg[43] - piCur[43] );
942    uiSum += abs( piOrg[44] - piCur[44] );
943    uiSum += abs( piOrg[45] - piCur[45] );
944    uiSum += abs( piOrg[46] - piCur[46] );
945    uiSum += abs( piOrg[47] - piCur[47] );
946
947    piOrg += iStrideOrg;
948    piCur += iStrideCur;
949  }
950
951  uiSum <<= iSubShift;
952  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
953}
954
955// --------------------------------------------------------------------------------------------------------------------
956// SSE
957// --------------------------------------------------------------------------------------------------------------------
958
959Distortion TComRdCost::xGetSSE( DistParam* pcDtParam )
960{
961  if ( pcDtParam->bApplyWeight )
962  {
963    return TComRdCostWeightPrediction::xGetSSEw( pcDtParam );
964  }
965  const Pel* piOrg   = pcDtParam->pOrg;
966  const Pel* piCur   = pcDtParam->pCur;
967  Int  iRows   = pcDtParam->iRows;
968  Int  iCols   = pcDtParam->iCols;
969  Int  iStrideOrg = pcDtParam->iStrideOrg;
970  Int  iStrideCur = pcDtParam->iStrideCur;
971
972  Distortion uiSum   = 0;
973  UInt       uiShift = DISTORTION_PRECISION_ADJUSTMENT((pcDtParam->bitDepth-8) << 1);
974
975  Intermediate_Int iTemp;
976
977  for( ; iRows != 0; iRows-- )
978  {
979    for (Int n = 0; n < iCols; n++ )
980    {
981      iTemp = piOrg[n  ] - piCur[n  ];
982      uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
983    }
984    piOrg += iStrideOrg;
985    piCur += iStrideCur;
986  }
987
988  return ( uiSum );
989}
990
991Distortion TComRdCost::xGetSSE4( DistParam* pcDtParam )
992{
993  if ( pcDtParam->bApplyWeight )
994  {
995    assert( pcDtParam->iCols == 4 );
996    return TComRdCostWeightPrediction::xGetSSEw( pcDtParam );
997  }
998  const Pel* piOrg   = pcDtParam->pOrg;
999  const Pel* piCur   = pcDtParam->pCur;
1000  Int  iRows   = pcDtParam->iRows;
1001  Int  iStrideOrg = pcDtParam->iStrideOrg;
1002  Int  iStrideCur = pcDtParam->iStrideCur;
1003
1004  Distortion uiSum   = 0;
1005  UInt       uiShift = DISTORTION_PRECISION_ADJUSTMENT((pcDtParam->bitDepth-8) << 1);
1006
1007  Intermediate_Int  iTemp;
1008
1009  for( ; iRows != 0; iRows-- )
1010  {
1011
1012    iTemp = piOrg[0] - piCur[0]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1013    iTemp = piOrg[1] - piCur[1]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1014    iTemp = piOrg[2] - piCur[2]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1015    iTemp = piOrg[3] - piCur[3]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1016
1017    piOrg += iStrideOrg;
1018    piCur += iStrideCur;
1019  }
1020
1021  return ( uiSum );
1022}
1023
1024Distortion TComRdCost::xGetSSE8( DistParam* pcDtParam )
1025{
1026  if ( pcDtParam->bApplyWeight )
1027  {
1028    assert( pcDtParam->iCols == 8 );
1029    return TComRdCostWeightPrediction::xGetSSEw( pcDtParam );
1030  }
1031  const Pel* piOrg   = pcDtParam->pOrg;
1032  const Pel* piCur   = pcDtParam->pCur;
1033  Int  iRows   = pcDtParam->iRows;
1034  Int  iStrideOrg = pcDtParam->iStrideOrg;
1035  Int  iStrideCur = pcDtParam->iStrideCur;
1036
1037  Distortion uiSum   = 0;
1038  UInt       uiShift = DISTORTION_PRECISION_ADJUSTMENT((pcDtParam->bitDepth-8) << 1);
1039
1040  Intermediate_Int  iTemp;
1041
1042  for( ; iRows != 0; iRows-- )
1043  {
1044    iTemp = piOrg[0] - piCur[0]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1045    iTemp = piOrg[1] - piCur[1]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1046    iTemp = piOrg[2] - piCur[2]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1047    iTemp = piOrg[3] - piCur[3]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1048    iTemp = piOrg[4] - piCur[4]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1049    iTemp = piOrg[5] - piCur[5]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1050    iTemp = piOrg[6] - piCur[6]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1051    iTemp = piOrg[7] - piCur[7]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1052
1053    piOrg += iStrideOrg;
1054    piCur += iStrideCur;
1055  }
1056
1057  return ( uiSum );
1058}
1059
1060Distortion TComRdCost::xGetSSE16( DistParam* pcDtParam )
1061{
1062  if ( pcDtParam->bApplyWeight )
1063  {
1064    assert( pcDtParam->iCols == 16 );
1065    return TComRdCostWeightPrediction::xGetSSEw( pcDtParam );
1066  }
1067  const Pel* piOrg   = pcDtParam->pOrg;
1068  const Pel* piCur   = pcDtParam->pCur;
1069  Int  iRows   = pcDtParam->iRows;
1070  Int  iStrideOrg = pcDtParam->iStrideOrg;
1071  Int  iStrideCur = pcDtParam->iStrideCur;
1072
1073  Distortion uiSum   = 0;
1074  UInt       uiShift = DISTORTION_PRECISION_ADJUSTMENT((pcDtParam->bitDepth-8) << 1);
1075
1076  Intermediate_Int  iTemp;
1077
1078  for( ; iRows != 0; iRows-- )
1079  {
1080
1081    iTemp = piOrg[ 0] - piCur[ 0]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1082    iTemp = piOrg[ 1] - piCur[ 1]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1083    iTemp = piOrg[ 2] - piCur[ 2]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1084    iTemp = piOrg[ 3] - piCur[ 3]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1085    iTemp = piOrg[ 4] - piCur[ 4]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1086    iTemp = piOrg[ 5] - piCur[ 5]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1087    iTemp = piOrg[ 6] - piCur[ 6]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1088    iTemp = piOrg[ 7] - piCur[ 7]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1089    iTemp = piOrg[ 8] - piCur[ 8]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1090    iTemp = piOrg[ 9] - piCur[ 9]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1091    iTemp = piOrg[10] - piCur[10]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1092    iTemp = piOrg[11] - piCur[11]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1093    iTemp = piOrg[12] - piCur[12]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1094    iTemp = piOrg[13] - piCur[13]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1095    iTemp = piOrg[14] - piCur[14]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1096    iTemp = piOrg[15] - piCur[15]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1097
1098    piOrg += iStrideOrg;
1099    piCur += iStrideCur;
1100  }
1101
1102  return ( uiSum );
1103}
1104
1105Distortion TComRdCost::xGetSSE16N( DistParam* pcDtParam )
1106{
1107  if ( pcDtParam->bApplyWeight )
1108  {
1109    return TComRdCostWeightPrediction::xGetSSEw( pcDtParam );
1110  }
1111  const Pel* piOrg   = pcDtParam->pOrg;
1112  const Pel* piCur   = pcDtParam->pCur;
1113  Int  iRows   = pcDtParam->iRows;
1114  Int  iCols   = pcDtParam->iCols;
1115  Int  iStrideOrg = pcDtParam->iStrideOrg;
1116  Int  iStrideCur = pcDtParam->iStrideCur;
1117
1118  Distortion uiSum   = 0;
1119  UInt       uiShift = DISTORTION_PRECISION_ADJUSTMENT((pcDtParam->bitDepth-8) << 1);
1120
1121  Intermediate_Int  iTemp;
1122
1123  for( ; iRows != 0; iRows-- )
1124  {
1125    for (Int n = 0; n < iCols; n+=16 )
1126    {
1127
1128      iTemp = piOrg[n+ 0] - piCur[n+ 0]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1129      iTemp = piOrg[n+ 1] - piCur[n+ 1]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1130      iTemp = piOrg[n+ 2] - piCur[n+ 2]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1131      iTemp = piOrg[n+ 3] - piCur[n+ 3]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1132      iTemp = piOrg[n+ 4] - piCur[n+ 4]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1133      iTemp = piOrg[n+ 5] - piCur[n+ 5]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1134      iTemp = piOrg[n+ 6] - piCur[n+ 6]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1135      iTemp = piOrg[n+ 7] - piCur[n+ 7]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1136      iTemp = piOrg[n+ 8] - piCur[n+ 8]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1137      iTemp = piOrg[n+ 9] - piCur[n+ 9]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1138      iTemp = piOrg[n+10] - piCur[n+10]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1139      iTemp = piOrg[n+11] - piCur[n+11]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1140      iTemp = piOrg[n+12] - piCur[n+12]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1141      iTemp = piOrg[n+13] - piCur[n+13]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1142      iTemp = piOrg[n+14] - piCur[n+14]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1143      iTemp = piOrg[n+15] - piCur[n+15]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1144
1145    }
1146    piOrg += iStrideOrg;
1147    piCur += iStrideCur;
1148  }
1149
1150  return ( uiSum );
1151}
1152
1153Distortion TComRdCost::xGetSSE32( DistParam* pcDtParam )
1154{
1155  if ( pcDtParam->bApplyWeight )
1156  {
1157    assert( pcDtParam->iCols == 32 );
1158    return TComRdCostWeightPrediction::xGetSSEw( pcDtParam );
1159  }
1160  const Pel* piOrg   = pcDtParam->pOrg;
1161  const Pel* piCur   = pcDtParam->pCur;
1162  Int  iRows   = pcDtParam->iRows;
1163  Int  iStrideOrg = pcDtParam->iStrideOrg;
1164  Int  iStrideCur = pcDtParam->iStrideCur;
1165
1166  Distortion uiSum   = 0;
1167  UInt       uiShift = DISTORTION_PRECISION_ADJUSTMENT((pcDtParam->bitDepth-8) << 1);
1168
1169  Intermediate_Int  iTemp;
1170
1171  for( ; iRows != 0; iRows-- )
1172  {
1173
1174    iTemp = piOrg[ 0] - piCur[ 0]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1175    iTemp = piOrg[ 1] - piCur[ 1]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1176    iTemp = piOrg[ 2] - piCur[ 2]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1177    iTemp = piOrg[ 3] - piCur[ 3]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1178    iTemp = piOrg[ 4] - piCur[ 4]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1179    iTemp = piOrg[ 5] - piCur[ 5]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1180    iTemp = piOrg[ 6] - piCur[ 6]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1181    iTemp = piOrg[ 7] - piCur[ 7]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1182    iTemp = piOrg[ 8] - piCur[ 8]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1183    iTemp = piOrg[ 9] - piCur[ 9]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1184    iTemp = piOrg[10] - piCur[10]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1185    iTemp = piOrg[11] - piCur[11]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1186    iTemp = piOrg[12] - piCur[12]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1187    iTemp = piOrg[13] - piCur[13]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1188    iTemp = piOrg[14] - piCur[14]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1189    iTemp = piOrg[15] - piCur[15]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1190    iTemp = piOrg[16] - piCur[16]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1191    iTemp = piOrg[17] - piCur[17]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1192    iTemp = piOrg[18] - piCur[18]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1193    iTemp = piOrg[19] - piCur[19]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1194    iTemp = piOrg[20] - piCur[20]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1195    iTemp = piOrg[21] - piCur[21]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1196    iTemp = piOrg[22] - piCur[22]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1197    iTemp = piOrg[23] - piCur[23]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1198    iTemp = piOrg[24] - piCur[24]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1199    iTemp = piOrg[25] - piCur[25]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1200    iTemp = piOrg[26] - piCur[26]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1201    iTemp = piOrg[27] - piCur[27]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1202    iTemp = piOrg[28] - piCur[28]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1203    iTemp = piOrg[29] - piCur[29]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1204    iTemp = piOrg[30] - piCur[30]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1205    iTemp = piOrg[31] - piCur[31]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1206
1207    piOrg += iStrideOrg;
1208    piCur += iStrideCur;
1209  }
1210
1211  return ( uiSum );
1212}
1213
1214Distortion TComRdCost::xGetSSE64( DistParam* pcDtParam )
1215{
1216  if ( pcDtParam->bApplyWeight )
1217  {
1218    assert( pcDtParam->iCols == 64 );
1219    return TComRdCostWeightPrediction::xGetSSEw( pcDtParam );
1220  }
1221  const Pel* piOrg   = pcDtParam->pOrg;
1222  const Pel* piCur   = pcDtParam->pCur;
1223  Int  iRows   = pcDtParam->iRows;
1224  Int  iStrideOrg = pcDtParam->iStrideOrg;
1225  Int  iStrideCur = pcDtParam->iStrideCur;
1226
1227  Distortion uiSum   = 0;
1228  UInt       uiShift = DISTORTION_PRECISION_ADJUSTMENT((pcDtParam->bitDepth-8) << 1);
1229
1230  Intermediate_Int  iTemp;
1231
1232  for( ; iRows != 0; iRows-- )
1233  {
1234    iTemp = piOrg[ 0] - piCur[ 0]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1235    iTemp = piOrg[ 1] - piCur[ 1]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1236    iTemp = piOrg[ 2] - piCur[ 2]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1237    iTemp = piOrg[ 3] - piCur[ 3]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1238    iTemp = piOrg[ 4] - piCur[ 4]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1239    iTemp = piOrg[ 5] - piCur[ 5]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1240    iTemp = piOrg[ 6] - piCur[ 6]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1241    iTemp = piOrg[ 7] - piCur[ 7]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1242    iTemp = piOrg[ 8] - piCur[ 8]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1243    iTemp = piOrg[ 9] - piCur[ 9]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1244    iTemp = piOrg[10] - piCur[10]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1245    iTemp = piOrg[11] - piCur[11]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1246    iTemp = piOrg[12] - piCur[12]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1247    iTemp = piOrg[13] - piCur[13]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1248    iTemp = piOrg[14] - piCur[14]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1249    iTemp = piOrg[15] - piCur[15]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1250    iTemp = piOrg[16] - piCur[16]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1251    iTemp = piOrg[17] - piCur[17]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1252    iTemp = piOrg[18] - piCur[18]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1253    iTemp = piOrg[19] - piCur[19]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1254    iTemp = piOrg[20] - piCur[20]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1255    iTemp = piOrg[21] - piCur[21]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1256    iTemp = piOrg[22] - piCur[22]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1257    iTemp = piOrg[23] - piCur[23]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1258    iTemp = piOrg[24] - piCur[24]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1259    iTemp = piOrg[25] - piCur[25]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1260    iTemp = piOrg[26] - piCur[26]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1261    iTemp = piOrg[27] - piCur[27]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1262    iTemp = piOrg[28] - piCur[28]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1263    iTemp = piOrg[29] - piCur[29]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1264    iTemp = piOrg[30] - piCur[30]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1265    iTemp = piOrg[31] - piCur[31]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1266    iTemp = piOrg[32] - piCur[32]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1267    iTemp = piOrg[33] - piCur[33]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1268    iTemp = piOrg[34] - piCur[34]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1269    iTemp = piOrg[35] - piCur[35]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1270    iTemp = piOrg[36] - piCur[36]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1271    iTemp = piOrg[37] - piCur[37]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1272    iTemp = piOrg[38] - piCur[38]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1273    iTemp = piOrg[39] - piCur[39]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1274    iTemp = piOrg[40] - piCur[40]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1275    iTemp = piOrg[41] - piCur[41]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1276    iTemp = piOrg[42] - piCur[42]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1277    iTemp = piOrg[43] - piCur[43]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1278    iTemp = piOrg[44] - piCur[44]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1279    iTemp = piOrg[45] - piCur[45]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1280    iTemp = piOrg[46] - piCur[46]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1281    iTemp = piOrg[47] - piCur[47]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1282    iTemp = piOrg[48] - piCur[48]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1283    iTemp = piOrg[49] - piCur[49]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1284    iTemp = piOrg[50] - piCur[50]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1285    iTemp = piOrg[51] - piCur[51]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1286    iTemp = piOrg[52] - piCur[52]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1287    iTemp = piOrg[53] - piCur[53]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1288    iTemp = piOrg[54] - piCur[54]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1289    iTemp = piOrg[55] - piCur[55]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1290    iTemp = piOrg[56] - piCur[56]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1291    iTemp = piOrg[57] - piCur[57]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1292    iTemp = piOrg[58] - piCur[58]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1293    iTemp = piOrg[59] - piCur[59]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1294    iTemp = piOrg[60] - piCur[60]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1295    iTemp = piOrg[61] - piCur[61]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1296    iTemp = piOrg[62] - piCur[62]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1297    iTemp = piOrg[63] - piCur[63]; uiSum += Distortion(( iTemp * iTemp ) >> uiShift);
1298
1299    piOrg += iStrideOrg;
1300    piCur += iStrideCur;
1301  }
1302
1303  return ( uiSum );
1304}
1305
1306// --------------------------------------------------------------------------------------------------------------------
1307// HADAMARD with step (used in fractional search)
1308// --------------------------------------------------------------------------------------------------------------------
1309
1310Distortion TComRdCost::xCalcHADs2x2( Pel *piOrg, Pel *piCur, Int iStrideOrg, Int iStrideCur, Int iStep )
1311{
1312  Distortion satd = 0;
1313  TCoeff diff[4], m[4];
1314  assert( iStep == 1 );
1315  diff[0] = piOrg[0             ] - piCur[0];
1316  diff[1] = piOrg[1             ] - piCur[1];
1317  diff[2] = piOrg[iStrideOrg    ] - piCur[0 + iStrideCur];
1318  diff[3] = piOrg[iStrideOrg + 1] - piCur[1 + iStrideCur];
1319  m[0] = diff[0] + diff[2];
1320  m[1] = diff[1] + diff[3];
1321  m[2] = diff[0] - diff[2];
1322  m[3] = diff[1] - diff[3];
1323
1324  satd += abs(m[0] + m[1]);
1325  satd += abs(m[0] - m[1]);
1326  satd += abs(m[2] + m[3]);
1327  satd += abs(m[2] - m[3]);
1328
1329  return satd;
1330}
1331
1332Distortion TComRdCost::xCalcHADs4x4( Pel *piOrg, Pel *piCur, Int iStrideOrg, Int iStrideCur, Int iStep )
1333{
1334  Int k;
1335  Distortion satd = 0;
1336  TCoeff diff[16], m[16], d[16];
1337
1338  assert( iStep == 1 );
1339  for( k = 0; k < 16; k+=4 )
1340  {
1341    diff[k+0] = piOrg[0] - piCur[0];
1342    diff[k+1] = piOrg[1] - piCur[1];
1343    diff[k+2] = piOrg[2] - piCur[2];
1344    diff[k+3] = piOrg[3] - piCur[3];
1345
1346    piCur += iStrideCur;
1347    piOrg += iStrideOrg;
1348  }
1349
1350  /*===== hadamard transform =====*/
1351  m[ 0] = diff[ 0] + diff[12];
1352  m[ 1] = diff[ 1] + diff[13];
1353  m[ 2] = diff[ 2] + diff[14];
1354  m[ 3] = diff[ 3] + diff[15];
1355  m[ 4] = diff[ 4] + diff[ 8];
1356  m[ 5] = diff[ 5] + diff[ 9];
1357  m[ 6] = diff[ 6] + diff[10];
1358  m[ 7] = diff[ 7] + diff[11];
1359  m[ 8] = diff[ 4] - diff[ 8];
1360  m[ 9] = diff[ 5] - diff[ 9];
1361  m[10] = diff[ 6] - diff[10];
1362  m[11] = diff[ 7] - diff[11];
1363  m[12] = diff[ 0] - diff[12];
1364  m[13] = diff[ 1] - diff[13];
1365  m[14] = diff[ 2] - diff[14];
1366  m[15] = diff[ 3] - diff[15];
1367
1368  d[ 0] = m[ 0] + m[ 4];
1369  d[ 1] = m[ 1] + m[ 5];
1370  d[ 2] = m[ 2] + m[ 6];
1371  d[ 3] = m[ 3] + m[ 7];
1372  d[ 4] = m[ 8] + m[12];
1373  d[ 5] = m[ 9] + m[13];
1374  d[ 6] = m[10] + m[14];
1375  d[ 7] = m[11] + m[15];
1376  d[ 8] = m[ 0] - m[ 4];
1377  d[ 9] = m[ 1] - m[ 5];
1378  d[10] = m[ 2] - m[ 6];
1379  d[11] = m[ 3] - m[ 7];
1380  d[12] = m[12] - m[ 8];
1381  d[13] = m[13] - m[ 9];
1382  d[14] = m[14] - m[10];
1383  d[15] = m[15] - m[11];
1384
1385  m[ 0] = d[ 0] + d[ 3];
1386  m[ 1] = d[ 1] + d[ 2];
1387  m[ 2] = d[ 1] - d[ 2];
1388  m[ 3] = d[ 0] - d[ 3];
1389  m[ 4] = d[ 4] + d[ 7];
1390  m[ 5] = d[ 5] + d[ 6];
1391  m[ 6] = d[ 5] - d[ 6];
1392  m[ 7] = d[ 4] - d[ 7];
1393  m[ 8] = d[ 8] + d[11];
1394  m[ 9] = d[ 9] + d[10];
1395  m[10] = d[ 9] - d[10];
1396  m[11] = d[ 8] - d[11];
1397  m[12] = d[12] + d[15];
1398  m[13] = d[13] + d[14];
1399  m[14] = d[13] - d[14];
1400  m[15] = d[12] - d[15];
1401
1402  d[ 0] = m[ 0] + m[ 1];
1403  d[ 1] = m[ 0] - m[ 1];
1404  d[ 2] = m[ 2] + m[ 3];
1405  d[ 3] = m[ 3] - m[ 2];
1406  d[ 4] = m[ 4] + m[ 5];
1407  d[ 5] = m[ 4] - m[ 5];
1408  d[ 6] = m[ 6] + m[ 7];
1409  d[ 7] = m[ 7] - m[ 6];
1410  d[ 8] = m[ 8] + m[ 9];
1411  d[ 9] = m[ 8] - m[ 9];
1412  d[10] = m[10] + m[11];
1413  d[11] = m[11] - m[10];
1414  d[12] = m[12] + m[13];
1415  d[13] = m[12] - m[13];
1416  d[14] = m[14] + m[15];
1417  d[15] = m[15] - m[14];
1418
1419  for (k=0; k<16; ++k)
1420  {
1421    satd += abs(d[k]);
1422  }
1423  satd = ((satd+1)>>1);
1424
1425  return satd;
1426}
1427
1428Distortion TComRdCost::xCalcHADs8x8( Pel *piOrg, Pel *piCur, Int iStrideOrg, Int iStrideCur, Int iStep )
1429{
1430  Int k, i, j, jj;
1431  Distortion sad = 0;
1432  TCoeff diff[64], m1[8][8], m2[8][8], m3[8][8];
1433  assert( iStep == 1 );
1434  for( k = 0; k < 64; k += 8 )
1435  {
1436    diff[k+0] = piOrg[0] - piCur[0];
1437    diff[k+1] = piOrg[1] - piCur[1];
1438    diff[k+2] = piOrg[2] - piCur[2];
1439    diff[k+3] = piOrg[3] - piCur[3];
1440    diff[k+4] = piOrg[4] - piCur[4];
1441    diff[k+5] = piOrg[5] - piCur[5];
1442    diff[k+6] = piOrg[6] - piCur[6];
1443    diff[k+7] = piOrg[7] - piCur[7];
1444
1445    piCur += iStrideCur;
1446    piOrg += iStrideOrg;
1447  }
1448
1449  //horizontal
1450  for (j=0; j < 8; j++)
1451  {
1452    jj = j << 3;
1453    m2[j][0] = diff[jj  ] + diff[jj+4];
1454    m2[j][1] = diff[jj+1] + diff[jj+5];
1455    m2[j][2] = diff[jj+2] + diff[jj+6];
1456    m2[j][3] = diff[jj+3] + diff[jj+7];
1457    m2[j][4] = diff[jj  ] - diff[jj+4];
1458    m2[j][5] = diff[jj+1] - diff[jj+5];
1459    m2[j][6] = diff[jj+2] - diff[jj+6];
1460    m2[j][7] = diff[jj+3] - diff[jj+7];
1461
1462    m1[j][0] = m2[j][0] + m2[j][2];
1463    m1[j][1] = m2[j][1] + m2[j][3];
1464    m1[j][2] = m2[j][0] - m2[j][2];
1465    m1[j][3] = m2[j][1] - m2[j][3];
1466    m1[j][4] = m2[j][4] + m2[j][6];
1467    m1[j][5] = m2[j][5] + m2[j][7];
1468    m1[j][6] = m2[j][4] - m2[j][6];
1469    m1[j][7] = m2[j][5] - m2[j][7];
1470
1471    m2[j][0] = m1[j][0] + m1[j][1];
1472    m2[j][1] = m1[j][0] - m1[j][1];
1473    m2[j][2] = m1[j][2] + m1[j][3];
1474    m2[j][3] = m1[j][2] - m1[j][3];
1475    m2[j][4] = m1[j][4] + m1[j][5];
1476    m2[j][5] = m1[j][4] - m1[j][5];
1477    m2[j][6] = m1[j][6] + m1[j][7];
1478    m2[j][7] = m1[j][6] - m1[j][7];
1479  }
1480
1481  //vertical
1482  for (i=0; i < 8; i++)
1483  {
1484    m3[0][i] = m2[0][i] + m2[4][i];
1485    m3[1][i] = m2[1][i] + m2[5][i];
1486    m3[2][i] = m2[2][i] + m2[6][i];
1487    m3[3][i] = m2[3][i] + m2[7][i];
1488    m3[4][i] = m2[0][i] - m2[4][i];
1489    m3[5][i] = m2[1][i] - m2[5][i];
1490    m3[6][i] = m2[2][i] - m2[6][i];
1491    m3[7][i] = m2[3][i] - m2[7][i];
1492
1493    m1[0][i] = m3[0][i] + m3[2][i];
1494    m1[1][i] = m3[1][i] + m3[3][i];
1495    m1[2][i] = m3[0][i] - m3[2][i];
1496    m1[3][i] = m3[1][i] - m3[3][i];
1497    m1[4][i] = m3[4][i] + m3[6][i];
1498    m1[5][i] = m3[5][i] + m3[7][i];
1499    m1[6][i] = m3[4][i] - m3[6][i];
1500    m1[7][i] = m3[5][i] - m3[7][i];
1501
1502    m2[0][i] = m1[0][i] + m1[1][i];
1503    m2[1][i] = m1[0][i] - m1[1][i];
1504    m2[2][i] = m1[2][i] + m1[3][i];
1505    m2[3][i] = m1[2][i] - m1[3][i];
1506    m2[4][i] = m1[4][i] + m1[5][i];
1507    m2[5][i] = m1[4][i] - m1[5][i];
1508    m2[6][i] = m1[6][i] + m1[7][i];
1509    m2[7][i] = m1[6][i] - m1[7][i];
1510  }
1511
1512  for (i = 0; i < 8; i++)
1513  {
1514    for (j = 0; j < 8; j++)
1515    {
1516      sad += abs(m2[i][j]);
1517    }
1518  }
1519
1520  sad=((sad+2)>>2);
1521
1522  return sad;
1523}
1524
1525
1526Distortion TComRdCost::xGetHADs( DistParam* pcDtParam )
1527{
1528  if ( pcDtParam->bApplyWeight )
1529  {
1530    return TComRdCostWeightPrediction::xGetHADsw( pcDtParam );
1531  }
1532  Pel* piOrg   = pcDtParam->pOrg;
1533  Pel* piCur   = pcDtParam->pCur;
1534  Int  iRows   = pcDtParam->iRows;
1535  Int  iCols   = pcDtParam->iCols;
1536  Int  iStrideCur = pcDtParam->iStrideCur;
1537  Int  iStrideOrg = pcDtParam->iStrideOrg;
1538  Int  iStep  = pcDtParam->iStep;
1539
1540  Int  x, y;
1541
1542  Distortion uiSum = 0;
1543
1544  if( ( iRows % 8 == 0) && (iCols % 8 == 0) )
1545  {
1546    Int  iOffsetOrg = iStrideOrg<<3;
1547    Int  iOffsetCur = iStrideCur<<3;
1548    for ( y=0; y<iRows; y+= 8 )
1549    {
1550      for ( x=0; x<iCols; x+= 8 )
1551      {
1552        uiSum += xCalcHADs8x8( &piOrg[x], &piCur[x*iStep], iStrideOrg, iStrideCur, iStep );
1553      }
1554      piOrg += iOffsetOrg;
1555      piCur += iOffsetCur;
1556    }
1557  }
1558  else if( ( iRows % 4 == 0) && (iCols % 4 == 0) )
1559  {
1560    Int  iOffsetOrg = iStrideOrg<<2;
1561    Int  iOffsetCur = iStrideCur<<2;
1562
1563    for ( y=0; y<iRows; y+= 4 )
1564    {
1565      for ( x=0; x<iCols; x+= 4 )
1566      {
1567        uiSum += xCalcHADs4x4( &piOrg[x], &piCur[x*iStep], iStrideOrg, iStrideCur, iStep );
1568      }
1569      piOrg += iOffsetOrg;
1570      piCur += iOffsetCur;
1571    }
1572  }
1573  else if( ( iRows % 2 == 0) && (iCols % 2 == 0) )
1574  {
1575    Int  iOffsetOrg = iStrideOrg<<1;
1576    Int  iOffsetCur = iStrideCur<<1;
1577    for ( y=0; y<iRows; y+=2 )
1578    {
1579      for ( x=0; x<iCols; x+=2 )
1580      {
1581        uiSum += xCalcHADs2x2( &piOrg[x], &piCur[x*iStep], iStrideOrg, iStrideCur, iStep );
1582      }
1583      piOrg += iOffsetOrg;
1584      piCur += iOffsetCur;
1585    }
1586  }
1587  else
1588  {
1589    assert(false);
1590  }
1591
1592  return ( uiSum >> DISTORTION_PRECISION_ADJUSTMENT(pcDtParam->bitDepth-8) );
1593}
1594
1595//! \}
Note: See TracBrowser for help on using the repository browser.